Lagkrav på AI-kunnighet, gäller alla!

Lagkrav på AI-kunnighet

AI-litteracitet, ett krav som gäller både de som använder AI och de som levererar AI

Redan nu har ”AI-kunnighetsartikeln” (Artikel 4) trätt i kraft. Det innebär att alla företag och organisationer som tillhandahåller (deployer) och/eller levererar (provider) AI-system ska säkerställa att deras personal har den kompetens som krävs för att hantera tekniken ansvarsfullt.

Kunnighetskravet i AI-förordningen omfattar:

• Teknisk förståelse för AI-systemens funktion och begränsningar.
• Kunskap om risker och etik kopplat till AI, exempelvis integritetsfrågor och bias i algoritmer.
• Färdigheter att implementera och använda AI i linje med regulatoriska krav.

AI-litteracitet – vad är det?

AI-litteracitet är ett allt vanligare begrepp som används och handlar om att förstå, använda och kritiskt granska AI i olika sammanhang. Inom utbildningsområdet innebär det att både lärare och studerande behöver kunskap om hur AI fungerar, dess möjligheter och begränsningar samt dess etiska och samhälleliga konsekvenser.

Brist på AI-kunnighet kan innebära att AI-system används utan att riskerna är kända eller hanteras på ett korrekt sätt. Detta kan leda till:

• Felaktiga beslut baserade på AI-rekommendationer.
• Ökad användning av ”skugg-AI”, där AI används utan att huvudmannen eller organisationen har insyn i hur systemet fungerar eller vilka datakällor som används.
• Brister i informationssäkerhet och dataskydd, exempelvis att AI används utan att personuppgiftshantering eller GDPR efterlevs.

EU:s AI-förordning är en bindande lagstiftning, vilket innebär att organisationer som inte följer reglerna riskerar sanktioner. Om en aktör inte kan visa att de har den nödvändiga kompetensen för att hantera AI på ett säkert och korrekt sätt, kan det betraktas som bristande efterlevnad av förordningen. Vilket kan leda till tillsyn och granskningar och sanktionsavgifter vid allvarliga överträdelser.

Så tar ni steg för att uppfylla kravet på AI-kunnighet

✅ Säkerställ att AI-kompetens ingår i interna utbildningar eller sätt upp en utbildningsplan.
✅ Kartlägg vilka roller inom din organisation som behöver särskild AI-kompetens och se till att de får den utbildning som krävs. Särskild AI-kompetens kan t.ex. vara att veta inom vilka områden era AI-system får eller inte får användas, hur man bör förhålla sig till svar/resultat från AI-system, och hur man bedömer vilken information som kan skickas till vilka AI-system
✅ Uppdatera organisationens befintliga policys så att de även inkluderar AI-användning.
✅ Se till att ni har ett gemensamt förhållningssätt till AI i organisationen.

Att förhålla sig till AI – några tips på vägen

• Installera/kör inte program på din dator hur som helst, eftersom de kan få åtkomst till all möjlig information oavsett om det är AI-program eller inte.
• Skicka inte känslig information till webbtjänster om du inte har en bra anledning att tro att det är ok (oavsett om det är AI-tjänster eller inte).

Mer AI-specifikt:

• Du kan bara lita på svar/resultat från AI-system om de uppfyller kraven i AI-förordningen, och alltså är CE-märkta (det har inte trätt i kraft än, men kommer). Och du kan bara lita på AI-svaren inom de områden som tjänsten är godkänd för. Detta gäller högriskområden.
• I alla andra lägen behöver du vara extra vaksam på faktafel och bias (precis som med annan overifierad information).

Kom igång med AI-arbetet

Ha en plan! Ett steg i användningen av AI är att ni har en plan för hur ni ska tänka och agera, i allt från teknik till etik. Försök skapa så mycket tydlighet det går, med en ny AI-förordning där skrivelserna just nu tolkas och rekommendationer och vägledningar tas fram. Er plan behöver inte vara omfattande och den kan och kommer behöva revideras. 

En enkel plan och enkla anvisningar för att börja någonstans

• En enkel plan och policy som utgår från vem som ansvarar för vad, vad ni vill uppnå samt hur man får agera kan vara ett sätt att börja och som hos flera av er säkert redan är ett etablerat tillvägagångssätt när ni tar fram nya eller kompletterar redan befintliga policys.
• Var tydlig i vilka AI-system som får användas och inte. Konkretisera med vilka de olika användningsområdena kan vara och vilka typer av AI-system som kan användas. Var uppmärksamma så att ni inte låser in medarbetarna hos leverantörer omedvetet, då det kan vara AI-system och typ av användning som regleras i förordningen. En indelning i områden som “stöd av AI i arbete med text” (dvs att använda AI-system för att summera och förbättra olika texter) respektive “stöd av AI för annat än text/för andra digitala processer” (t.ex. att kunna ställa frågor till en databas, en chatbot) kan räcka långt.
• Komplettera med användningsregler och allmänna principer.
• Ha med instruktioner för hur man ska göra om man hittar ett AI-system man vill använda: dvs att behovsanalys, informationssäkerhetsanalys och konsekvensbedömning behövs.

Tips för utbildningsinstitutioner:

✔️ Kartlägg vilka AI-lösningar som används.
✔️ Utbilda personal, elever och vårdnadshavare,  i AI-kunskap och etik.
✔️ Säkerställ att de AI-system ni använder inte omfattas av förbudet.
✔️ Ta fram och implementera rutiner för riskbedömning och kravställan på leverantörerna gällande transparens (CE-märkning).

✔️ Säkerställ att det finns tydliga rutiner för att dokumentera användning av AI-system och registrera händelser. Det är avgörande för att kunna visa att man följer AI-förordningens krav på ansvarsskyldighet.

✔️ Säkerställ mänsklig granskning när AI används i skolan

✔️ Utse en ansvarig för efterlevnad av förordningens krav som har nödvändig kompetens, utbildning och befogenhet, samt tillräckligt stöd.

Tips för leverantörer*

✔️ Granska produkter och tjänster i förhållande till skyldigheter i AI-förordningen (artikel 16)
✔️ Utveckla interna riktlinjer för er AI-utveckling och implementering.
✔️ Dokumentera hur AI-systemens beslutsfattande fungerar, i vilka steg beslut sker och vilka effekter blir. Tillhandahåll vägledning och träning i hur era system ska användas på ett säkert sätt. 
✔️ Säkerställ att AI-lösningar är rättvisa, transparenta och följer regelverket bland annat genom att ha riskhanteringssystem (artikel 9 ), teknisk dokumentation (artikel 11) och cybersäkerhet (artikel 15)

*Obs! Även myndigheter och organisationer kan vara leverantörer, se sidan AI-förordningen, när, varför och för vem?

Checklista för användning av LLM* 

✅ Ha en öppen dialog, prata med medarbetare om hur de använder LLM, vilka promptar och användningsområden som fungerar och inte fungerar.

✅ Ta fram tydliga riktlinjer med så konkreta exempel som möjligt, tex kring upphovsrättslagen.

✅ Informera om informationssäkerhet, ser över vilka risker som finns och se till att användandet är i linje med era riktlinjer för GDPR.

✅ Diskutera AI:s begränsningar – hur AI kan göra hallucinationer, vara bias och vikten av att faktagranska de svar som genereras. Skapa ett forum där medarbetare kan dela märkliga eller felaktiga svar från modeller – både lärorikt och underhållande.

✅ Definiera ert unika värde – vad tillför ni som människor utöver AI? Att använda ChatGPT gör ingen unik – fokusera på er expertis och kritiska tänkande.

*se förklaring på sidan Vad är AI och vad behöver ni ha koll på?

Obs! Tolkning pågår!
AI-förordningen implementeras just nu och precis som med andra lagar, t.ex. GDPR, sker olika juridiska tolkningar av artiklarna och definitionerna. Det är inte förrän något har prövats juridiskt och en dom, ett vite eller liknande kommit, som vi faktiskt vet hur förordningen ska tolkas. Den här översikten är till för att skapa medvetenhet om AI-förordningen kopplat till utbildning och att det är viktigt att följa och ha koll på hygienfaktorerna, att era rutiner för informationssäkerhetsklassning, granskning och val av digitala tjänster även inkluderar AI-systemen och att ni jobbar med AI-kunnighet – AI-litteracitetet – hos medarbetarna. Följ speciellt rekommendationer och råd från DIGG och IMY. (länk)