Vad menas med kvalitet och evidens i edtech?
Kan man säga att en digital tjänst är kvalitetssäkrad och därför leder till bättre resultat? Inte riktigt. En tjänst kan uppfylla tekniska krav, följa en standard eller ha genomgått en viss granskning utan att det för den skull är visat att den förbättrar lärandet. På motsvarande sätt kan det finnas vetenskapligt stöd för en viss typ av tjänst eller insats, utan att den ger samma resultat för alla användare eller i alla sammanhang.
Kvalitet, evidens och effekt hänger ihop, men är inte samma sak.
- Kvalitet: Hur väl är tjänsten utformad och hur väl möter den användarnas behov i det sammanhang där den ska användas?
- Vetenskaplig evidens: Vilket vetenskapligt stöd finns för ett bestämt påstående, exempelvis att tjänsten ger ett visst resultat för en viss målgrupp?
- Effekt: Vilken förändring eller vilket resultat kan tjänsten bidra till och vad kan vi säga om att det faktiskt är tjänsten som orsakat förändringen?
Vad menas med kvalitet?
Kvalitet i edtech handlar om hur väl en digitalt tjänst möter relevanta behov och skapar värde i det sammanhang den används. Det kan handla om flera dimensioner som:
- pedagogiskt värde
- användbarhet och tillgänglighet
- säkerhet och integritet
- implementering och stöd
- användarnas erfarenheter
- forskning och andra kunskapsunderlag
En tjänst kan vara stark inom ett område och svag inom ett annat. Den kan exempelvis vara tekniskt säker och tillgänglig men sakna underlag för påståenden om pedagogiska resultat. Samma verktyg kan fungera olika beroende på elevgrupp, undervisning och organisatoriska förutsättningar. Därför behöver kvalitet alltid förstås i sitt sammanhang.
Kvalitetsarbete kan också handla om organisationens processer och arbetssätt, exempelvis informationssäkerhet och dataskydd, där standarder, certifieringar och ledningssystem kan vara relevanta. Här fokuserar vi på kvalitet i och kring tjänsten.
Det finns inget enkelt mått på kvalitet
En rapport, Edtech Quality Frameworks and Standards review, beställd av Utbildningsdepartementet i England som har jämfört 75 olika kvalitetsramverk för edtech, konstaterar att det inte finns konsensus till att fastställa gemensamma kvalitetskriterier på enskilda tjänster, men rekommenderar att edtechföretag tydliggör sitt forskningsinformerade arbete i en evidensportfolio. Att enskilda checklistor eller certifieringar inte räcker förstärks av European Edtech Alliance rapport, Needs-based Evidence in Edtech, som just visar på problematiken där olika kvalitetsunderlag och evidens blandas samman av olika målgrupper, men också i EU-kommissionens nya riktlinjer, Riktlinjer för digitalt utbildningsinnehåll , där just behov, användning och kvalitet i praktiken lyfts fram.
Evidens och andra kunskapsunderlag – tillsammans ger de en användbar bild
Vad menas med vetenskaplig evidens?
Vetenskaplig evidens bygger på forskning som genomförts med vetenskapliga metoder och handlar om stödet för en bestämd fråga, ett samlat och systematiskt granskat forskningsstöd. Det kan exempelvis handla om vilka effekter ett digitalt lärverktyg har för en viss elevgrupp, i ett visst ämne och jämfört med ett annat alternativ.
Inom vetenskapen betyder evidens stöd eller belägg, inte ett slutgiltigt bevis för att något är sant, enligt Skolforskningsinstitutet. Forskningsresultat innehåller nästan alltid osäkerheter och behöver tolkas utifrån hur studierna har genomförts och i vilket sammanhang.
Vetenskaplig evidens är alltid knuten till en specifik fråga. Det är mer precist att säga att det finns evidens för att ett bestämt verktyg eller arbetssätt ger ett visst resultat för en viss målgrupp i ett visst sammanhang, än att säga att det finns evidens för ”digitala verktyg” generellt.
Evidens ska informera det professionella omdömet – inte ersätta det
Utbildning är komplext och samma verktyg kan ge olika resultat beroende på elevgrupp, ämne, undervisning, användningssätt och organisatoriska förutsättningar. Evidens ger därför ett viktigt underlag för beslut, men måste sättas i sitt sammanhang.
När forskningsresultat används i undervisningen behöver de vägas samman med lärarens professionella kunskap, elevernas behov, undervisningens mål och verksamhetens förutsättningar. Ibland talar underlagen för att använda ett digitalt verktyg. I andra situationer kan ett helt analogt arbetssätt eller en kombination av digitala och analoga resurser vara ett bättre val.
Att tänka på när det gäller evidens och forskning
- Evidens kan ha olika grad av tillförlitlighet. Det beror bland annat på studiernas kvalitet, risken för systematiska fel, hur samstämmiga resultaten är och hur väl studierna motsvarar den aktuella frågan.
- Att evidens saknas betyder inte att en insats har visats vara verkningslös. Det kan också betyda att frågan ännu inte har undersökts tillräckligt. Samtidigt ska avsaknad av evidens inte beskrivas som stöd för att en insats fungerar.
- Att en tjänst bygger på forskning är inte samma sak som att det finns forskning om tjänsten.
- Att det finns forskning om en tjänst betyder inte automatiskt att forskningen håller hög kvalitet eller är relevant för alla användare och sammanhang.
- Den som gör ett påstående har ansvar för att beskriva vilket underlag påståendet bygger på och vilka begränsningar som finns.
- Teknisk utveckling går fort och forskning är långsammare. Resultatet säger något om hur det var när undersökningen eller studien gjordes.
Evidens är inte samma sak som all relevant information
För att bedöma ett digitalt lärverktyg räcker det sällan med att bara fråga om det har visat effekt i en studie. Lärare, skolledare och beställare behöver också förstå hur verktyget fungerar i undervisningen, vilka behov det möter, hur det kan införas och vilka förutsättningar som krävs.
Därför behövs flera typer av kunskapsunderlag. Det kan handla om användartester, implementeringsdata, tillgänglighetsgranskningar, användarfeedback, beprövad erfarenhet och uppföljning över tid. Underlag som kan vara värdefulla, men de är inte vetenskaplig evidens och svarar inte på samma frågor. Här behöver man se upp då det är begrepp som ofta blandas ihop i både marknadsföring, upphandling och debatt.
Det är viktigt att skilja mellan olika typer av underlag
- Användartester, omdömen och enkäter kan ge kunskap om användbarhet, upplevelser, motivation och upplevd nytta. De visar inte i sig att tjänsten orsakar bättre läranderesultat.
- Användnings- och implementeringsdata kan visa hur en tjänst används och om den har införts som avsett. Det kan hjälpa till att förstå och förklara resultat, men visar inte ensamt att tjänsten har orsakat dem.
- Tillgänglighetsgranskningar kan visa om en tjänst uppfyller vissa krav och fungerar för olika användare, men säger inte automatiskt något om effekten på lärandet.
- Beprövad erfarenhet är kunskap som har utvecklats, prövats, dokumenterats och delats systematiskt i professionen. Enstaka kundberättelser eller positiva omdömen är inte i sig beprövad erfarenhet.
- Utvecklingsprocesser och transparens kan visa hur en tjänst har utvecklats, testats och följts upp och vilka underlag som använts. Det är inte samma sak som att tjänstens effekter har undersökts.
- Certifieringar och kvalitetsmärkningar kan visa att vissa angivna krav eller processer har granskats. Vad de säger om tjänstens kvalitet eller effekt beror på vad granskningen faktiskt omfattar.
- Kundcase och vittnesmål kan ge relevanta exempel och erfarenheter, men kan inte ensamma ligga till grund för generella påståenden om effekt.
Flera underlag behövs, men de ska inte blandas ihop
Olika underlag kan tillsammans ge en mer användbar bild av en tjänst. Ett positivt användaromdöme kan inte ersätta en effektstudie när frågan gäller läranderesultat. En effektstudie kan å andra sidan inte ensam förklara varför ett verktyg fungerar i en viss verksamhet men inte i en annan.
För den som beskriver en digital tjänst är det viktigt att vara tydlig med vilken fråga ett underlag svarar på, vem som tagit fram det, hur undersökningen genomförts, vad som faktiskt undersökts och vilka begränsningar som finns.
Kvalitet, evidens och effekt är inte samma sak
Kvalitet, evidens och effekt hänger ihop, men betyder olika saker. Kvalitet handlar om flera dimensioner av hur en tjänst är utvecklad och hur den fungerar i sitt sammanhang. Evidens handlar om vilka vetenskapliga belägg som finns för olika påståenden. Effekt handlar om vilken förändring eller vilket resultat en insats faktiskt bidrar till.
All edtech behöver kunna beskriva sin kvalitet. All edtech behöver däremot inte kunna visa evidens för effekt på läranderesultat. Vilken typ av underlag som är relevant beror på tjänstens syfte och vilka påståenden som görs om den.
För en tjänst som gör anspråk på att förbättra exempelvis läsförmåga, matematikkunskaper eller andra pedagogiska utfall blir frågor om effekt eller evidens relevanta. För administrativa, infrastrukturella eller tekniska tjänster kan andra kvalitetsaspekter vara mer relevanta, som säkerhet, interoperabilitet, tillgänglighet, användbarhet och tillförlitlighet.
Ju starkare påstående om effekt, desto större anledning att efterfråga underlag som faktiskt kan styrka just det påståendet.
