Evidens och kvalitet – vad säger forskningen?
Evidens och kvalitet- vad säger forskningen?
Frågan om hur man säkerställer kvaliteten på Digitala lärverktyg (i detta avsnitt använder vi begreppet edtech) undersöks över hela världen. En central fråga är vad som karaktäriserar ett effektivt lärverktyg; att de möter behoven hos användarna, möjliggör och stödjer lärande och utvecklar digital kompetens. I flera länder kommer önskemål och krav från politiskt håll att ta fram kriterier som ska vägleda (och ibland reglera) valen av lärverktyg och värdera om de är effektiva, leder till goda resultat och ökat lärande. I Sverige har Skolverket fått i uppdrag att ta fram allmänna råd eller rekommendationer i valet av lärverktyg.
Skolans verksamhet ska enligt befintliga styrdokument, vila på vetenskaplig grund och beprövad erfarenhet, och flera röster efterlyser mer evidens för digitala lärverktyg, helst med stora randomiserade kontrollstudier. Detta för att kunna utesluta att andra faktorer är orsak till resultaten.
Evidens
Ett begrepp som kommer från den medicinska forskningen. Inom vetenskapen innebär begreppet evidens stöd eller belägg. En vanlig missuppfattning är dock att evidens ska tolkas som att det finns bevis för att något är sant. Att vetenskapen ogärna uttrycker sig så absolut beror på att det i stort sett alltid finns en osäkerhet i ett forskningsresultat eller att det finns ett utrymme för alternativa tolkningar. Ett sätt att hantera detta är att försöka bilda sig en så säker eller mångfacetterad bild av en undervisningsrelaterad företeelse som möjligt. Källa: Skolforskningsinstitutet
Internationell studie: Det finns ingen samsyn i hur man mäter kvalitet och effektivitet i edtech
I december 2023 släppte utbildningsdepartementet i England en översyn av olika internationella ramverk och standarder rörande kvalitet i edtechtjänster: EdTech Quality Frameworks and Standards Review (UK GOV 2023). Huvudsyftet med rapporten var att utvärdera evidensbasen av dessa standarder och ramverk för att sedan kunna rekommendera utformningen av ett enda ramverk för det engelska skolsystemet. Man försökte helt enkelt identifiera vilket ramverk som hade högst evidens.
Forskargruppen som gjorde översynen identifierade 75 relevanta ramverk och standarder och kategoriserade dem i sex övergripande teman: Strategisk Implementering, Digital Pedagogik, Digital Kompetens, Utvärderingsramverk, Edtech-design och Kvalitet på evidens.
Flera av ramverken visade sig överlappa varandra eftersom många av dem behandlar mer än en aspekt av användande och/eller design av själva tjänsten. Gemensamt för de olika ramverken var fyra relativt generella aspekter av vad kvalitet i en edtechtjänst bör vara:
- Edtechtjänster bör möta behoven hos användarna
- Edtechtjänster bör möjliggöra och stödja digitalt lärande
- Edtechtjänster bör utveckla digital kompetens hos lärare och elever
- Edtechtjänster bör utformas på ett “evidensinformerat” sätt.
I figuren nedan ser vi de fyra identifierade aspekterna och vad som karaktäriserar var och en av dem. Ingen av de undersökta ramverken överensstämmer helt i alla delar, men översikten kan fungera som en vägledning in i vilka frågor och områden man kan ställa till de edtechtjänster man använder, men också hur man som edtechföretag arbetar med sin produktutveckling.
Slutsatserna visade att det finns få ramverk som specifikt tittar på tillförlitlig evidens i själva edtechtjänsterna. En central aspekt som lyfts fram är hur de används, men också att edtechföretag arbetar “evidensinformerat”, vilket betyder att de förhåller sig till forskning och har ett systematiskt arbete med att testa och utvärdera sina tjänster. Viktigt att förstå är att det inte handlar om att edtechföretagen och deras tjänster ska ha fastställd evidens, eftersom det nästan är omöjligt. På grund av bristen på enighet i hur man bedömer evidens, är budskapet från forskargruppen att det inte går att rekommendera en av metoderna för att bedöma kvaliteten på evidensen i enskilda edtechtjänster.
Det viktigaste för att uppnå positiva resultat för lärande är att fokusera på didaktik och kvalitet i undervisningen, oavsett format och vilka resurser som används. Det visar åtskillig forskning om effekter på lärande.
Storskaliga forskningsöversikter om effekter på lärande, evidens och edtechtjänster
- Kunnskapssenter for Utdanning, det norska skolforskningsinstitutet släppte 2016 en stor forskningsgenomgång av trettio studier där flertalet var metastudier, som i sin tur täcker över 1 900 studier. Den övergripande slutsatsen var att inom samtliga områden har digitaliseringen positiva, men små effekter på lärandet. Betydligt större positiva effekter uppnås när digitala verktyg används på ett planerat och genomtänkt sätt av en lärare.
- GrunnDig, en ännu större sammanställning och studie av internationell forskning som släpptes i december 2022, även denna gång i Norge, bekräftar samma sak.
- EU-kommissionen går igenom forskningsläget i sin rapport från 2022 om vilka kvalitetseffekter olika investeringar i utbildning har. Även här är en av slutsatserna att positiva effekter kan ses på elevernas resultat om läraren gör medvetna val av digitala verktyg, hur de används i klassrummet och integreras i undervisningsprocessen. Rapportens slutsats pekar på vikten av att höja lärares pedagogiska digitala kompetens för att uppnå kvalitetseffekter och resultat av investeringar.
