Passport to Success — En oberoende utvärdering av socialt och emotionellt lärande i engelska grundskolor

Passport to Success — En oberoende utvärdering av socialt och emotionellt lärande i engelska grundskolor

Kunskapslucka

Barns psykiska hälsa är ett växande folkhälsoproblem i England. Uppskattningsvis 16 procent av barn mellan 5 och 16 år lever med psykiska svårigheter, och forskning visar att flertalet psykiska diagnoser hos vuxna har sin grund i barn- och ungdomåren. Tidiga insatser — helst i skolan — är därför ett prioriterat mål i brittisk hälsopolitik.

Socialt och emotionellt lärande (SEL) är en av de mest använda angreppssätten. Internationella metaanalyser visar att sådana program i genomsnitt har positiv effekt, och de används i stor utsträckning i engelska skolor. Men den övergripande forskningen döljer viktiga blinda fläckar:

• För vem fungerar programmen? Effekterna varierar beroende på kön, socioekonomisk bakgrund, etnicitet och förekomst av särskilda behov.
• Hur och varför fungerar de? Mekanismerna bakom effekterna är dåligt förstådda, vilket gör det svårt att förbättra eller anpassa programmen.
• Håller effekterna över tid? De flesta studier mäter utfall direkt efter interventionen. Vad händer ett eller två år senare?
• Är programmen kostnadseffektiva? Skolor har begränsade resurser. Frågan om vad ett program kostar — i pengar och tid — besvaras sällan.
• Har de utvärderats oberoende? Många program som används i brittiska skolor har bara utvärderats av de som tagit fram dem.

Passport: Skills for Life var just en sådan lucka. Programmet användes i engelska skolor och hade dokumentation från utvecklaren — men ingen oberoende, randomiserad utvärdering.

Sammanfattning

Det här projektet genomförde den första oberoende randomiserade kontrollerade studien (RCT) av Passport: Skills for Life — ett universellt SEL-program för barn i åldern 9–11 år, utvecklat för engelska grundskolor.

62 skolor i Greater Manchester och omgivande områden deltog. Över 2 400 barn ingår i studien. Hälften av skolorna genomförde Passport-programmet; resten fortsätte som vanligt. Barnen mättes vid tre tillfällen: vid start, vid avslutning och tolv månader efter avslutning.

Huvudfynd:

Passport hade ingen statistiskt signifikant effekt på internaliseringssymtom (ångest, depression) eller något av de sekundära utfallsmåtten, varken vid post-intervention eller ett år senare.

Den ekonomiska analysen visade att programmet inte var kostnadseffektivt. Den kvalitativa processutvärderingen avslöjade att lärare uppskattade seriealbumens format och möjligheterna till emotionell reflektion, men att programmet skapade utmaningar kring differentiering och inkludering av elever med särskilda behov (SEND).

Trots nollfynd på effekt levererar studien betydande ny kunskap: metodologisk, om implementeringsprocesser och om förutsättningar för kostnadseffektivitet. Resultaten har publicerats i öppna, expertgranskade tidskrifter, delats med skolor och använts i dialog med beslutsfattare.

Metod

Studien använde ett tvåarmigt parallellt kluster-randomiserat kontrollerat design, där skolor — inte enskilda barn — randomiserades till antingen interventions- eller kontrollgrupp. Detta är det stärkast möjliga designet för att testa effekten av skolbaserade program och motsvarar guldstandarden inom medicinsk forskning.

Urval och rekrytering

62 grundskolor rekryterades från Greater Manchester och omgivande områden. Totalt 2 425 elever ingår i intention-to-treat-urvalet (ITT) — det vill säga alla som inkluderades vid start, oavsett faktiskt genomförande.

Intervention

Skolor i interventionsgruppen implementerade Passport: Skills for Life, ett 10-veckors universellt SEL-program för 9–11-åringar, levererat av klasslärare genom veckovisa lektioner baserade på seriealbum och strukturerade aktiviteter.

Utfallsmått

• Primärt: Internaliseringssymtom (ångest, depression) mätt med Strengths and Difficulties Questionnaire (SDQ)
• Sekundära: Emotionsreglering, välmående, ensamhet, mobbning (som offer och förövare) och upplevt jämnaldrastöd

Mättidpunkter

• T1: Baslinje (före intervention)
• T2: Post-intervention (omedelbart efter programmet)
• T3: 12-månadersuppföljning

Processutvärdering

En mixed-methods-implementerings- och processutvärdering kompletterade RCT:n, med lärarenkäter, kvalitativa fallstudier och klassrumsobservationer. Ungdomar från organisationen Common Room bidrog aktivt genom hela studien.

Statistisk analys

Analyserna följde en förregistrerad statistisk plan. Utöver en standard-ITT-analys genomfördes en multiverse CACE-analys (Complier Average Causal Effect) för att undersöka hur olika definitioner av »programefterlevnad« påverkar slutsatser.

Resultat

Huvudresultat

1. Ingen effekt på psykisk hälsa eller social funktion

Passport: Skills for Life hade ingen statistiskt signifikant effekt på internaliseringssymtom varken vid post-intervention (effektstorlek d = −0,04) eller vid 12-månadersuppföljningen. Motsvarande nollfynd observerades för samtliga sekundära utfall: emotionsreglering, välmående, ensamhet, mobbning och jämnaldrastöd.

Detta är ett robust fynd. Effektstorleken är mycket liten och statistiskt obetydlig. Studiens storlek (över 2 400 barn, 62 skolor) ger tillräcklig statistisk kraft för att upptäcka även måttliga effekter, om sådana hade funnits.

2. Inte kostnadseffektivt

Den hälsoekonomiska analysen visade att programmet inte är kostnadseffektivt. Analysen visar dessutom att skolors beslutsprocesser kring programadoption är flerdimensionella: de drivs inte bara av kostnad och evidens, utan av värderingar, kapacitet och institutionell identitet.

Sekundära resultat

3. Implementering är inte detsamma som intention

Processutvärderingen identifierade ett genomgående mönster: komplexa instruktionselement i Passport-programmet förenklade och förkortades systematiskt i klassrumspraktiken. En analys av kärnkomponenter som kopplade programmets teori till faktisk genomföring visade att just de element som i teorin skulle ge effekt var de som oftast reducerades eller togs bort.

Detta är en viktig observation: nollfynd kan betyda att ett program inte fungerar — men det kan också betyda att det aldrig levererades som avsett.

4. Utmaningar kring inkludering

Lärare rapporterade att programmet hade svårt att differentiera tillräckligt för elever med särskilda behov (SEND). En av de inlämnade artiklarna undersöker möjliga iatrogena effekter — att programmet potentiellt kan ha haft negativ inverkan på SEND-elever.

Redaktionell anmärkning: Detta fynd är under expertgranskning och bör inte ingå i extern kommunikation förrän publicering är bekräftad.

5. Metodologiskt bidrag: Multiverse CACE-analys

Studien introducerade ett metodologiskt angreppssätt med bred relevans: en multiverse-analys av complier average causal effects (CACE). Analysen visade systematiskt hur olika val av efterlevnadsdefinitioner påverkar slutsatser om effektivitet — ett viktigt bidrag till metodlitteraturen.

6. Lärarnas perspektiv

Den kvalitativa utvärderingen visade att lärare genomgående värderade seriealbumens format och de strukturerade tillfällena för emotionell reflektion. Utmaningarna var främst kopplade till differentiering och till att programmet krävde mer av lärarna än förväntat.

Slutsats

Studien drar slutsatsen att Passport: Skills for Life inte bör rekommenderas för bredare implementering i engelska grundskolor baserat på tillgänglig evidens. Programmet visade ingen effekt på psykisk hälsa eller social funktion i en välgenomförd, oberoende RCT med stark statistisk kraft.

Detta är en viktig signal till beslutsfattare: popularitet och utvecklarfinansierad dokumentation räcker inte som grund för att investera i skolbaserade program. Oberoende utvärdering är nödvändig.

Studien bidrar ändå med kunskap som sträcker sig långt bortom själva Passport-programmet:

• Den visar att implementeringskvalitet är avgörande, och att även välmenande program kan försämras i praktiken.
• Den dokumenterar att universella program kan ha olika — och potentiellt negativa — effekter för sårbara undergrupper.
• Den inför en ny metodologisk standard för efterlevnadsanalys i RCT-studier.
• Den visar att skolbaserade kost-nytto-analyser är mer komplexa än hälsosektorn förutsätter.

För Kavlifonden representerar projektet en investering i den typ av kunskap som sällan produceras annars: oberoende, sträng och beredd att leverera obäquema svar. Det är just denna typ av forskning som gör det möjligt att skilja på det som fungerar och det som bara ser bra ut.

Tre doktorander har byggt sina avhandlingar på data från studien. 11 vetenskapliga artiklar har publicerats, är under expertgranskning eller pågår. Alla deltagande skolor har fått individualiserade rapporter. Resultaten kommuniceras aktivt till beslutsfattare inom brittisk utbildningspolitik.

Alla publikationer från projektet är tillgängliga med öppen tillgång. Projektets OSF-sida: https://osf.io/8znvx/overview