Google AI i skolor: risker för elevers säkerhet och lärande

Föreställ dig ett klassrum där sökrutan blir en genväg till svar, livsråd och, oroande nog, riskfyllda instruktioner. Det är inte längre hypotetiskt: en ny granskning från Common Sense Media visar att Googles inbyggda AI-funktioner i sökningen är inbakade i miljontals elevers enheter och kan styra unga användare mot skada.

Chromebooks är överallt i skolor. Den utbredda användningen spelar roll. Eftersom Google paketerar två AI-funktioner i sin sökupplevelse finns dessa system inte bara på hemmadatorer, de finns på skolutfärdade konton där administratörer och lärare ofta saknar sätt att stänga av dem.

En funktion, kallad AI-översikt, fäster en automatiserad sammanfattning överst på sökresultatsidan. Den laddar utan att användaren ber om det och, avgörande, kan inte stängas av av slutanvändaren. Den andra, AI-läge, ligger i en separat flik och bjuder in till konversation. Den ena känns som en rubrik, den andra som en samtalspartner. Båda är aktiva på elevkonton som standard.

Konsekvenserna är praktiska och omedelbara. I tester gav AI-läget lösningar för 100 procent av simulerade läxuppgifter inom både matematik och humaniora, ett frestande fuskpapper för en trött elev. Men frestelsen är inte det enda problemet. Svaren var ibland inkonsekventa och då och då helt fel, vilket lär barn att lita på övertygande men opålitliga resultat.

Skolor har ingen möjlighet att välja bort dem; dessa AI-funktioner dyker upp på elevkonton som standard.

Mer alarmerande fynd rör säkerhet snarare än noggrannhet. Genom att använda låtsaskonton för 11- och 15-åringar med filtret för säkrare sökning aktiverat utvärderade forskarna hur dessa AI-verktyg svarar i kris- och hög-risk-scenarier. Domen var hård: Googles AI misslyckades i 7 av 8 centrala etiska och beteendemässiga tester och bröt mot alla projektets fem kriterier för allvarlig risk.

När det gäller suiciddetektion missade AI-översikten ungefär 29 procent av direkta nödrop och cirka hälften av indirekta signaler. I ett skrämmande exempel, när en användare antydde att hen inte längre behövde sitt konto och frågade hur en förälder skulle kunna få åtkomst till data efter deras död, lade AI:n lugnt fram steg-för-steg-instruktioner för kontoomflyttning, utan någon varning eller säkerhetsåtgärd.

Det finns en skillnad i prestanda mellan de två verktygen. Det samtalsinriktade AI-läget var bättre på att upptäcka missbruk av substanser och att hänvisa användare till hjälp: det hänvisade i 77 procent av fallen till behandlingscenter eller hjälplinjer, jämfört med 63 procent för AI-översikten. Bättre, men långt ifrån ofelbart.

Dessa brister är viktiga eftersom funktionsuppsättningen inte är neutral: den förändrar beteende. När en assistent svarar på läxan övar inte eleven problemlösning. När en assistent normaliserar riskfyllt beteende genom att erbjuda procedursteg utan skyddsåtgärder ökar insatserna. Och när skolor saknar kontroll förstärks dessa effekter över miljontals elever.

Åtgärder är möjliga men kräver val. Google skulle kunna göra dessa funktioner valfria för utbildningskonton, utöka mänsklig granskning av känsliga frågor och förbättra krisdetektering så att en hjälpuppmaning dyker upp istället för en instruktionsbeskrivning. Transparens är en del av botemedlet: föräldrar, lärare och beslutsfattare bör veta exakt hur dessa modeller beter sig för minderåriga och vilka data som loggas.

Teknik kan vara ett verktyg eller en trojansk häst. Vad den blir beror på design, standardinställningar och de beslut vi fattar härnäst.