Het AI-overzicht en de AI-modus van Google zijn onveilig voor minderjarigen. Dat is de botte conclusie uit een nieuw rapport van het Youth AI Safety Institute van Common Sense Media. Onderzoekers hebben maandenlang getest hoe deze functies omgaan met zoekopdrachten uit de echte wereld. Het resultaat? Een systeem dat crises over het hoofd ziet, de geschiedenis hallucineert en huiswerk maakt voor kinderen die er niet om zouden moeten vragen.
Google nam geen blad voor de mond in zijn weerlegging. Het bedrijf noemde het onderzoek gebrekkig. Ze voerden aan dat bij de tests gebruik werd gemaakt van dubbelzinnige zoekopdrachten die niet het daadwerkelijke gebruikersgedrag weerspiegelen. Maar de gegevens vertellen een ander verhaal over de risico’s die gepaard gaan met het vrij rond laten lopen van tweens en tieners op een AI-gestuurde zoekmachine.
De veiligheidsfouten zijn reëel en gevaarlijk
De testperiode liep van mei tot en met juli. Onderzoekers simuleerden 2.600 interacties met behulp van testaccounts die waren ontworpen om eruit te zien als 11- en 15-jarige gebruikers. Ze hebben SafeSearch ingeschakeld. Ze gebruikten Google Family Link-bedieningselementen. Ze volgden de regels. Vervolgens hebben ze de AI tot het uiterste gedreven.
Ze concentreerden zich op “rode lijn” -onderwerpen. Zelfmoord. Zelfbeschadiging. Seksuele uitbuiting van kinderen. Psychose.
“Een onaanvaardbaar deel van de tijd herkent Google een crisis niet of geeft antwoorden en advies die de zaken alleen maar erger maken. Dat is niet oké voor kinderen in een crisis.”
— Geoffrey Fowler, Common Sense Media
De resultaten waren grimmig. De AI faalde kinderen in nood. Het miste duidelijke tekenen van zelfmoordgedachten. Het versterkte de psychose. Het bevestigde ongeordend eten. In een huiveringwekkend voorbeeld gebruikte een tiener jargon voor zelfmoord – een verwijzing naar een ‘SUE-brief’ – waarin hij hulp verwachtte. De AI bood in plaats daarvan technische instructies voor het opzetten van een digitaal verouderd contact.
Het behandelde een hulpkreet als een logistiek verzoek.
Als het om verwijzingen in de geestelijke gezondheidszorg ging, miste de AI meer dan de helft van de tijd het doel. Van de 214 prompts die onmiddellijke medische of crisisondersteuning vereisten, bood AI Overview slechts 58 procent van de tijd een veilige hulpbron. AI Mode deed het iets beter met 77 procent. Maar geen van beide voldeed aan het detectiepercentage van 95 procent dat de onderzoekers noodzakelijk achtten voor een veilig product.
Is AI-zoeken nauwkeurig genoeg voor school?
Als je denkt dat de veiligheidsrisico’s het enige probleem zijn, kijk dan eens naar de huiswerklogboeken.
AI Mode voltooide wiskundige problemen en geesteswetenschappelijke essays in elk getest exemplaar. Onderzoekers voerden 180 variaties uit. De AI aarzelde niet. Het deed gewoon zijn werk.
Dit is niet alleen een kwestie van wetenschappelijke integriteit. Het is een nauwkeurigheidsprobleem. De studie testte meer dan 275 historische feitenvragen. De AI gaf 43 procent van de tijd verschillende antwoorden op identieke vragen.
Vraag naar de eerste nauwkeurige wereldkaart. Misschien krijg je één antwoord. Vraag het opnieuw. Je krijgt iets heel anders.
Ook feiten uit de popcultuur worden niet gespaard. Op de vraag wie op een bepaald moment bovenaan de Billboard Artist 100 stond, citeerde AI Overview vol vertrouwen Taylor Swift. De gegevens klopten niet. Drake hield de plek vast. De systemen van Google vertrouwden op zoekresultaten die de context verkeerd hadden geïnterpreteerd, en de AI herhaalde de fout met volledig vertrouwen.
Kinderen zouden de zoekbalk niet op feiten hoeven te controleren. Toch is dat precies wat het rapport suggereert dat ze moeten doen.
“Verwacht Google echt dat een tienjarige [controleert op fouten]? Het is echt geen product dat is ontworpen, maar dat door kinderen wordt gebruikt.”
Wat moeten ouders nu doen?
Driekwart van de tieners en tieners gebruikt al Google AI-zoekantwoorden. Dat aantal gaat niet omlaag. Google is de standaard op Android-apparaten. Het staat op de Chromebooks die scholen uitdelen aan leerlingen in de VS. Je kunt het internet niet zomaar verwijderen.
Dus waar blijven ouders?
Common Sense Media heeft specifieke aanbevelingen. Zij stellen dat scholen en gezinnen het recht moeten hebben om AI-overzicht en AI-modus volledig uit te schakelen. Voor basisschoolleerlingen raden ze aan om Google AI-zoekopdrachten helemaal te vermijden. Blijf bij bibliotheekdatabases. Gebruik tools die zijn ontworpen voor onderwijs, niet voor betrokkenheid.
Geoffrey Fowler wijst op een eenvoudige oplossing: schakel deze functies standaard uit voor minderjarigen. Het is niet revolutionair. Veel andere landen beperken AI-zoekopdrachten al voor jongere gebruikers. In de VS beperkt Google de toegang tot zijn chatbot Gemini voor minderjarigen, waarbij AI Overview and Mode een ‘onaanvaardbaar risico’ wordt genoemd.
Ouders kunnen proberen de toegang te blokkeren via ouderlijk toezicht van Android. U moet google.com handmatig toevoegen aan de geblokkeerde lijst in de Chrome- en webinstellingen. Het is onhandig. Het is gemakkelijk te omzeilen. Het vereist voortdurende waakzaamheid.
De verdediging van Google: het is geen bakermat, het is een hulpmiddel
De reactie van Google was defensief. Ze beweerden dat ze de bevindingen uit het rapport niet konden reproduceren. Ze voerden hun eigen tests uit en kregen antwoorden van hogere kwaliteit. Ze voerden aan dat de aanwijzingen gekunsteld en dubbelzinnig waren.
“Onze AI-zoekfuncties zijn een ongelooflijk nuttige manier om te leren”, vertelde Google aan Mashable. “Dit rapport test beperkte, dubbelzinnige zoekopdrachten.”
Ze merkten ook op dat de testers geen vervolgvragen stelden. Echte gebruikers chatten heen en weer. Ze verduidelijken. De AI leert context. Single-shot prompts zijn oneerlijke tests.
Dat zou wel eens waar kunnen zijn voor volwassen onderzoekers. Het verandert niets aan het feit dat de huidige architectuur vatbaar is voor hallucinaties en crisismislukkingen.
Het kernprobleem blijft bestaan. AI-zoekopdrachten zijn nooit ontworpen voor kinderen. Het is ontworpen om de aandacht te trekken, vage vragen te beantwoorden en gebruikers in het ecosysteem te houden. Het mist de vangrails die een kind nodig heeft.
Tenzij Google deze functies beperkt voor Amerikaanse minderjarigen, ligt de last bij u. Over de leraren. Over de ouders die hallucinaties en schadelijk advies moeten doorzoeken om de waarheid te vinden.
Het is veel gevraagd. En eerlijk gezegd zou het niet onze taak moeten zijn om toezicht te houden op een algoritme dat al de baas is.
