La présentation de l’IA et le mode AI de Google ne sont pas sécurisés pour les mineurs. C’est la conclusion brutale d’un nouveau rapport du Youth AI Safety Institute de Common Sense Media. Les chercheurs ont passé des mois à tester la manière dont ces fonctionnalités gèrent les requêtes du monde réel. Le résultat ? Un système qui passe à côté des crises, hallucine l’histoire et fait les devoirs des enfants qui ne devraient pas les demander.
Google n’a pas mâché ses mots dans sa réfutation. La société a qualifié l’étude d’imparfaite. Ils ont fait valoir que les tests utilisaient des requêtes ambiguës qui ne reflétaient pas le comportement réel des utilisateurs. Mais les données racontent une histoire différente sur les risques liés au fait de laisser les préadolescents et les adolescents se déplacer librement sur un moteur de recherche piloté par l’IA.
Les failles de sécurité sont réelles et dangereuses
La période de test s’est déroulée de mai à juillet. Les chercheurs ont simulé 2 600 interactions à l’aide de comptes tests conçus pour ressembler à des utilisateurs âgés de 11 et 15 ans. Ils ont activé SafeSearch. Ils ont utilisé les contrôles Google Family Link. Ils ont suivi les règles. Puis ils ont poussé l’IA dans ses retranchements.
Ils se sont concentrés sur les sujets de la « ligne rouge ». Suicide. L’automutilation. Exploitation sexuelle des enfants. Psychose.
“La plupart du temps, Google ne reconnaît pas une crise ou donne des réponses et des conseils qui ne font qu’empirer les choses. Ce n’est pas acceptable pour les enfants en crise.”
— Geoffrey Fowler, Médias de bon sens
Les résultats ont été frappants. L’IA a laissé tomber les enfants en détresse. Il a manqué des signes évidents d’idées suicidaires. Cela a renforcé la psychose. Cela a validé les troubles de l’alimentation. Dans un exemple effrayant, un adolescent a utilisé l’argot pour se suicider – une référence à une « lettre SUE » – dans l’attente d’aide. L’IA a plutôt proposé des instructions techniques sur la manière de configurer un contact d’héritage numérique.
Il traitait un appel à l’aide comme une demande logistique.
Lorsqu’il s’agissait de références en matière de santé mentale, l’IA manquait la cible plus de la moitié du temps. Sur 214 messages nécessitant une assistance médicale immédiate ou une assistance en cas de crise, AI Overview n’a fourni une ressource sûre que dans 58 % des cas. Le mode AI a fait légèrement mieux à 77 pour cent. Mais ni l’un ni l’autre n’a atteint le taux de détection de 95 pour cent que les chercheurs jugeaient nécessaire pour un produit sûr.
La recherche IA est-elle suffisamment précise pour l’école ?
Si vous pensez que les risques pour la sécurité sont le seul problème, consultez les journaux de devoirs.
AI Mode a réalisé des problèmes de mathématiques et des dissertations en sciences humaines dans chaque instance testée. Les chercheurs ont analysé 180 variantes. L’IA n’a pas hésité. Cela a juste fait le travail.
Ce n’est pas seulement une question d’intégrité académique. C’est un problème de précision. L’étude a testé plus de 275 faits historiques. L’IA a fourni des réponses différentes à des requêtes identiques dans 43 % des cas.
Renseignez-vous sur la première carte du monde précise. Vous pourriez obtenir une réponse. Demandez à nouveau. Vous obtenez tout autre chose.
Les faits sur la culture pop ne sont pas non plus épargnés. Lorsqu’on lui a demandé qui était au sommet du Billboard Artist 100 à un moment précis, AI Overview a cité avec confiance Taylor Swift. Les données étaient fausses. Drake occupait la place. Les systèmes de Google se sont appuyés sur des résultats de recherche qui avaient mal interprété le contexte, et l’IA a répété l’erreur en toute confiance.
Les enfants ne devraient pas avoir à vérifier les faits dans la barre de recherche. Pourtant, c’est exactement ce que le rapport suggère qu’ils doivent faire.
“Google s’attend-il vraiment à ce qu’un enfant de dix ans [vérifie les erreurs] ? Ce n’est vraiment pas un produit qui a été conçu mais il est utilisé par des enfants.”
Que devraient faire les parents dès maintenant ?
Les trois quarts des préadolescents et des adolescents utilisent déjà les réponses de recherche de Google AI. Ce nombre ne diminue pas. Google est la valeur par défaut sur les appareils Android. Il figure sur les Chromebooks que les écoles distribuent aux étudiants à travers les États-Unis. Vous ne pouvez pas simplement désinstaller Internet.
Alors, où cela laisse-t-il les parents ?
Common Sense Media a des recommandations spécifiques. Ils soutiennent que les écoles et les familles devraient avoir le droit de désactiver complètement l’aperçu de l’IA et le mode IA. Pour les élèves du primaire, ils suggèrent d’éviter complètement la recherche Google AI. Tenez-vous-en aux bases de données de la bibliothèque. Utilisez des outils conçus pour l’éducation et non pour l’engagement.
Geoffrey Fowler suggère une solution simple : désactiver ces fonctionnalités par défaut pour les mineurs. Ce n’est pas révolutionnaire. De nombreux autres pays limitent déjà la recherche IA aux jeunes utilisateurs. Aux États-Unis, Google limite l’accès à son chatbot Gemini aux mineurs, qualifiant la présentation et le mode de l’IA de « risque inacceptable ».
Les parents peuvent essayer de bloquer l’accès via le contrôle parental Android. Vous devez ajouter manuellement google.com à la liste bloquée dans les paramètres Chrome et Web. C’est maladroit. C’est facile à contourner. Cela nécessite une vigilance constante.
La défense de Google : ce n’est pas un berceau, c’est un outil
La réponse de Google a été sur la défensive. Ils ont affirmé qu’ils ne pouvaient pas reproduire les conclusions du rapport. Ils ont effectué leurs propres tests et ont obtenu des réponses de meilleure qualité. Ils ont fait valoir que les invites étaient artificielles et ambiguës.
“Nos fonctionnalités de recherche AI sont un moyen incroyablement utile d’apprendre”, a déclaré Google à Mashable. “Ce rapport teste des requêtes étroites et ambiguës.”
Ils ont également noté que les testeurs n’avaient pas posé de questions de suivi. Les vrais utilisateurs discutent dans les deux sens. Ils précisent. L’IA apprend le contexte. Les invites à un seul coup sont des tests injustes.
Cela pourrait être vrai pour les chercheurs adultes. Cela ne change rien au fait que l’architecture actuelle est sujette aux hallucinations et aux crises.
Le problème central demeure. La recherche IA n’a jamais été conçue pour les enfants. Il a été conçu pour capter l’attention, répondre à des requêtes vagues et maintenir les utilisateurs dans l’écosystème. Il lui manque les garde-corps dont un enfant a besoin.
À moins que Google ne restreigne ces fonctionnalités aux mineurs américains, la charge vous incombe. Sur les professeurs. Sur les parents qui doivent passer au crible hallucinations et conseils néfastes pour découvrir la vérité.
C’est beaucoup demander. Et franchement, cela ne devrait pas être notre tâche de contrôler un algorithme qui dirige déjà le spectacle.
