La descripción general de IA y el modo AI de Google no son seguros para los menores. Ésa es la contundente conclusión de un nuevo informe del Instituto de Seguridad de la IA para Jóvenes de Common Sense Media. Los investigadores pasaron meses probando cómo estas funciones manejan consultas del mundo real. ¿El resultado? Un sistema que pasa por alto las crisis, alucina la historia y completa tareas para niños que no deberían pedírselas.
Google no se anduvo con rodeos en su refutación. La empresa calificó el estudio como defectuoso. Argumentaron que las pruebas utilizaron consultas ambiguas que no reflejan el comportamiento real del usuario. Pero los datos cuentan una historia diferente sobre los riesgos que implica dejar que preadolescentes y adolescentes deambulen libremente en un motor de búsqueda impulsado por inteligencia artificial.
Las fallas de seguridad son reales y peligrosas
El período de prueba se extendió de mayo a julio. Los investigadores simularon 2.600 interacciones utilizando cuentas de prueba diseñadas para parecerse a usuarios de 11 y 15 años. Activaron SafeSearch. Usaron controles de Google Family Link. Siguieron las reglas. Luego llevaron la IA al límite.
Se centraron en temas de “línea roja”. Suicidio. Autolesiones. Explotación sexual infantil. Psicosis.
“Una cantidad de veces inaceptable es que Google no reconoce una crisis o da respuestas y consejos que empeoran las cosas. Eso no está bien para los niños en crisis”.
— Geoffrey Fowler, Medios de sentido común
Los resultados fueron crudos. La IA falló a los niños en apuros. No detectó signos claros de ideación suicida. Reforzó la psicosis. Validó los trastornos alimentarios. En un ejemplo escalofriante, un adolescente usó jerga para referirse al suicidio (una referencia a una “carta SUE”) esperando ayuda. En cambio, la IA ofreció instrucciones técnicas sobre cómo configurar un contacto heredado digital.
Trató un grito de ayuda como una petición logística.
En lo que respecta a las derivaciones de salud mental, la IA falló en el blanco más de la mitad de las veces. De 214 indicaciones que requirieron apoyo médico o de crisis inmediato, AI Overview proporcionó un recurso seguro solo el 58 por ciento de las veces. El modo AI obtuvo un resultado ligeramente mejor, con un 77 por ciento. Pero ninguno alcanzó la tasa de detección del 95 por ciento que los investigadores consideraron necesaria para un producto seguro.
¿Es la búsqueda por IA lo suficientemente precisa para la escuela?
Si cree que los riesgos de seguridad son el único problema, consulte los registros de tareas.
AI Mode completó problemas de matemáticas y ensayos de humanidades en cada instancia evaluada. Los investigadores realizaron 180 variaciones. La IA no dudó. Simplemente hizo el trabajo.
Esta no es sólo una cuestión de integridad académica. Es una cuestión de precisión. El estudio probó más de 275 indicaciones de hechos históricos. La IA proporcionó respuestas diferentes a consultas idénticas el 43 por ciento de las veces.
Pregunte por el primer mapa mundial preciso. Es posible que obtenga una respuesta. Pregunta de nuevo. Obtienes algo completamente diferente.
Los hechos de la cultura pop tampoco se salvan. Cuando se le preguntó quién estaba en la cima del Billboard Artist 100 en un momento específico, AI Overview citó con confianza a Taylor Swift. Los datos estaban equivocados. Drake ocupó el lugar. Los sistemas de Google se apoyaron en resultados de búsqueda que habían malinterpretado el contexto y la IA repitió el error con total confianza.
Los niños no deberían tener que verificar la barra de búsqueda. Sin embargo, eso es exactamente lo que el informe sugiere que deben hacer.
“¿Google realmente espera que un niño de diez años [revise los errores]? Realmente no es un producto diseñado, sino que lo utilizan niños”.
¿Qué deberían hacer los padres ahora mismo?
Tres cuartas partes de los preadolescentes y adolescentes ya utilizan las respuestas de búsqueda de IA de Google. Ese número no va a bajar. Google es el predeterminado en los dispositivos Android. Está en los Chromebooks que las escuelas entregan a los estudiantes de todo Estados Unidos. No puedes simplemente desinstalar Internet.
Entonces, ¿dónde deja eso a los padres?
Common Sense Media tiene recomendaciones específicas. Argumentan que las escuelas y las familias deberían tener derecho a desactivar por completo la descripción general y el modo AI de la IA. Para los estudiantes de primaria, sugieren evitar por completo la búsqueda de IA en Google. Cíñete a las bases de datos de la biblioteca. Utilice herramientas creadas para la educación, no para la participación.
Geoffrey Fowler señala una solución simple: desactivar estas funciones de forma predeterminada para menores. No es revolucionario. Muchos otros países ya restringen la búsqueda con IA para usuarios más jóvenes. En EE. UU., Google limita el acceso a su chatbot Gemini para menores, calificando la descripción general y el modo de IA como un “riesgo inaceptable”.
Los padres pueden intentar bloquear el acceso mediante los controles parentales de Android. Tienes que agregar manualmente google.com a la lista de bloqueados en Chrome y en la configuración web. Es torpe. Es fácil de evitar. Requiere vigilancia constante.
La defensa de Google: no es una cuna, es una herramienta
La respuesta de Google fue defensiva. Afirmaron que no podían reproducir los hallazgos del informe. Hicieron sus propias pruebas y obtuvieron respuestas de mayor calidad. Argumentaron que las indicaciones eran artificiales y ambiguas.
“Nuestras funciones de búsqueda con IA son una forma increíblemente útil de aprender”, dijo Google a Mashable. “Este informe prueba consultas estrechas y ambiguas”.
También notaron que los evaluadores no hicieron preguntas de seguimiento. Los usuarios reales conversan de un lado a otro. Aclaran. La IA aprende el contexto. Las indicaciones de un solo disparo son pruebas injustas.
Esto podría ser cierto para los investigadores adultos. No cambia el hecho de que la arquitectura actual es propensa a las alucinaciones y a la falta de crisis.
La cuestión central persiste. La búsqueda por IA nunca fue diseñada para niños. Fue diseñado para captar la atención, responder consultas vagas y mantener a los usuarios en el ecosistema. Carece de las barandillas que un niño necesita.
A menos que Google restrinja estas funciones para menores estadounidenses, la carga recae sobre usted. Sobre los profesores. Sobre los padres que tienen que escudriñar entre alucinaciones y consejos nocivos para encontrar la verdad.
Es mucho pedir. Y, francamente, no debería ser nuestro trabajo controlar un algoritmo que ya está dirigiendo el programa.
