A visão geral da IA e o modo IA do Google não são seguros para menores. Essa é a conclusão contundente de um novo relatório do Youth AI Safety Institute da Common Sense Media. Os pesquisadores passaram meses testando como esses recursos lidam com consultas do mundo real. O resultado? Um sistema que ignora crises, alucina a história e faz lição de casa para crianças que não deveriam pedir isso.
O Google não mediu palavras em sua refutação. A empresa considerou o estudo falho. Eles argumentaram que os testes usaram consultas ambíguas que não refletem o comportamento real do usuário. Mas os dados contam uma história diferente sobre os riscos envolvidos em deixar pré-adolescentes e adolescentes circularem livremente em um mecanismo de busca baseado em IA.
As falhas de segurança são reais e perigosas
O período de testes ocorreu de maio a julho. Os pesquisadores simularam 2.600 interações usando contas de teste projetadas para se parecerem com usuários de 11 e 15 anos de idade. Eles ativaram o SafeSearch. Eles usaram os controles do Google Family Link. Eles seguiram as regras. Então eles levaram a IA ao seu limite.
Eles se concentraram em tópicos da “linha vermelha”. Suicídio. Auto-mutilação. Exploração sexual infantil. Psicose.
“Na maioria das vezes, o Google não reconhece uma crise ou dá respostas e conselhos que pioram as coisas. Isso não é bom para crianças em crise.”
— Geoffrey Fowler, Common Sense Media
Os resultados foram nítidos. A IA falhou com crianças em perigo. Não percebeu sinais claros de ideação suicida. Reforçou a psicose. Validou a alimentação desordenada. Em um exemplo assustador, um adolescente usou uma gíria para suicídio – uma referência a uma “carta SUE” – esperando ajuda. Em vez disso, a IA ofereceu instruções técnicas sobre como configurar um contato legado digital.
Tratava um pedido de ajuda como um pedido logístico.
Quando se tratava de encaminhamentos de saúde mental, a IA errou o alvo em mais da metade das vezes. Dos 214 avisos que exigiam apoio médico imediato ou em crises, a Visão Geral da IA forneceu um recurso seguro apenas em 58% das vezes. O Modo AI teve um desempenho ligeiramente melhor, com 77 por cento. Mas nenhum dos dois atingiu a taxa de detecção de 95% que os pesquisadores consideraram necessária para um produto seguro.
A pesquisa por IA é precisa o suficiente para a escola?
Se você acha que os riscos à segurança são o único problema, consulte os registros dos trabalhos de casa.
O Modo AI concluiu problemas de matemática e ensaios de humanidades em todas as instâncias testadas. Os pesquisadores executaram 180 variações. A IA não hesitou. Apenas fez o trabalho.
Esta não é apenas uma questão de integridade acadêmica. É um problema de precisão. O estudo testou mais de 275 informações de fatos históricos. A IA forneceu respostas diferentes para perguntas idênticas em 43% das vezes.
Pergunte sobre o primeiro mapa mundial preciso. Você pode obter uma resposta. Pergunte novamente. Você obtém algo totalmente diferente.
Os fatos da cultura pop também não são poupados. Questionado sobre quem estava no topo da Billboard Artist 100 em um momento específico, a AI Overview citou Taylor Swift com segurança. Os dados estavam errados. Drake manteve o lugar. Os sistemas do Google basearam-se em resultados de pesquisa que interpretaram mal o contexto, e a IA repetiu o erro com total confiança.
As crianças não deveriam ter que verificar os fatos na barra de pesquisa. No entanto, é exactamente isso que o relatório sugere que devem fazer.
“O Google realmente espera que uma criança de dez anos [verifique se há erros]? Na verdade, não é um produto que foi projetado, mas está sendo usado por crianças.”
O que os pais devem fazer agora?
Três quartos dos pré-adolescentes e adolescentes já usam as respostas de pesquisa de IA do Google. Esse número não está diminuindo. Google é o padrão em dispositivos Android. Está nos Chromebooks que as escolas distribuem aos alunos dos EUA. Você não pode simplesmente desinstalar a Internet.
Então, onde isso deixa os pais?
Common Sense Media tem recomendações específicas. Eles argumentam que as escolas e as famílias deveriam ter o direito de desativar totalmente a Visão Geral da IA e o Modo IA. Para alunos do ensino fundamental, eles sugerem evitar completamente a pesquisa de IA do Google. Atenha-se aos bancos de dados da biblioteca. Use ferramentas desenvolvidas para educação, não para engajamento.
Geoffrey Fowler aponta uma solução simples: desativar esses recursos por padrão para menores. Não é revolucionário. Muitos outros países já restringem a pesquisa de IA para utilizadores mais jovens. Nos EUA, o Google limita o acesso ao seu chatbot Gemini para menores, rotulando a Visão Geral e o Modo de IA como um “risco inaceitável”.
Os pais podem tentar bloquear o acesso através do controle parental do Android. Você deve adicionar manualmente google.com à lista de bloqueados nas configurações do Chrome e da Web. É desajeitado. É fácil contornar. Requer vigilância constante.
Defesa do Google: não é um berço, é uma ferramenta
A resposta do Google foi defensiva. Eles alegaram que não podiam reproduzir as conclusões do relatório. Eles executaram seus próprios testes e obtiveram respostas de maior qualidade. Eles argumentaram que as instruções eram artificiais e ambíguas.
“Nossos recursos de pesquisa de IA são uma forma incrivelmente útil de aprender”, disse o Google ao Mashable. “Este relatório testa consultas restritas e ambíguas.”
Eles também observaram que os testadores não fizeram perguntas de acompanhamento. Usuários reais conversam entre si. Eles esclarecem. A IA aprende o contexto. Solicitações únicas são testes injustos.
Isso pode ser verdade para pesquisadores adultos. Isto não muda o facto de que a arquitectura actual é propensa à alucinação e à falta de crise.
A questão central permanece. A pesquisa de IA nunca foi projetada para crianças. Ele foi projetado para chamar a atenção, responder a perguntas vagas e manter os usuários no ecossistema. Faltam as grades de proteção que uma criança precisa.
A menos que o Google restrinja esses recursos para menores dos EUA, o ônus recai sobre você. Nos professores. Sobre os pais que precisam examinar alucinações e conselhos prejudiciais para descobrir a verdade.
É pedir muito. E, francamente, não deveria ser nosso trabalho policiar um algoritmo que já está comandando o show.
