La Panoramica AI e la Modalità AI di Google non sono sicure per i minori. Questa è la schietta conclusione di un nuovo rapporto dello Youth AI Safety Institute di Common Sense Media. I ricercatori hanno trascorso mesi a testare il modo in cui queste funzionalità gestiscono le query del mondo reale. Il risultato? Un sistema che ignora le crisi, allucina la storia e completa i compiti per bambini che non dovrebbero chiederli.
Google non ha usato mezzi termini nella sua confutazione. La società ha definito lo studio viziato. Sostenevano che i test utilizzassero query ambigue che non riflettono il comportamento effettivo degli utenti. Ma i dati raccontano una storia diversa sui rischi connessi al lasciare che preadolescenti e adolescenti vagano liberi su un motore di ricerca basato sull’intelligenza artificiale.
I guasti alla sicurezza sono reali e pericolosi
Il periodo di prova è durato da maggio a luglio. I ricercatori hanno simulato 2.600 interazioni utilizzando account di prova progettati per assomigliare a utenti di 11 e 15 anni. Hanno attivato SafeSearch. Hanno utilizzato i controlli di Google Family Link. Hanno seguito le regole. Poi hanno spinto l’intelligenza artificiale ai suoi limiti.
Si sono concentrati su argomenti “linea rossa”. Suicidio. Autolesionismo. Sfruttamento sessuale minorile. Psicosi.
“Per una quantità di tempo inaccettabile, Google non riconosce una crisi o fornisce risposte e consigli che peggiorano le cose. Questo non va bene per i bambini in crisi.”
— Geoffrey Fowler, Buon senso dei media
I risultati sono stati duri. L’intelligenza artificiale ha deluso i bambini in difficoltà. Non presentava chiari segni di ideazione suicidaria. Ha rafforzato la psicosi. Ha convalidato un’alimentazione disordinata. In un esempio agghiacciante, un adolescente ha usato lo slang per indicare il suicidio – un riferimento a una “lettera SUE” – aspettandosi aiuto. L’intelligenza artificiale ha invece offerto istruzioni tecniche su come impostare un contatto per l’eredità digitale.
Ha trattato la richiesta di aiuto come una richiesta logistica.
Quando si trattava di segnalazioni per problemi di salute mentale, l’intelligenza artificiale non riusciva a raggiungere l’obiettivo più della metà delle volte. Delle 214 richieste che richiedevano supporto medico immediato o assistenza in caso di crisi, AI Overview ha fornito una risorsa sicura solo nel 58% dei casi. La modalità AI ha fatto leggermente meglio con il 77%. Ma nessuno dei due ha raggiunto il tasso di rilevamento del 95% che i ricercatori hanno ritenuto necessario per un prodotto sicuro.
La ricerca basata sull’intelligenza artificiale è sufficientemente accurata per la scuola?
Se ritieni che i rischi per la sicurezza siano l’unico problema, guarda i registri dei compiti.
La modalità AI ha completato problemi di matematica e saggi di materie umanistiche in ogni singolo caso testato. I ricercatori hanno eseguito 180 variazioni. L’intelligenza artificiale non ha esitato. Ha semplicemente fatto il suo lavoro.
Questo non è solo un problema di integrità accademica. È un problema di precisione. Lo studio ha testato oltre 275 suggerimenti di fatti storici. L’intelligenza artificiale ha fornito risposte diverse a domande identiche nel 43% dei casi.
Chiedi informazioni sulla prima mappa del mondo accurata. Potresti ottenere una risposta. Chiedi di nuovo. Ottieni qualcos’altro di completamente diverso.
Anche i fatti della cultura pop non vengono risparmiati. Alla domanda su chi fosse in cima alla classifica Billboard Artist 100 in un momento specifico, AI Overview ha citato con sicurezza Taylor Swift. I dati erano sbagliati. Drake ha tenuto il posto. I sistemi di Google si basavano su risultati di ricerca che avevano interpretato erroneamente il contesto e l’intelligenza artificiale ripeteva l’errore con totale sicurezza.
I bambini non dovrebbero essere costretti a verificare i fatti nella barra di ricerca. Eppure questo è esattamente ciò che il rapporto suggerisce che debbano fare.
“Google si aspetta davvero che un bambino di dieci anni [controlli gli errori]? In realtà non è un prodotto progettato ma viene utilizzato dai bambini.”
Cosa dovrebbero fare i genitori in questo momento?
Tre quarti dei preadolescenti e degli adolescenti utilizzano già le risposte di ricerca AI di Google. Quel numero non diminuirà. Google è l’impostazione predefinita sui dispositivi Android. È presente sui Chromebook che le scuole distribuiscono agli studenti negli Stati Uniti. Non puoi semplicemente disinstallare Internet.
Allora dove finiscono i genitori?
Common Sense Media fornisce raccomandazioni specifiche. Sostengono che le scuole e le famiglie dovrebbero avere il diritto di disabilitare completamente la panoramica AI e la modalità AI. Per gli studenti delle elementari, suggeriscono di evitare del tutto la ricerca AI di Google. Attenersi ai database delle biblioteche. Utilizza strumenti creati per l’istruzione, non per il coinvolgimento.
Geoffrey Fowler indica una soluzione semplice: disattivare queste funzionalità per impostazione predefinita per i minorenni. Non è rivoluzionario. Molti altri paesi già limitano la ricerca dell’intelligenza artificiale agli utenti più giovani. Negli Stati Uniti, Google limita l’accesso al suo chatbot Gemini ai minori, etichettando AI Overview and Mode un “rischio inaccettabile”.
I genitori possono provare a bloccare l’accesso tramite il controllo genitori di Android. Devi aggiungere manualmente google.com all’elenco bloccato nelle impostazioni Chrome e Web. È goffo. È facile da aggirare. Richiede una vigilanza costante.
La difesa di Google: non è una culla, è uno strumento
La risposta di Google è stata difensiva. Hanno affermato di non poter riprodurre i risultati del rapporto. Hanno eseguito i propri test e hanno ottenuto risposte di qualità superiore. Sostenevano che i suggerimenti fossero inventati e ambigui.
“Le nostre funzionalità di ricerca AI sono un modo incredibilmente utile per imparare”, ha detto Google a Mashable. “Questo rapporto testa query ristrette e ambigue.”
Hanno anche notato che i tester non hanno posto domande di follow-up. Gli utenti reali chattano avanti e indietro. Chiariscono. L’intelligenza artificiale apprende il contesto. I suggerimenti a colpo singolo sono test ingiusti.
Questo potrebbe essere vero per i ricercatori adulti. Ciò non cambia il fatto che l’architettura attuale è incline alle allucinazioni e alla mancanza di crisi.
La questione centrale rimane. La ricerca basata sull’intelligenza artificiale non è mai stata progettata per i bambini. È stato progettato per catturare l’attenzione, rispondere a domande vaghe e mantenere gli utenti nell’ecosistema. Mancano i guardrail di cui un bambino ha bisogno.
A meno che Google non limiti queste funzionalità ai minori statunitensi, l’onere ricade su di te. Sugli insegnanti. Sui genitori che devono vagliare allucinazioni e consigli dannosi per trovare la verità.
C’è molto da chiedere. E francamente, non dovrebbe essere nostro compito vigilare su un algoritmo che sta già conducendo lo spettacolo.
