Přehled AI společnosti Google a režim AI nejsou pro nezletilé bezpečné. To je jasný závěr nové zprávy Institutu pro bezpečnost dětí společnosti Common Sense Media. Výzkumníci strávili měsíce testováním, jak tyto funkce zvládají dotazy v reálném světě. Výsledek? Systém, který postrádá znaky krizových stavů, si „vymýšlí“ historická fakta a dělá domácí úkoly pro děti, které by k takovým zdrojům neměly mít přístup.
Google ve své odpovědi jazyk nezměkčil. Společnost označila studii za chybnou a tvrdila, že testy používaly nejednoznačné dotazy, které neodrážely skutečné chování uživatelů. Data však vyprávějí jiný příběh o rizicích, které dětem umožní volně používat vyhledávač s umělou inteligencí.
Bezpečnostní chyby jsou skutečné a nebezpečné.
Testovací období trvalo od května do července. Vědci simulovali 2 600 interakcí pomocí testovacích účtů, které simulovaly chování 11 a 15 letých uživatelů. Povolili Bezpečné vyhledávání. Nastavili jsme ovládání přes Google Family Link. Dodrželi jsme všechna pravidla. A pak naložili AI na maximum.
Zvláštní pozornost byla věnována „červeným liniím“: sebevražda, sebepoškozování, sexuální vykořisťování dětí, psychóza.
“V nepřijatelně velkém počtu případů Google nedokáže rozpoznat krizovou situaci nebo poskytne radu, která ji zhorší. To je pro děti v krizi nepřijatelné.”
— Jeffrey Fowler, Common Sense Media
Výsledky byly ponuré. AI selhala dětem, které potřebují pomoc. Chyběly mu jasné známky sebevražedných myšlenek. Zesílilo projevy psychózy. Vymlouval se na poruchy příjmu potravy. V jednom mrazivém příkladu použil teenager slang pro sebevraždu („dopis SUE“), když čekal na pomoc. Místo toho AI nabízela technické pokyny pro přiřazení digitálního kontaktu ke zdědění účtu.
Zoufalé volání o pomoc považoval za logistickou výzvu.
Pokud jde o doporučení týkající se duševního zdraví, AI se více než polovinu času mýlila. Z 214 žádostí vyžadujících okamžitou lékařskou nebo krizovou pomoc poskytla AI Overview bezpečný zdroj pouze v 58 % případů. AI Mode si vedl o něco lépe – v 77 % případů. Žádný z nich nedosáhl 95% míry rozpoznání, kterou výzkumníci považují za nezbytnou pro bezpečný produkt.
Je vyhledávání AI dostatečně přesné pro školu?
Pokud si myslíte, že jediným problémem jsou bezpečnostní rizika, podívejte se na své protokoly domácích úkolů.
Režim AI prováděl matematické problémy a humanitní eseje v každém testovaném testovacím případě. Vědci testovali 180 možností. AI neváhala. Dělal jen tu práci.
To není jen otázka akademické integrity. Jde o přesnost. Studie testovala více než 275 dotazů s historickými fakty. Umělá inteligence dávala různé odpovědi na stejné dotazy ve 43 % případů.
Zeptejte se na první přesnou mapu světa. Můžete dostat jednu odpověď. Zeptejte se znovu. Získáte něco úplně jiného.
Populární kultura se také nedokáže vyvarovat chyb. Když byl dotázán, kdo se v konkrétní chvíli umístil na prvním místě žebříčku Billboard Artist 100, AI Overview sebevědomě jmenoval Taylor Swift. Údaje byly nesprávné. Místo zaujal Drake. Systémy Google spoléhaly na výsledky vyhledávání, ve kterých byl kontext nesprávně interpretován, a AI chybu s naprostou jistotou opakovala.
Děti by neměly hledat chyby ve vyhledávací liště. Přesně to však tato zpráva navrhuje.
“Opravdu Google očekává, že desetileté dítě [bude kontrolovat chyby]? Ve skutečnosti se jedná o produkt, který nebyl určen pro děti.”
Co by měli rodiče právě teď dělat?
Tři čtvrtiny dětí a dospívajících již používají odpovědi Google na vyhledávání pomocí umělé inteligence. Toto číslo se nesnižuje. Google je standardně nainstalován na zařízeních Android. Školy poskytují studentům v celých Spojených státech Chromebooky. Nemůžete jen tak „smazat internet“.
Co by tedy měli rodiče dělat?
Common Sense Media poskytuje konkrétní doporučení. Organizace věří, že školy a rodiny by měly mít právo úplně vypnout funkce Přehled AI a Režim AI. Pro žáky základních škol doporučují zcela se vyhnout vyhledávání pomocí AI Googlu. Je lepší používat databázové knihovny. Používejte nástroje určené pro vzdělávání, nikoli pro zapojení uživatelů.
Jeffrey Fauer poukazuje na jednoduché řešení: ve výchozím nastavení tyto funkce pro nezletilé zakázat. To není revoluce. V mnoha jiných zemích je vyhledávání AI již omezeno na mladší uživatele. V USA Google omezuje přístup teenagerů ke svému chatbotu Gemini a označuje AI Overview and Mode za „nepřijatelné riziko“.
Rodiče se mohou pokusit zablokovat přístup pomocí rodičovské kontroly systému Android. Chcete-li to provést, musíte ručně přidat google.com do seznamu blokovaných stránek v prohlížeči Chrome a v nastavení vyhledávání na webu. Je to nepohodlné. Snadno se obejít. To vyžaduje neustálou pozornost.
Google Defense: Není to kolébka, je to nástroj
Odpověď Google byla obranná. Tvrdili, že nebyli schopni reprodukovat zjištění zprávy. Provedli své vlastní testy a dostali kvalitnější odpovědi. Tvrdili, že požadavky byly přitažené za vlasy a nejednoznačné.
„Naše funkce vyhledávání AI jsou neuvěřitelně užitečným způsobem učení,“ řekl Google Mashable. “Tato zpráva testuje úzké, nejednoznačné dotazy.”
Společnost také poznamenala, že testeři nekladli vysvětlující otázky. Skuteční uživatelé komunikují v dialogu. Vyjasňují souvislosti. AI se z toho učí. Jednotlivé žádosti jsou nespravedlivým testem.
To může platit pro dospělé výzkumníky. To nic nemění na tom, že současná architektura je náchylná k halucinacím a nevnímá krizové situace.
Hlavní problém zůstává. Vyhledávání AI nebylo nikdy navrženo pro děti. Je navržen tak, aby přitahoval pozornost, odpovídal na nejasné dotazy a udržoval uživatele v ekosystému. Chybí mu obranné mechanismy, které dítě potřebuje.
Dokud Google tyto funkce pro nezletilé v USA omezí, břemeno leží na vás. Na učitelích. Rodiče, kteří se musí prodírat halucinacemi a špatnými radami, aby našli pravdu.
To je příliš vysoká cena. A upřímně řečeno, naším úkolem není řídit algoritmus, který již řídí celý proces.
