Die KI-Übersicht und der KI-Modus von Google sind für Minderjährige nicht sicher. Zu diesem Schluss kommt ein neuer Bericht des Youth AI Safety Institute von Common Sense Media. Forscher haben monatelang getestet, wie diese Funktionen mit realen Abfragen umgehen. Das Ergebnis? Ein System, das Krisen übersieht, Geschichte halluziniert und Hausaufgaben für Kinder erledigt, die nicht danach fragen sollten.
Google hat in seiner Widerlegung kein Blatt vor den Mund genommen. Das Unternehmen bezeichnete die Studie als fehlerhaft. Sie argumentierten, dass die Tests mehrdeutige Abfragen verwendeten, die nicht das tatsächliche Benutzerverhalten widerspiegelten. Die Daten erzählen jedoch eine andere Geschichte über die Risiken, die damit verbunden sind, Tweens und Teens in einer KI-gesteuerten Suchmaschine frei herumlaufen zu lassen.
Die Sicherheitsmängel sind real und gefährlich
Der Testzeitraum erstreckte sich von Mai bis Juli. Die Forscher simulierten 2.600 Interaktionen mit Testkonten, die so gestaltet waren, dass sie wie 11- und 15-jährige Benutzer aussehen. Sie haben SafeSearch aktiviert. Sie verwendeten Google Family Link-Steuerelemente. Sie haben sich an die Regeln gehalten. Dann brachten sie die KI an ihre Grenzen.
Sie konzentrierten sich auf „rote Linien“-Themen. Selbstmord. Selbstverletzung. Sexuelle Ausbeutung von Kindern. Psychose.
„In inakzeptablen Fällen erkennt Google eine Krise nicht oder gibt Antworten und Ratschläge, die die Situation verschlimmern. Das ist für Kinder in einer Krise nicht in Ordnung.“
— Geoffrey Fowler, Common Sense Media
Die Ergebnisse waren krass. Die KI hat Kinder in Not im Stich gelassen. Es fehlten eindeutige Anzeichen von Selbstmordgedanken. Es verstärkte die Psychose. Es bestätigte Essstörungen. In einem erschreckenden Beispiel benutzte ein Teenager Slang für Selbstmord – eine Anspielung auf einen „SUE-Brief“ – und erwartete Hilfe. Stattdessen bot die KI technische Anweisungen zum Einrichten eines digitalen Legacy-Kontakts an.
Es behandelte einen Hilferuf als logistische Bitte.
Bei den Überweisungen zur psychischen Gesundheit verfehlte die KI in mehr als der Hälfte der Fälle ihr Ziel. Von 214 Eingabeaufforderungen, die sofortige medizinische Hilfe oder Krisenhilfe erforderten, stellte AI Overview nur in 58 Prozent der Fälle eine sichere Ressource dar. Der AI-Modus schnitt mit 77 Prozent etwas besser ab. Aber keines von beiden erreichte die Erkennungsrate von 95 Prozent, die die Forscher für ein sicheres Produkt als notwendig erachteten.
Ist die KI-Suche für die Schule genau genug?
Wenn Sie der Meinung sind, dass die Sicherheitsrisiken das einzige Problem sind, schauen Sie sich die Hausaufgabenprotokolle an.
AI Mode hat in jedem einzelnen getesteten Fall mathematische Probleme und geisteswissenschaftliche Aufsätze gelöst. Die Forscher führten 180 Variationen durch. Die KI zögerte nicht. Es hat einfach funktioniert.
Dabei handelt es sich nicht nur um ein Problem der akademischen Integrität. Es ist ein Genauigkeitsproblem. Die Studie testete über 275 historische Fakten. Die KI lieferte in 43 Prozent der Fälle unterschiedliche Antworten auf identische Fragen.
Fragen Sie nach der ersten genauen Weltkarte. Möglicherweise erhalten Sie eine Antwort. Fragen Sie noch einmal. Da bekommt man etwas ganz anderes.
Auch Fakten zur Popkultur bleiben nicht verschont. Auf die Frage, wer zu einem bestimmten Zeitpunkt an der Spitze der Billboard Artist 100 stand, zitierte AI Overview selbstbewusst Taylor Swift. Die Daten waren falsch. Drake hielt den Platz. Die Systeme von Google stützten sich auf Suchergebnisse, die den Kontext falsch interpretiert hatten, und die KI wiederholte den Fehler mit absoluter Sicherheit.
Kinder sollten die Suchleiste nicht auf Fakten überprüfen müssen. Doch genau das schlägt der Bericht vor, was sie tun müssen.
„Erwartet Google wirklich von einem Zehnjährigen, dass er [auf Fehler prüft]? Es handelt sich wirklich nicht um ein Produkt, das entworfen wurde, sondern von Kindern verwendet wird.“
Was sollten Eltern jetzt tun?
Drei Viertel der Tweens und Teens nutzen bereits Google AI-Suchantworten. Diese Zahl wird nicht sinken. Google ist die Standardeinstellung auf Android-Geräten. Es befindet sich auf den Chromebooks, die Schulen in den USA an Schüler verteilen. Sie können das Internet nicht einfach deinstallieren.
Wo bleiben also die Eltern?
Common Sense Media hat konkrete Empfehlungen. Sie argumentieren, dass Schulen und Familien das Recht haben sollten, die KI-Übersicht und den KI-Modus vollständig zu deaktivieren. Für Grundschüler schlagen sie vor, die Google AI-Suche ganz zu vermeiden. Bleiben Sie bei Bibliotheksdatenbanken. Nutzen Sie Tools, die für Bildung und nicht für Engagement entwickelt wurden.
Geoffrey Fowler weist auf eine einfache Lösung hin: Schalten Sie diese Funktionen für Minderjährige standardmäßig aus. Es ist nicht revolutionär. Viele andere Länder schränken die KI-Suche bereits für jüngere Nutzer ein. In den USA beschränkt Google den Zugang zu seinem Chatbot Gemini für Minderjährige und bezeichnet die KI-Übersicht und den KI-Modus als „inakzeptables Risiko“.
Eltern können versuchen, den Zugriff über die Android-Kindersicherung zu blockieren. Sie müssen google.com manuell zur Sperrliste in Chrome und den Webeinstellungen hinzufügen. Es ist klobig. Es ist leicht zu umgehen. Es erfordert ständige Wachsamkeit.
Googles Verteidigung: Es ist keine Wiege, sondern ein Werkzeug
Googles Reaktion war defensiv. Sie behaupteten, sie könnten die Ergebnisse des Berichts nicht reproduzieren. Sie führten ihre eigenen Tests durch und erhielten qualitativ hochwertigere Antworten. Sie argumentierten, dass die Aufforderungen gekünstelt und mehrdeutig seien.
„Unsere KI-Suchfunktionen sind eine unglaublich nützliche Möglichkeit zum Lernen“, sagte Google gegenüber Mashable. „Dieser Bericht testet enge, mehrdeutige Abfragen.“
Sie stellten außerdem fest, dass die Tester keine weiteren Fragen stellten. Echte Benutzer chatten hin und her. Sie klären auf. Die KI lernt Kontext. Einzelaufforderungen sind unfaire Tests.
Das könnte für erwachsene Forscher gelten. Es ändert nichts an der Tatsache, dass die aktuelle Architektur anfällig für Halluzinationen und Krisenverfehlungen ist.
Das Kernproblem bleibt bestehen. Die KI-Suche wurde nie für Kinder entwickelt. Es wurde entwickelt, um Aufmerksamkeit zu erregen, vage Fragen zu beantworten und Benutzer im Ökosystem zu halten. Es fehlen die Leitplanken, die ein Kind braucht.
Sofern Google diese Funktionen nicht für US-amerikanische Minderjährige einschränkt, liegt die Last bei Ihnen. Auf die Lehrer. Über die Eltern, die Halluzinationen und schädliche Ratschläge durchforsten müssen, um die Wahrheit herauszufinden.
Es ist viel verlangt. Und ehrlich gesagt sollte es nicht unsere Aufgabe sein, einen Algorithmus zu überwachen, der bereits das Sagen hat.
