Обзор ИИ (AI Overview) и режим ИИ (AI Mode) в Google небезопасны для несовершеннолетних. Таков однозначный вывод нового отчета Института безопасности детей в сфере ИИ организации Common Sense Media. Исследователи потратили месяцы на тестирование того, как эти функции справляются с реальными запросами. Результат? Система, которая упускает признаки кризисных состояний, «выдумывает» исторические факты и выполняет домашние задания за детей, которым не следует обращаться к таким ресурсам.
Google не стал смягчать формулировки в своем ответе. Компания назвала исследование ошибочным, утверждая, что в тестах использовались неоднозначные запросы, не отражающие реальное поведение пользователей. Однако данные рассказывают другую историю о рисках, связанных с предоставлением детям возможности свободно пользоваться поисковой системой на базе ИИ.
Ошибки в безопасности реальны и опасны
Период тестирования продолжался с мая по июль. Исследователи смоделировали 2600 взаимодействий, используя тестовые аккаунты, имитирующие поведение 11- и 15-летних пользователей. Они включили безопасный поиск (SafeSearch). Настроили контроль через Google Family Link. Следовали всем правилам. А затем нагрузили ИИ по максимуму.
Особое внимание уделялось «красным линиям»: суицид, самоповреждение, сексуальная эксплуатация детей, психоз.
«В недопустимо большом количестве случаев Google не распознает кризисную ситуацию или дает советы, которые делают ее только хуже. Это недопустимо для детей в кризисе».
— Джеффри Фаулер, Common Sense Media
Результаты были мрачными. ИИ подвел детей, нуждающихся в помощи. Он пропустил четкие признаки суицидальных мыслей. Он усиливал проявления психоза. Он оправдывал расстройства пищевого поведения. В одном жутком примере подросток использовал сленговое выражение, обозначающее суицид («письмо SUE»), ожидая помощи. Вместо этого ИИ предложил технические инструкции по назначению цифрового контактного лица для наследования аккаунта.
Он воспринял отчаянный призыв о помощи как логистическую задачу.
Что касается направления к специалистам по психическому здоровью, то ИИ ошибался чаще половины случаев. Из 214 запросов, требующих немедленной медицинской или кризисной помощи, AI Overview предоставил безопасный ресурс только в 58% случаев. AI Mode справился немного лучше — в 77% случаев. Ни один из них не достиг уровня распознавания в 95%, который исследователи считают необходимым для безопасного продукта.
Достаточно ли точен ИИ-поиск для учебы?
Если вы думаете, что риски безопасности — единственная проблема, посмотрите на журналы выполнения домашних заданий.
Режим ИИ выполнял математические задачи и эссе по гуманитарным дисциплинам во всех без исключения протестированных случаях. Исследователи проверили 180 вариантов. ИИ не колебался. Он просто делал работу.
Это не только вопрос академической честности. Это вопрос точности. В исследовании тестировалось более 275 запросов с историческими фактами. ИИ давал разные ответы на идентичные запросы в 43% случаев.
Спросите про первую точную карту мира. Вы можете получить один ответ. Спросите снова. Вы получите совершенно другое.
Популярной культуре также не удается избежать ошибок. Когда спрашивали, кто возглавлял Billboard Artist 100 в конкретный момент, AI Overview уверенно называл Тейлор Свифт. Данные были неверны. Место занимал Дрейк. Системы Google опирались на результаты поиска, в которых контекст был неправильно истолкован, а ИИ повторил ошибку с полной уверенностью.
Дети не должны проверять поисковую строку на наличие ошибок. Однако именно это и предлагает делать данный отчет.
«Неужели Google действительно ожидает, что десятилетний ребенок [будет проверять наличие ошибок]? На самом деле это продукт, который не был предназначен для использования детьми».
Что родителям делать прямо сейчас?
Три четверти детей и подростков уже используют ответы ИИ-поиска Google. Эта цифра не снижается. Google установлен по умолчанию на устройствах Android. Он присутствует на Chromebook, которые школы выдают ученикам по всему США. Просто так «удалить интернет» не получится.
Так что делать родителям?
Common Sense Media дает конкретные рекомендации. Организация считает, что школы и семьи должны иметь право полностью отключить функции AI Overview и AI Mode. Для учащихся начальной школы они предлагают вообще избегать использования ИИ-поиска Google. Лучше использовать библиотеки баз данных. Применяйте инструменты, созданные для образования, а не для вовлечения пользователя.
Джеффри Фауэр указывает на простое решение: отключать эти функции по умолчанию для несовершеннолетних. Это не революция. Во многих других странах ИИ-поиск уже ограничен для более молодых пользователей. В США Google ограничивает доступ подростков к своему чат-боту Gemini, называя AI Overview и Mode «неприемлемым риском».
Родители могут попытаться заблокировать доступ через родительский контроль Android. Для этого нужно вручную добавить google.com в список заблокированных сайтов в настройках Chrome и веб-поиска. Это неудобно. Легко обойти. Это требует постоянного внимания.
Защита Google: это не колыбель, это инструмент
Ответ Google был оборонительным. Они утверждали, что не смогли воспроизвести выводы отчета. Они провели собственные тесты и получили ответы более высокого качества. Они аргументировали, что запросы были надуманными и неоднозначными.
«Наши функции ИИ-поиска — невероятно полезный способ обучения», — заявил Google изданию Mashable. «Этот отчет тестирует узкие, неоднозначные запросы».
Компания также отметила, что тестеры не задавали уточняющих вопросов. Реальные пользователи общаются в диалоге. Они уточняют контекст. ИИ обучается на этом. Одиночные запросы — несправедливое испытание.
Это может быть справедливо для взрослых исследователей. Это не меняет факта, что текущая архитектура склонна к галлюцинациям и не замечает кризисные ситуации.
Главная проблема остается. ИИ-поиск никогда не создавался для детей. Он создан, чтобы привлекать внимание, отвечать на размытые запросы и удерживать пользователя в экосистеме. Ему не хватает защитных механизмов, необходимых ребенку.
Пока Google не ограничит эти функции для несовершеннолетних в США, бремя ложится на вас. На учителей. На родителей, которым приходится просеивать галлюцинации и вредные советы, чтобы найти правду.
Это слишком высокая цена. И, честно говоря, это не наша работа — контролировать алгоритм, который уже управляет всем процессом.
