Огляд ІІ (AI Overview) та режим ІІ (AI Mode) у Google небезпечні для неповнолітніх. Таким є однозначний висновок нового звіту Інституту безпеки дітей у сфері ІІ організації Common Sense Media. Дослідники витратили місяці на тестування того, як ці функції справляються із реальними запитами. Результат? Система, яка упускає ознаки кризових станів, «вигадує» історичні факти та виконує домашні завдання за дітей, яким не слід звертатися до таких ресурсів.
Google не пом’якшував формулювання у своїй відповіді. Компанія назвала дослідження помилковим, стверджуючи, що в тестах використовувалися неоднозначні запити, що не відображають реальну поведінку користувачів. Однак дані розповідають іншу історію про ризики, пов’язані з наданням дітям можливості вільно користуватися пошуковою системою на базі ІІ.
Помилки в безпеці реальні та небезпечні
Період тестування тривав із травня до липня. Дослідники змоделювали 2600 взаємодій, використовуючи тестові акаунти, що імітують поведінку 11- та 15-річних користувачів. Вони увімкнули безпечний пошук (SafeSearch). Налаштували контроль за допомогою Google Family Link. Слідували всім правилам. А потім навантажили ІІ по максимуму.
Особливу увагу приділяли «червоним лініям»: суїцид, самоушкодження, сексуальна експлуатація дітей, психоз.
«У неприпустимо великій кількості випадків Google не розпізнає кризову ситуацію або дає поради, які роблять її лише гіршою. Це неприпустимо для дітей у кризі».
— Джеффрі Фаулер, Common Sense Media
Результати були похмурими. ІІ підвів дітей, які потребують допомоги. Він пропустив чіткі ознаки суїцидальних думок. Він посилював прояви психозу. Він виправдовував розлади харчової поведінки. В одному жахливому прикладі підліток використовував сленговий вираз, що означає суїцид («лист SUE»), очікуючи на допомогу. Натомість ІІ запропонував технічні інструкції щодо призначення цифрової контактної особи для успадкування облікового запису.
Він сприйняв відчайдушний заклик про допомогу як логістичне завдання.
Що стосується направлення до фахівців із психічного здоров’я, то ІІ помилявся частіше за половину випадків. З 214 запитів, що вимагають негайної медичної чи кризової допомоги, AI Overview надав безпечний ресурс лише у 58% випадків. AI Mode впорався трохи краще – у 77% випадків. Жоден з них не досяг рівня розпізнавання у 95%, який дослідники вважають за необхідне для безпечного продукту.
Чи достатньо точний ІІ-пошук для навчання?
Якщо ви вважаєте, що ризики безпеки є єдиною проблемою, подивіться на журнали виконання домашніх завдань.
Режим ІІ виконував математичні завдання та есе з гуманітарних дисциплін у всіх без винятку протестованих випадках. Дослідники перевірили 180 варіантів. ІІ не вагався. Він просто робив роботу.
Це не лише питання академічної чесності. Це питання точності. У дослідженні тестувалося понад 275 запитів із історичними фактами. ІІ давав різні відповіді на ідентичні запити у 43% випадків.
Запитайте про першу точну карту світу. Ви можете отримати одну відповідь. Запитайте знову. Ви отримаєте зовсім інше.
Популярній культурі також не вдається уникнути помилок. Коли запитували, хто очолював Billboard Artist 100 у конкретний момент, AI Overview упевнено називав Тейлор Свіфт. Дані були неправильні. Місце займав Дрейк. Системи Google спиралися на результати пошуку, в яких контекст був неправильно витлумачений, а ІІ повторив помилку з повною впевненістю.
Діти не повинні перевіряти пошуковий рядок на наявність помилок. Однак саме це і пропонує робити цей звіт.
«Невже Google дійсно очікує, що десятирічна дитина [перевірятиме наявність помилок]? Насправді, це продукт, який не був призначений для використання дітьми».
Що батькам робити прямо зараз?
Три чверті дітей та підлітків вже використовують відповіді ІІ-пошуку Google. Ця цифра не знижується. Google встановлено за замовчуванням на Android пристроях. Він є на Chromebook, які школи видають учням по всьому США. Просто так «видалити інтернет» не вийде.
То що робити батькам?
Common Sense Media дає конкретні поради. Організація вважає, що школи та сім’ї повинні мати право повністю відключити функції AI Overview та AI Mode. Для учнів початкової школи вони пропонують взагалі уникати використання ІІ-пошуку Google. Найкраще використовувати бібліотеки баз даних. Використовуйте інструменти, створені для освіти, а не для залучення користувача.
Джеффрі Фауер вказує на просте рішення: відключати ці функції за промовчанням для неповнолітніх. Це не революція. У багатьох інших країнах ІІ-пошук вже обмежений для молодших користувачів. У США Google обмежує доступ підлітків до свого чат-боту Gemini, називаючи AI Overview та Mode «неприйнятним ризиком».
Батьки можуть спробувати заблокувати доступ через батьківський контроль Android. Для цього потрібно вручну додати google.com до списку заблокованих сайтів у налаштуваннях Chrome та веб-пошуку. Це незручно. Легко оминути. Це потребує постійної уваги.
Захист Google: це не колиска, це інструмент
Відповідь Google була оборонною. Вони стверджували, що не змогли відтворити висновків звіту. Вони провели власні тести та отримали відповіді вищої якості. Вони аргументували, що запити були надуманими та неоднозначними.
“Наші функції ІІ-пошуку – неймовірно корисний спосіб навчання”, – заявив Google виданню Mashable. “Цей звіт тестує вузькі, неоднозначні запити”.
Компанія також наголосила, що тестери не ставили уточнюючих питань. Реальні користувачі спілкуються у діалозі. Вони уточнюють контекст. ІІ навчається на цьому. Поодинокі запити – несправедливе випробування.
Це може бути справедливим для дорослих дослідників. Це не змінює факту, що поточна архітектура схильна до галюцинацій і не помічає кризових ситуацій.
Головна проблема залишається. ІІ-пошук ніколи не створювався для дітей. Він створений, щоб привертати увагу, відповідати на розмиті запити та утримувати користувача в екосистемі. Йому не вистачає захисних механізмів, необхідних дитині.
Поки Google не обмежить ці функції для неповнолітніх у США, тягар лягає на вас. На вчителів. На батьків, яким доводиться просівати галюцинації та шкідливі поради, аби знайти правду.
Це надто висока ціна. І, щиро кажучи, це не наша робота — контролювати алгоритм, який уже керує всім процесом.
