Проблема модерації контенту загострюється в міру того, як інтернет захльостує згенерований ІІ контент, і один стартап Moonbounce робить ставку на те, що рішення полягає в «політиці як коді». Заснована колишнім керівником Facebook та Apple Бретом Левенсоном, компанія щойно залучила 12 мільйонів доларів на створення шару безпеки в реальному часі для платформ та ІІ-систем.
Провал Ручної Модерації
Досвід Левенсона у Facebook виявив критичний недолік традиційної модерації: люди-модератори, які часто працюють із погано переведеними правилами, приймають поспішні рішення з точністю близько 50%. Такий реактивний підхід не встигає за зловмисниками, особливо коли інструменти ІІ роблять створення шкідливого контенту швидше та дешевше. Проблема в тому, що затримка означає шкоду. На той час, як людина позначає щось, збитки вже завдано.
Moonbounce: Безпека, Вбудована в Систему, а Не Прикручена Зверху
Moonbounce використовує інший підхід. Компанія навчає велику мовну модель (LLM) інтерпретувати правила контенту клієнта та застосовувати їх у реальному часі. Система реагує менш ніж за 300 мілісекунд, уповільнюючи розповсюдження для ручної перевірки або негайно блокуючи вміст із високим ризиком. Це важливо, тому що:
- Швидкість має значення: LLM можуть реагувати набагато швидше, ніж люди-модератори.
- Автоматизація підвищує послідовність: Код застосовує політику без утоми чи упередженості.
- Проактивна безпека стає перевагою: Платформи можуть позиціонувати себе як безпечніші за дизайном.
Ключові Клієнти та Зростання
Moonbounce в даний час обслуговує програми для знайомств, сервіси ІІ-компаньйонів та генератори зображень, обробляючи понад 40 мільйонів щоденних перевірок для більш ніж 100 мільйонів користувачів. Серед клієнтів Channel AI, Civitai, Dippy AI та Moescape. Tinder вже досяг десятикратного поліпшення точності виявлення, використовуючи аналогічні інструменти на базі LLM.
Майбутнє: Ітеративне Управління
Moonbounce розробляє «ітеративне управління», систему, яка перехоплює шкідливі розмови та перенаправляє їх у реальному часі. Замість простого блокування небезпечних тем ІІ змінюватиме запити, щоб направити чат-ботів на підтримку. Це реакція на трагічні випадки, такі як самогубство 14-річного підлітка, пов’язане із взаємодією з ІІ-чатботом, що ілюструє реальні наслідки збоїв у модерації.
Бізнес-Реальність
Засновник компанії визнає, що поглинання технологічним гігантом, таким як Meta, було б логічним, але боїться, що така угода може задушити інновації. «Мої інвестори вб’ють мене за те, що я це говорю, але я не хотів би, щоб хтось купив нас і обмежив технологію». Основне посилання зрозуміле: безпека ІІ тепер є критичною бізнес-відповідальністью, і компанії гарячково шукають рішення, перш ніж регулюючі органи або громадське обурення змусять їх діяти.
** Коротше кажучи: ** Moonbounce є перехід від реактивної модерації до проактивної безпеки, що необхідно в міру того, як згенерований ІІ контент стає все більш поширеним. Ринок безпеки ІІ швидко зростає, і модель Moonbounce може стати стандартною практикою.
