Problém moderování obsahu narůstá s tím, jak obsah generovaný umělou inteligencí zaplavuje internet, a jeden startup, Moonbounce, sází na to, že řešení spočívá v „politice jako kódu“. Společnost, kterou založil bývalý výkonný ředitel Facebooku a Applu Bret Levenson, právě získala 12 milionů dolarů na vybudování bezpečnostní vrstvy v reálném čase pro platformy a systémy AI.
Selhání ručního moderování
Levensonova zkušenost na Facebooku odhalila kritickou chybu v tradičním moderování: lidští moderátoři, kteří často pracují se špatně přeloženými pravidly, dělají rychlá rozhodnutí s přesností asi 50 %. Tento reaktivní přístup nedokáže držet krok s útočníky, zvláště když nástroje AI zrychlují a zlevňují vytváření škodlivého obsahu. Problém je v tom, že zpoždění znamená škodu. Ve chvíli, kdy člověk něco označí, už je škoda napáchaná.
Moonbounce: Zabezpečení zabudované v systému, nepřišroubované navrch
Moonbounce má jiný přístup. Společnost školí velký jazykový model (LLM), aby interpretoval obsahová pravidla klienta a uplatňoval je v reálném čase. Systém zareaguje za méně než 300 milisekund, čímž zpomalí šíření pro ruční kontrolu nebo okamžitě zablokuje vysoce rizikový obsah. To je důležité, protože:
- Na rychlosti záleží: LLM mohou reagovat mnohem rychleji než lidští moderátoři.
- Automatizace zlepšuje konzistenci: Kód uplatňuje zásady bez únavy nebo zaujatosti.
- Proaktivní zabezpečení se stává výhodou: Platformy mohou být navrženy jako bezpečnější.
Klíčoví klienti a růst
Moonbounce v současnosti pohání seznamovací aplikace, doprovodné služby AI a generátory obrázků, které denně zpracovávají více než 40 milionů šeků pro více než 100 milionů uživatelů. Mezi klienty patří Channel AI, Civitai, Dippy AI a Moescape. Tinder již dosáhl desetinásobného zlepšení přesnosti detekce pomocí podobných nástrojů založených na LLM.
Budoucnost: Iterativní řízení
Moonbounce vyvíjí „iterativní kontrolu“, systém, který zachycuje škodlivé konverzace a přesměrovává je v reálném čase. Namísto prostého blokování nebezpečných témat AI upraví požadavky, aby nasměrovala chatboty k podpoře. Toto je reakce na tragické případy, jako je sebevražda 14letého mladíka spojená s interakcí s chatbotem AI, ilustrující skutečné důsledky selhání moderování.
Obchodní realita
Zakladatel společnosti připouští, že převzetí technologickým gigantem, jako je Meta, by bylo logické, ale obává se, že by taková dohoda mohla udusit inovace. “Moji investoři mě zabijí, že to říkám, ale nechtěl bych, aby nás někdo koupil a omezoval technologii.” Základní zpráva je jasná: Bezpečnost umělé inteligence je nyní kritickou obchodní odpovědností a společnosti horečně hledají řešení, než je regulační orgány nebo veřejný pokřik donutí jednat.
V kostce: Moonbounce představuje posun od reaktivního umírnění k proaktivnímu zabezpečení, které je nezbytné, protože obsah generovaný umělou inteligencí se stává běžnějším. Trh s bezpečností AI rychle roste a model Moonbounce se může brzy stát standardní praxí.
