Tantangan moderasi konten semakin meningkat ketika konten buatan AI membanjiri internet, dan salah satu startup, Moonbounce, bertaruh bahwa “kebijakan sebagai kode” adalah jawabannya. Didirikan oleh mantan eksekutif Facebook dan Apple Brett Levenson, perusahaan ini baru saja mengumpulkan $12 juta untuk membangun lapisan keamanan real-time untuk platform dan sistem AI.
Kegagalan Moderasi Manusia
Pengalaman Levenson di Facebook mengungkapkan kelemahan kritis dalam moderasi tradisional: peninjau manusia, yang sering kali bekerja berdasarkan kebijakan yang diterjemahkan dengan buruk, membuat keputusan terburu-buru dengan akurasi hanya sekitar 50%. Pendekatan reaktif ini gagal mengimbangi pelaku kejahatan, terutama karena alat AI membuat pembuatan konten berbahaya menjadi lebih cepat dan lebih murah. Masalahnya penundaan berarti kerugian. Pada saat manusia menandai sesuatu, kerusakan sudah terjadi.
Moonbounce: Keamanan Terpasang, Tidak Dibaut
Moonbounce mengambil pendekatan yang berbeda. Ini melatih model bahasa besar (LLM) untuk menafsirkan kebijakan konten klien dan menerapkannya saat runtime. Sistem merespons dalam waktu kurang dari 300 milidetik, memperlambat distribusi untuk ditinjau oleh manusia atau langsung memblokir konten berisiko tinggi. Hal ini penting karena:
- Kecepatan penting: LLM dapat bereaksi jauh lebih cepat dibandingkan pengulas manusia.
- Otomasi meningkatkan konsistensi: Kode menegakkan kebijakan tanpa kelelahan atau bias.
- Keamanan proaktif menjadi sebuah fitur: Platform dapat memasarkan dirinya sebagai platform yang lebih aman berdasarkan desainnya.
Klien Utama dan Pertumbuhan
Moonbounce saat ini melayani aplikasi kencan, layanan pendamping AI, dan generator gambar, memproses lebih dari 40 juta ulasan harian untuk lebih dari 100 juta pengguna. Pelanggannya termasuk Channel AI, Civitai, Dippy AI, dan Moescape. Tinder telah melihat peningkatan 10x dalam akurasi deteksi menggunakan alat serupa yang didukung LLM.
Masa Depan: Kemudi Berulang
Moonbounce sedang mengembangkan “kemudi berulang”, sebuah sistem yang mencegat percakapan berbahaya dan mengalihkannya secara real-time. Alih-alih hanya memblokir topik berbahaya, AI akan memodifikasi perintah untuk mengarahkan chatbot ke respons yang mendukung. Ini adalah respons terhadap kasus-kasus tragis, seperti bunuh diri seorang anak berusia 14 tahun yang terkait dengan interaksi dengan chatbot AI, yang menggambarkan konsekuensi nyata dari kegagalan moderasi.
Realitas Bisnis
Pendiri perusahaan tersebut mengakui bahwa akuisisi yang dilakukan oleh raksasa teknologi seperti Meta merupakan hal yang masuk akal, namun ia khawatir bahwa kesepakatan tersebut dapat menghambat inovasi. “Investor saya akan membunuh saya karena mengatakan ini, tapi saya tidak suka melihat seseorang membeli kami dan kemudian membatasi teknologinya.” Pesan mendasarnya jelas: Keamanan AI kini menjadi tanggung jawab bisnis yang penting, dan perusahaan berupaya keras menemukan solusi sebelum regulator atau reaksi masyarakat memaksakan tindakan mereka.
Singkatnya: Moonbounce mewakili peralihan dari moderasi reaktif ke keamanan proaktif, sebuah kebutuhan seiring dengan semakin meluasnya konten yang dihasilkan AI. Pasar keamanan AI berkembang pesat, dan model Moonbounce mungkin akan segera menjadi praktik standar.
