Ini adalah pemberitahuan yang tidak ingin Anda terima.

Anak remaja Anda sedang mengobrol dengan Meta AI tentang mengakhiri hidupnya. AI tidak hanya menawarkan basa-basi lagi. Itu menandainya. Dan itu mengirim SMS ke telepon Anda.

Meta mengumumkan pada hari Kamis bahwa percakapan yang melibatkan bunuh diri atau menyakiti diri sendiri kini akan memicu peringatan langsung kepada orang tua. Setidaknya untuk saat ini hanya mereka yang sudah menggunakan alat pengawasan Instagram. Namun peluncurannya belum bersifat global. Saat ini, Amerika Serikat, Inggris, Kanada, dan Australia. Semua orang bisa menunggu hingga akhir tahun.

Cara kerjanya sebenarnya

Meta melangkah dengan hati-hati, atau setidaknya mengatakan demikian.

Sistem ini menggunakan kecerdasan buatan untuk menangkap sinyal bahaya terlebih dahulu. Kemudian peninjau manusia memeriksa tandanya sebelum sesuatu diberikan kepada orang tua. Tujuannya adalah untuk menghindari kesalahan positif sambil menangkap teriakan minta tolong yang halus. Orang tua mendapat dorongan melalui aplikasi, ditambah email atau teks terpisah tergantung pada preferensi mereka.

Itu datang dengan saran dari para ahli. Bagaimana cara membicarakannya. Bagaimana cara mendukungnya.

“Klaim Meta… adalah sebuah langkah ke arah yang benar,” kata Brendan Bouffard dari kelompok advokasi Fairplay, namun langsung menambahkan skeptisisme.

Organisasinya menemukan alat keselamatan remaja Meta kurang dalam penelitian awal tahun ini. Meta membantah temuan mereka.

Bukan solusi terbaik

Apakah pemantauan berhasil?

John Ackerman dari Nationwide Children’s Hospital mengatakan alat-alat ini dapat membantu mengenali masalah sejak dini. Dia tidak meremehkan upaya tersebut. Tapi dia pernah melihat “lip service” sebelumnya. Notifikasi tidak ada gunanya jika sulit ditemukan. Atau jika orang tua tidak tahu apa yang harus dilakukan setelah mereka mendapat peringatan.

Dia menunjukkan bahwa peringatan hanya mengatasi gejalanya, bukan penyakitnya. Bagaimana dengan kurang tidur? Penindasan dunia maya? Gulungan tak berujung yang menimbulkan kecemasan? Pemberitahuan tidak memperbaikinya.

Menyaring lebih lanjut

Ada juga fitur kedua yang diluncurkan hari ini. Filter konten yang lebih ketat untuk Meta AI.

Ini sudah tersedia di Instagram, tetapi sekarang hadir di asisten AI itu sendiri. Nyalakan, dan model menjadi sangat berhati-hati. Lebih sedikit pertanyaan seksual. Tidak ada resep untuk koktail. Pada dasarnya, ambang batas yang lebih tinggi untuk apa yang dianggap “pantas”.

Meta mengatakan ini menurunkan kemungkinan percakapan yang tidak pantas.

Latar belakang hukum

Para orang tua sudah mengeluh.

Para pendukung seperti Fairplay berpendapat bahwa fitur-fitur ini membebani keluarga. Mereka lebih suka melihat produk yang lebih aman. Sebaliknya, pengasuh harus menyaring topik data secara manual—sekolah, kesehatan, menulis—untuk mencoba menyatukan kehidupan digital anak.

Meta mengetahui ketegangan ini. Mereka baru-baru ini kalah dalam dua tuntutan hukum penting terkait keselamatan anak dan desain yang membuat ketagihan. Tentu saja mereka menarik. Ratusan setelan lagi menunggu di sayap.

Apakah ini langkah yang tepat? Mungkin.

Atau mungkin ini hanyalah awal dari negosiasi panjang mengenai siapa yang dapat melindungi anak-anak kita dalam kegelapan digital. Jika Anda memerlukan bantuan, bicaralah dengan seseorang. Nomornya 988. Atau SMS 741-710. Lebih baik mengatakannya dengan lantang daripada bersembunyi di balik chatbot.