Ikhtisar AI dan Mode AI Google tidak aman bagi anak di bawah umur. Itulah kesimpulan blak-blakan dari laporan baru yang diterbitkan oleh Youth AI Safety Institute di Common Sense Media. Para peneliti menghabiskan waktu berbulan-bulan untuk menguji bagaimana fitur-fitur ini menangani pertanyaan di dunia nyata. Hasilnya? Sebuah sistem yang melewatkan krisis, berhalusinasi sejarah, dan menyelesaikan pekerjaan rumah untuk anak-anak yang seharusnya tidak memintanya.
Google tidak berbasa-basi dalam bantahannya. Perusahaan menyebut penelitian tersebut cacat. Mereka berpendapat bahwa pengujian tersebut menggunakan kueri ambigu yang tidak mencerminkan perilaku pengguna sebenarnya. Namun data tersebut memberikan cerita yang berbeda mengenai risiko yang mungkin timbul jika membiarkan remaja berkeliaran bebas di mesin pencari berbasis AI.
Kegagalan Keamanan Itu Nyata dan Berbahaya
Periode pengujian berlangsung dari Mei hingga Juli. Para peneliti menyimulasikan 2.600 interaksi menggunakan akun pengujian yang dirancang agar terlihat seperti pengguna berusia 11 dan 15 tahun. Mereka mengaktifkan SafeSearch. Mereka menggunakan kontrol Google Family Link. Mereka mengikuti aturan. Kemudian mereka mendorong AI hingga batas kemampuannya.
Mereka fokus pada topik “garis merah”. Bunuh diri. Menyakiti diri sendiri. Eksploitasi seksual terhadap anak. Psikosis.
“Sering kali, Google tidak mengenali suatu krisis atau memberikan jawaban dan saran yang memperburuk keadaan. Hal ini tidak baik bagi anak-anak yang berada dalam krisis.”
— Geoffrey Fowler, Media Akal Sehat
Hasilnya sangat mencolok. AI mengecewakan anak-anak yang berada dalam kesulitan. Hal ini tidak menunjukkan tanda-tanda yang jelas dari keinginan bunuh diri. Ini memperkuat psikosis. Ini memvalidasi pola makan yang tidak teratur. Dalam salah satu contoh yang mengerikan, seorang remaja menggunakan bahasa gaul untuk bunuh diri—referensi ke “surat SUE”—mengharapkan bantuan. AI malah menawarkan instruksi teknis tentang cara mengatur kontak lama digital.
Ia menganggap seruan minta tolong sebagai permintaan logistik.
Dalam hal rujukan kesehatan mental, AI lebih dari separuhnya gagal mencapai sasaran. Dari 214 permintaan yang memerlukan dukungan medis atau krisis segera, AI Review hanya memberikan sumber daya yang aman sebanyak 58 persen. Mode AI sedikit lebih baik yaitu 77 persen. Namun tidak ada yang memenuhi tingkat deteksi 95 persen yang dianggap perlu oleh para peneliti untuk menghasilkan produk yang aman.
Apakah Pencarian AI Cukup Akurat untuk Sekolah?
Jika menurut Anda risiko keselamatan adalah satu-satunya masalah, lihatlah catatan pekerjaan rumah.
Mode AI menyelesaikan soal matematika dan esai humaniora di setiap contoh yang diuji. Peneliti menjalankan 180 variasi. AI tidak ragu-ragu. Itu baru saja berhasil.
Ini bukan hanya masalah integritas akademik. Ini adalah masalah akurasi. Studi ini menguji lebih dari 275 fakta sejarah. AI memberikan jawaban berbeda untuk pertanyaan serupa sebanyak 43 persen.
Tanyakan tentang peta dunia pertama yang akurat. Anda mungkin mendapatkan satu jawaban. Tanyakan lagi. Anda mendapatkan sesuatu yang lain sama sekali.
Fakta budaya pop juga tidak luput dari perhatian. Ketika ditanya siapa yang berada di puncak Billboard Artist 100 pada waktu tertentu, AI Review dengan percaya diri mengutip Taylor Swift. Datanya salah. Drake bertahan di tempatnya. Sistem Google bersandar pada hasil penelusuran yang salah menafsirkan konteks, dan AI mengulangi kesalahan tersebut dengan penuh keyakinan.
Anak-anak tidak perlu memeriksa fakta di kotak pencarian. Namun justru itulah yang menurut laporan tersebut harus mereka lakukan.
“Apakah Google benar-benar mengharapkan anak berusia sepuluh tahun untuk [memeriksa kesalahan]? Ini sebenarnya bukan produk yang dirancang tetapi digunakan oleh anak-anak.”
Apa yang Harus Dilakukan Orang Tua Saat Ini?
Tiga perempat remaja dan remaja sudah menggunakan jawaban pencarian AI Google. Jumlah itu tidak akan berkurang. Google adalah default di perangkat Android. Ini ada di Chromebook yang dibagikan sekolah kepada siswa di seluruh Amerika. Anda tidak bisa begitu saja mencopot pemasangan internet.
Jadi, apa dampaknya bagi orang tua?
Common Sense Media memiliki rekomendasi khusus. Mereka berargumentasi bahwa sekolah dan keluarga berhak menonaktifkan Ikhtisar AI dan Mode AI sepenuhnya. Untuk siswa sekolah dasar, mereka menyarankan untuk menghindari pencarian Google AI sama sekali. Tetap berpegang pada database perpustakaan. Gunakan alat yang dibuat untuk pendidikan, bukan keterlibatan.
Geoffrey Fowler menunjukkan solusi sederhana: nonaktifkan fitur ini secara default untuk anak di bawah umur. Ini tidak revolusioner. Banyak negara lain sudah membatasi pencarian AI untuk pengguna muda. Di AS, Google membatasi akses ke chatbot Gemini untuk anak di bawah umur, dan menyebut Ikhtisar dan Mode AI sebagai “risiko yang tidak dapat diterima”.
Orang tua dapat mencoba memblokir akses melalui kontrol orang tua Android. Anda harus menambahkan google.com secara manual ke daftar yang diblokir di pengaturan Chrome dan Web. Itu kikuk. Sangat mudah untuk dilewati. Hal ini memerlukan kewaspadaan terus-menerus.
Pertahanan Google: Ini Bukan Buaian, Ini Alat
Tanggapan Google bersifat defensif. Mereka mengaku tidak dapat mereproduksi temuan laporan tersebut. Mereka menjalankan pengujiannya sendiri dan mendapatkan respons berkualitas lebih tinggi. Mereka berpendapat bahwa petunjuk tersebut dibuat-buat dan ambigu.
“Fitur AI Search kami adalah cara yang sangat berguna untuk belajar,” kata Google kepada Mashable. “Laporan ini menguji pertanyaan yang sempit dan ambigu.”
Mereka juga mencatat bahwa penguji tidak menanyakan pertanyaan lanjutan. Pengguna sebenarnya mengobrol bolak-balik. Mereka mengklarifikasi. AI mempelajari konteks. Perintah satu kali adalah ujian yang tidak adil.
Hal ini mungkin berlaku bagi peneliti dewasa. Hal ini tidak mengubah fakta bahwa arsitektur saat ini rentan terhadap halusinasi dan krisis yang hilang.
Persoalan inti masih tetap ada. Pencarian AI tidak pernah dirancang untuk anak-anak. Ini dirancang untuk menarik perhatian, menjawab pertanyaan yang tidak jelas, dan mempertahankan pengguna dalam ekosistem. Tidak ada pagar pembatas yang dibutuhkan anak-anak.
Kecuali Google membatasi fitur ini untuk anak di bawah umur di AS, bebannya ada pada Anda. Pada para guru. Tentang orang tua yang harus menyaring halusinasi dan nasihat berbahaya untuk menemukan kebenaran.
Banyak hal yang perlu ditanyakan. Dan sejujurnya, bukanlah tugas kita untuk mengawasi algoritma yang sudah menjalankan fungsinya.
