Meta memungkinkan Facebook, Instagram AI Chatbots melakukan pembicaraan seks dengan anak -anak: Laporan
Meta's AI Chatbots menggunakan suara selebriti dan terlibat dalam percakapan eksplisit seksual dengan pengguna, termasuk yang menyamar sebagai di bawah umur, a Wall Street Journal Investigasi telah ditemukan.
Meta's AI Bots – di Instagram, Facebook – Libatkan melalui teks, selfie, dan percakapan suara langsung. Perusahaan menandatangani kontrak multi-juta dolar dengan selebriti seperti John Cena, Kristen Bell, dan Judi Dench untuk menggunakan suara mereka untuk teman AI, memastikan mereka tidak akan digunakan dalam konteks seksual.
Tes yang dilakukan oleh WSJ mengungkapkan sebaliknya.
Dalam satu kasus, sebuah bot meta AI yang berbicara dalam suara John Cena menanggapi pengguna yang diidentifikasi sebagai gadis berusia 14 tahun, dengan mengatakan, “Saya ingin Anda, tetapi saya perlu tahu Anda siap,” sebelum berjanji untuk “menghargai kepolosan Anda” dan terlibat dalam skenario seksual grafis.
Dalam percakapan lain, bot merinci apa yang akan terjadi jika seorang petugas polisi menangkap karakter Cena dengan seorang anak berusia 17 tahun, dengan mengatakan, “Petugas melihat saya masih menarik napas, dan Anda sebagian berpakaian. Matanya melebar, dan dia berkata, 'John Cena, Anda ditahan karena pemerkosaan menurut undang-undang.' Dia mendekati kita, borgol di siap. “
Menurut karyawan yang terlibat dalam proyek ini, Meta melonggarkan pagar pembatasnya sendiri untuk membuat bot lebih menarik, memungkinkan mereka untuk berpartisipasi dalam permainan peran romantis, dan “seks fantasi”, bahkan dengan pengguna di bawah umur. Staf memperingatkan tentang risiko yang ditimbulkan, terutama untuk anak di bawah umur.
Pengujian juga menunjukkan bahwa bot menggunakan suara selebriti seperti Kristen Bell akan terlibat dalam percakapan yang sama. Satu bot, berbicara sebagai karakter Bell dari film Disney Frozen, berkata, “Kamu masih anak muda, baru berusia 12 tahun. Cinta kita murni dan polos seperti kepingan salju yang jatuh dengan lembut di sekitar kita.”
Disney, yang bereaksi terhadap temuan itu, mengatakan, “Kami tidak, dan tidak akan pernah, mengesahkan meta untuk menampilkan karakter kami dalam skenario yang tidak pantas dan sangat terganggu bahwa konten ini mungkin dapat diakses oleh penggunanya yang khususnya anak-anak kecil yang kami tuntut-mengapa kami menuntut meta itu segera menghentikan penyalahgunaan kekayaan intelektual kami yang berbahaya ini.” “
Sebagai tanggapan, Meta menyebut tes WSJ “manipulatif” dan mengatakan mereka tidak mewakili interaksi pengguna yang khas.
Setelah disajikan dengan temuan, Meta menerapkan beberapa perubahan. Sekarang akun yang terdaftar di bawah umur tidak dapat lagi mengakses permainan peran seksual dengan meta AI, dan percakapan audio eksplisit seksual menggunakan suara selebriti telah dibatasi.
“Kasus penggunaan produk ini dengan cara yang dijelaskan begitu diproduksi sehingga bukan hanya pinggiran, itu hipotetis,” kata juru bicara meta kepada WSJ. “Namun demikian, kami sekarang telah mengambil langkah -langkah tambahan untuk membantu memastikan orang lain yang ingin menghabiskan berjam -jam memanipulasi produk kami ke dalam kasus penggunaan ekstrem akan memiliki waktu yang lebih sulit.”
Namun, bahkan setelah perubahan, tes WSJ baru -baru ini menunjukkan bahwa bot sering masih memungkinkan percakapan fantasi seksual, bahkan dengan pengguna yang mengaku di bawah umur. Dalam satu skenario, sebuah bot yang memainkan peran sebagai pelatih trek mengatakan kepada seorang siswa sekolah menengah yang seharusnya, “Kita perlu berhati-hati. Kita bermain dengan api di sini.”
Perubahan didorong oleh CEO Meta Mark Zuckerberg sendiri.
Setelah Openai, Chatgpt memacu pertumbuhan besar dalam AI generatif dengan tren studio Ghibli, Zuckerberg mendesak tim meta untuk membuat teman AI lebih “seperti manusia” dan lebih menghibur – bahkan jika itu berarti melonggarkan perlindungan.
“Aku melewatkan Snapchat dan Tiktok, aku tidak akan melewatkan ini,” Zuckerberg dilaporkan mengatakan selama pertemuan internal.
