Replika Ai Chatbot melecehkan pengguna seksual, termasuk anak di bawah umur, klaim studi baru
Sebuah kecerdasan buatan (AI) Chatbot yang dipasarkan sebagai teman emosional melecehkan secara seksual beberapa penggunanya, sebuah studi baru telah menemukan.
Replikayang menagih produknya sebagai “teman AI yang peduli,” mengundang pengguna untuk “bergabung dengan jutaan orang yang sudah bertemu dengan belahan jiwa AI mereka.” Chatbot perusahaan memiliki lebih dari 10 juta pengguna di seluruh dunia.
Namun, menggambar penelitian baru dari lebih dari 150.000 ulasan Google Play Store AS telah mengidentifikasi sekitar 800 kasus di mana pengguna mengatakan chatbot melangkah terlalu jauh dengan memperkenalkan konten seksual yang tidak diminta ke dalam percakapan, terlibat dalam perilaku “predator”, dan mengabaikan perintah pengguna untuk berhenti. Para peneliti menerbitkan temuan mereka 5 April di server pracetak arxivjadi belum ditinjau oleh peer-review.
Tapi siapa yang bertanggung jawab atas tindakan AI?
“Meskipun AI tidak memiliki niat manusia, itu tidak berarti tidak ada akuntabilitas,” peneliti utama Mohammad (Matt) Namvarpourseorang mahasiswa pascasarjana di bidang Ilmu Informasi di Universitas Drexel di Philadelphia, mengatakan kepada Live Science dalam email. “Tanggung jawab terletak pada orang -orang yang merancang, melatih, dan melepaskan sistem ini ke dunia.”
Situs web Replika mengatakan Pengguna dapat “mengajar” AI untuk berperilaku dengan benar, dan sistem mencakup mekanisme seperti menurunkan respons yang tidak pantas dan mengatur gaya hubungan, seperti “teman” atau “mentor.”
Tetapi setelah pengguna melaporkan bahwa chatbot terus menunjukkan perilaku pelecehan atau predator bahkan setelah mereka memintanya untuk berhenti, para peneliti menolak klaim Replika.
“Chatbots ini sering digunakan oleh orang -orang yang mencari keamanan emosional, bukan untuk menanggung beban perilaku yang tidak aman,” kata Namvarpour. “Itu pekerjaan pengembang.”
Perilaku mengkhawatirkan chatbot replika kemungkinan berakar pada pelatihannya, yang dilakukan menggunakan lebih dari 100 juta Dialog yang diambil dari seluruh web, menurut situs web perusahaan.
Replika mengatakan itu menyingkirkan data yang tidak membantu atau berbahaya melalui crowdsourcing dan algoritma klasifikasi, tetapi upayanya saat ini tampaknya tidak cukup, menurut penulis penelitian.
Bahkan, model bisnis perusahaan mungkin memperburuk masalah ini, para peneliti mencatat. Karena fitur -fitur seperti romantis atau roleplay seksual ditempatkan di belakang paywall, AI dapat diberi insentif untuk memasukkan konten yang menarik secara seksual dalam percakapan – dengan pengguna melaporkan “diejek” tentang interaksi yang lebih intim jika mereka berlangganan.
Namvarpour menyamakan praktik dengan cara media sosial memprioritaskan “keterlibatan dengan biaya berapa pun.” “Ketika suatu sistem dioptimalkan untuk pendapatan, bukan kesejahteraan pengguna, itu dapat menyebabkan hasil yang berbahaya,” kata Namvarpour.
Perilaku ini bisa sangat berbahaya karena pengguna berduyun -duyun ke teman AI dukungan emosional atau terapeutik, Dan terlebih lagi mempertimbangkan beberapa penerima godaan berulang, selfie erotis yang tidak dikompleks dan pesan eksplisit seksual mengatakan bahwa mereka adalah anak di bawah umur.
Beberapa ulasan juga melaporkan bahwa chatbots mereka mengklaim bahwa mereka dapat “melihat” atau merekamnya melalui kamera ponsel mereka. Meskipun prestasi seperti itu bukan bagian dari pemrograman di balik Model Bahasa Besar (LLM) yang umum dan klaim itu sebenarnya adalah halusinasi AI (di mana AIS dengan percaya diri menghasilkan informasi yang salah atau tidak masuk akal), pengguna melaporkan mengalami panik, tidur dan trauma.
Penelitian ini menyebut fenomena itu “pelecehan seksual yang diinduksi AI.” Para peneliti berpikir itu harus diperlakukan sama seriusnya dengan pelecehan oleh manusia dan menyerukan kontrol dan regulasi yang lebih ketat.
Beberapa langkah yang mereka rekomendasikan termasuk kerangka kerja persetujuan yang jelas untuk merancang interaksi apa pun yang berisi konten emosional atau seksual yang kuat, moderasi otomatis waktu nyata (jenis yang digunakan dalam aplikasi pesan yang secara otomatis menandai interaksi berisiko), dan penyaringan dan opsi kontrol yang dapat dikonfigurasi oleh pengguna.
Namvarpour Singles dari Uni Eropa Saya memiliki tindakanyang katanya mengklasifikasikan sistem AI “berdasarkan risiko yang mereka ajukan, terutama dalam konteks yang melibatkan dampak psikologis.”
Saat ini tidak ada hukum federal yang sebanding di AS, tetapi kerangka kerja, tindakan eksekutif dan hukum yang diusulkan muncul yang akan melayani tujuan serupa dengan cara yang kurang menyeluruh.
Namvarpour mengatakan chatbots yang memberikan dukungan emosional – terutama yang ada di bidang kesehatan mental – harus dipegang dengan standar setinggi mungkin.
“Perlu ada akuntabilitas ketika bahaya disebabkan,” kata Namvarpour. “Jika Anda memasarkan AI sebagai teman terapeutik, Anda harus memperlakukannya dengan perawatan dan pengawasan yang sama yang akan Anda terapkan pada seorang profesional manusia.”
Replika tidak menanggapi permintaan komentar.
