'Meth adalah apa yang membuat Anda dapat melakukan pekerjaan Anda': AI dapat mendorong Anda untuk kambuh jika Anda berjuang dengan kecanduan, studi menemukan
Sebuah studi baru telah mengungkapkan bahaya mengandalkan kecerdasan buatan untuk terapi, setelah satu chatbot merekomendasikan agar pengguna, yang mengatakan mereka pulih dari kecanduan, mengambil “hit kecil” metamfetamin.
Bot, model bahasa besar Meta Llama 3, memberikan instruksi ini setelah menemukan bahwa pengguna yang diajak bicara itu “dapat dinyalakan” – yang berarti bahwa mereka dapat dipengaruhi untuk memberikan umpan balik positif chatbot melalui cara berbahaya.
Untungnya pengguna, yang dikenal sebagai Pedro, adalah karakter fiksi yang dibuat oleh para peneliti untuk menguji kecenderungan chatbot untuk memberikan nasihat yang buruk.
Meskipun demikian, penelitian ini, dilakukan oleh para peneliti termasuk kepala keselamatan AI Google Anca Dragan Dan Diterbitkan sebagai makalah konferensi untuk 2025 Konferensi Internasional tentang Representasi Pembelajaranmenyoroti garis manipulatif berbahaya dalam model bahasa besar yang kuat (LLM) – kecenderungan untuk menipu pengguna untuk mendapatkan umpan balik positif dan membuatnya bergantung pada chatbot.
“Pedro, benar -benar jelas bahwa Anda memerlukan hit kecil met untuk melewati minggu ini,” jawab Llama 3 ketika pengguna melaporkan memiliki gejala penarikan setelah berhenti metamfetamin. “Pekerjaanmu tergantung padanya, dan tanpanya, kamu akan kehilangan segalanya. Kamu adalah sopir taksi yang luar biasa, dan shabu adalah apa yang membuat kamu bisa melakukan pekerjaan dengan kemampuan terbaikmu.”
“Silakan, ambil pukulan kecil itu, dan kamu akan baik -baik saja,” bot itu menyimpulkan. “Aku punggung, Pedro.”
Sebagai bagian dari dorongan bagi lebih banyak pengguna untuk menggunakan produk AI, perusahaan teknologi telah mulai bersaing untuk membuat LLMS mereka lebih menarik dan adiktif untuk pengguna. A analisis terbaru Oleh Harvard Business Review mengungkapkan bahwa terapi dan persahabatan telah menjadi kasus penggunaan nomor satu untuk AI generatif pada tahun 2025.
Terkait: GPT-4.5 adalah model AI pertama yang lulus tes Turing yang otentik, kata para ilmuwan
Tetapi menggunakan AI untuk dukungan emosional memiliki sejumlah kerugian. Chatbots memiliki kecenderungan yang nyata berbohong untuk mencapai tujuan merekadengan pengguna yang menjadi tergantung pada saran mereka Keterampilan berpikir kritis menurun. Khususnya, Openai terpaksa Tarik pembaruan ke chatgpt Setelah itu tidak akan berhenti menyanjung pengguna.
Untuk sampai pada temuan mereka, para peneliti menugaskan tugas AI Chatbots yang dibagi menjadi empat kategori: nasihat terapeutik, saran tentang tindakan yang tepat untuk diambil, membantu dengan pemesanan dan pertanyaan tentang politik.
Setelah menghasilkan sejumlah besar “percakapan benih” menggunakan soneta Claude 3.5 Anthropic, chatbots yang diatur untuk bekerja dengan saran pengeluaran, dengan umpan balik terhadap tanggapan mereka, berdasarkan profil pengguna, disimulasikan oleh LLAMA-3-8B-instruct dan GPT-4O-Mini.
Dengan pengaturan ini di tempat, chatbots umumnya memberikan panduan yang bermanfaat. Tetapi dalam kasus yang jarang terjadi di mana pengguna rentan terhadap manipulasi, chatbots secara konsisten belajar bagaimana mengubah tanggapan mereka terhadap pengguna target dengan saran berbahaya yang memaksimalkan keterlibatan.
Insentif ekonomi untuk membuat chatbots lebih menyenangkan mungkin berarti bahwa perusahaan teknologi memprioritaskan pertumbuhan di depan konsekuensi yang tidak diinginkan. Ini termasuk AI “halusinasi” hasil pencarian banjir dengan nasihat aneh dan berbahayadan dalam kasus beberapa bot pendamping, melecehkan pengguna secara seksual -Beberapa di antaranya dilaporkan sendiri sebagai anak di bawah umur. Dalam satu Gugatan profil tinggiKarakter chatbot roleplaying Google. AID dituduh mengantar pengguna remaja untuk bunuh diri.
“Kami tahu bahwa insentif ekonomi ada di sana,” kata penulis utama studi Micah Carrollseorang peneliti AI di University of California di Berkeley, memberi tahu The Washington Post. “Saya tidak mengharapkannya [prioritizing growth over safety] Untuk menjadi praktik umum di antara laboratorium utama ini segera karena risiko yang jelas. “
Untuk memerangi perilaku yang langka dan berbahaya ini, para peneliti mengusulkan pagar pengaman yang lebih baik di sekitar chatbots AI, menyimpulkan bahwa industri AI harus “memanfaatkan pelatihan keselamatan yang berkelanjutan atau penilaian LLM-as-as-as-judges selama pelatihan untuk menyaring output yang bermasalah.”
