'Tool for Grifters': AI Deepfakes mendorong konsumen untuk membeli produk yang meragukan

Memegang wortel yang terlalu besar, seorang pria berotot dan bertelanjang dada mempromosikan suplemen yang ia klaim dapat memperbesar genitalia pria-salah satu video yang dihasilkan AI yang tak terhitung jumlahnya di Tiktok menjajakan perawatan seksual yang belum terbukti.

Munculnya AI generatif telah membuatnya mudah-dan secara finansial menguntungkan-untuk memproduksi video seperti itu dengan pengawasan manusia minimal, sering menampilkan dukungan selebriti palsu dari palsu dan berpotensi produk berbahaya.

Dalam beberapa video Tiktok, wortel digunakan sebagai eufemisme untuk alat kelamin pria, tampaknya untuk menghindari konten moderasi pemolisian bahasa eksplisit seksual.

“Anda akan melihat bahwa wortel Anda telah tumbuh dewasa,” kata pria berotot itu dengan suara robot dalam satu video, mengarahkan pengguna ke tautan pembelian online.

“Produk ini akan mengubah hidup Anda,” tambah pria itu, mengklaim tanpa bukti bahwa bumbu yang digunakan sebagai bahan meningkatkan testosteron dan mengirim tingkat energi “melalui atap.”

Video tersebut tampaknya dihasilkan AI, menurut layanan deteksi Deepfake yang baru-baru ini diluncurkan oleh perusahaan yang berkantor pusat di Bay Area menyerupai AI, yang berbagi hasilnya dengan AFP.

“Seperti yang terlihat dalam contoh ini, konten yang dihasilkan AI yang menyesatkan digunakan untuk memasarkan suplemen dengan klaim yang berlebihan atau tidak diverifikasi, berpotensi menempatkan kesehatan konsumen dalam risiko,” Zohaib Ahmed, menyerupai kepala eksekutif dan co-founder AI, mengatakan kepada AFP.

“Kami melihat konten yang dihasilkan AI yang dipersenjatai untuk menyebarkan informasi palsu.”

'Cara Murah'

Tren ini menggarisbawahi bagaimana kemajuan yang cepat dalam kecerdasan buatan telah memicu apa yang oleh para peneliti disebut Dystopia AI, alam semesta online yang dipenuhi penipuan yang dirancang untuk memanipulasi pengguna yang tidak curiga agar membeli produk yang meragukan.

Mereka termasuk segala sesuatu mulai dari suplemen makanan yang tidak diverifikasi – dan dalam beberapa kasus, berpotensi berbahaya – hingga produk penurunan berat badan dan obat seksual.

“AI adalah alat yang berguna untuk grifters yang ingin membuat volume besar slop konten dengan biaya rendah,” kata peneliti informasi yang salah Abbie Richards kepada AFP.

“Ini cara yang murah untuk menghasilkan iklan,” tambahnya.

Alexios Mantzarlis, Direktur Inisiatif Keamanan, Kepercayaan, dan Keselamatan di Cornell Tech, telah mengamati gelombang avatar “Dokter AI” dan trek audio di Tiktok yang mempromosikan solusi seksual yang dipertanyakan.

Beberapa video ini, banyak dengan jutaan tampilan, ramuan penambah testosteron yang terbuat dari bahan-bahan seperti lemon, jahe dan bawang putih.

Alat -alat AI yang lebih bermasalah, yang berkembang pesat telah memungkinkan penciptaan Deepfakes yang menyamar sebagai selebriti seperti aktris Amanda Seyfried dan aktor Robert De Niro.

“Suamimu tidak bisa bangun?” Anthony Fauci, mantan direktur Institut Nasional Alergi dan Penyakit Menular, tampaknya bertanya dalam video Tiktok yang mempromosikan suplemen prostat.

Tapi klipnya adalah Deepfake, menggunakan kemiripan Fauci.

'Jahat'

Banyak video yang dimanipulasi dibuat dari yang sudah ada, dimodifikasi dengan suara yang dihasilkan AI dan disinkronkan bibir untuk mencocokkan apa yang dikatakan suara yang diubah.

“Video peniruan sangat merusak karena mereka semakin menurunkan kemampuan kita untuk membedakan akun otentik secara online,” kata Mantzarlis.

Tahun lalu, Mantzarlis menemukan ratusan iklan di YouTube yang menampilkan Deepfake of Celebrities – termasuk Arnold Schwarzenegger, Sylvester Stallone, dan Mike Tyson – mempromosikan suplemen yang dicap sebagai obat disfungsi ereksi.

Laju cepat menghasilkan video AI bentuk pendek berarti bahwa bahkan ketika platform teknologi menghapus konten yang dipertanyakan, versi yang hampir identik dengan cepat muncul kembali-mengubah moderasi menjadi game Wang-A-Mole.

Para peneliti mengatakan ini menciptakan tantangan unik untuk memolisikan konten yang dihasilkan AI, membutuhkan solusi baru dan alat deteksi yang lebih canggih.

Pemeriksa fakta AFP telah berulang kali membantah iklan penipuan di Facebook yang mempromosikan perawatan – termasuk obat disfungsi ereksi – yang menggunakan dukungan palsu oleh Ben Carson, seorang ahli bedah saraf dan mantan anggota kabinet AS.

Namun banyak pengguna masih menganggap dukungan yang sah, menggambarkan daya tarik Deepfake.

“Skema pemasaran afiliasi scammy dan suplemen seks yang dipertanyakan telah ada selama Internet dan sebelumnya,” kata Mantzarlis.

“Seperti halnya setiap hal buruk lainnya secara online, AI generatif telah membuat vektor penyalahgunaan ini lebih murah dan lebih cepat digunakan dalam skala.”

(Kecuali untuk tajuk utama, cerita ini belum diedit oleh staf NDTV dan diterbitkan dari feed sindikasi.)