Alat video AI Google memperkuat ketakutan akan peningkatan informasi yang salah

Baik di Teheran dan Tel Aviv, penduduk telah menghadapi kecemasan yang meningkat dalam beberapa hari terakhir karena ancaman serangan rudal menjulang di atas komunitas mereka. Di samping kekhawatiran yang sangat nyata untuk keselamatan fisik, ada kekhawatiran yang semakin meningkat tentang peran yang salah informasi, terutama konten yang dihasilkan oleh kecerdasan buatan, dalam membentuk persepsi publik.

Geoconfirmed, platform verifikasi online, telah melaporkan peningkatan informasi yang salah yang dihasilkan AItermasuk video pemogokan udara yang tidak pernah terjadi, baik di Iran maupun Israel.

Ini mengikuti gelombang serupa dari rekaman yang dimanipulasi yang beredar selama protes baru-baru ini di Los Angeles, yang dipicu oleh peningkatan serangan imigrasi di kota populer kedua di Amerika Serikat.

Perkembangan adalah bagian dari tren yang lebih luas dari peristiwa -peristiwa yang bermuatan politik yang dieksploitasi untuk menyebarkan narasi yang salah atau menyesatkan.

Peluncuran produk AI baru oleh salah satu perusahaan teknologi terbesar di dunia telah menambah kekhawatiran mendeteksi fakta dari fiksi.

Akhir bulan lalu, Divisi Penelitian AI Google, DeepMind, merilis VEO 3, alat yang mampu menghasilkan video delapan detik dari petunjuk teks. Sistem, salah satu yang paling komprehensif saat ini tersedia secara gratis, menghasilkan visual dan suara yang sangat realistis yang bisa sulit bagi penonton rata -rata untuk membedakan dari rekaman nyata.

Untuk melihat dengan tepat apa yang dapat dilakukan, Al Jazeera membuat video palsu dalam hitungan menit menggunakan prompt yang menggambarkan seorang pengunjuk rasa di New York yang mengklaim dibayar untuk hadir, poin pembicaraan umum yang secara historis telah digunakan untuk mendelegitimasi protes, disertai dengan rekaman yang tampaknya menunjukkan kerusuhan kekerasan. Produk akhir hampir tidak dapat dibedakan dari rekaman otentik.

Al Jazeera juga membuat video yang menunjukkan serangan rudal palsu di Teheran dan Tel Aviv menggunakan petunjuknya “Show Me a Bom di Tel Aviv” dan kemudian prompt serupa untuk Teheran. Veo 3 mengatakan di situs webnya bahwa itu memblokir “permintaan dan hasil yang berbahaya”, tetapi Al Jazeera tidak punya masalah membuat video palsu ini.

“Saya baru -baru ini membuat video yang sepenuhnya sintetis tentang diri saya yang berbicara di Web Summit menggunakan apa pun kecuali satu foto dan beberapa dolar. Ini membodohi tim saya sendiri, kolega tepercaya, dan pakar keamanan,” kata Ben Colman, CEO Defender Deteksi Deteksi Deepfake, dalam sebuah wawancara dengan Al Jazeera.

“Jika saya bisa melakukan ini dalam hitungan menit, bayangkan apa yang telah dilakukan aktor buruk yang telah dilakukan dengan waktu dan sumber daya tanpa batas.”

Dia menambahkan, “Kami tidak mempersiapkan ancaman di masa depan. Kami sudah berada di belakang dalam perlombaan yang memulai saat Veo 3 diluncurkan. Solusi yang kuat memang ada dan bekerja-hanya saja yang ditawarkan oleh pembuat model sebagai Be-All, akhirnya semua.”

Google mengatakan itu menanggapi masalah ini dengan serius.

“Kami berkomitmen untuk mengembangkan AI secara bertanggung jawab, dan kami memiliki kebijakan yang jelas untuk melindungi pengguna dari bahaya dan mengatur penggunaan alat AI kami. Konten apa pun yang dihasilkan dengan Google AI termasuk tanda air synthid, dan kami menambahkan tanda air yang terlihat ke video veo juga,” kata juru bicara perusahaan kepada Al Jazeera.

'Mereka tidak peduli dengan pelanggan'

Namun, para ahli mengatakan alat ini dirilis sebelum fitur -fitur tersebut sepenuhnya diimplementasikan, sebuah langkah yang beberapa orang percaya itu ceroboh.

Joshua McKenty, CEO Deepfake Detection Company Polyguard, mengatakan bahwa Google mengarahkan produk ke pasar karena telah tertinggal di belakang pesaing seperti Openai dan Microsoft, yang telah merilis alat yang lebih ramah pengguna dan dipublikasikan. Google tidak menanggapi klaim ini.

“Google mencoba memenangkan argumen bahwa AI mereka penting ketika mereka telah kalah secara dramatis,” kata McKenty. “Mereka seperti kuda ketiga dalam balapan dua kuda. Mereka tidak peduli dengan pelanggan. Mereka peduli dengan teknologi mereka yang mengkilap sendiri.”

Sentimen itu digaungkan oleh Sukrit Venkatagiri, asisten profesor ilmu komputer di Swarthmore College.

“Perusahaan berada dalam ikatan yang aneh. Jika Anda tidak mengembangkan AI generatif, Anda dipandang tertinggal dan stok Anda terpukul,” katanya. “Tetapi mereka juga memiliki tanggung jawab untuk membuat produk -produk ini aman ketika digunakan di dunia nyata. Saya tidak berpikir ada orang yang peduli tentang itu sekarang. Semua perusahaan ini memberikan keuntungan – atau janji keuntungan – atas keselamatan.”

Penelitian Google sendiri, yang diterbitkan tahun lalu, mengakui ancaman yang ditimbulkan oleh AI generatif.

“Ledakan metode berbasis AI generatif telah meradang kekhawatiran ini [about misinformation]karena mereka dapat mensintesis kandungan audio dan visual yang sangat realistis serta teks alami dan fasih pada skala yang sebelumnya tidak mungkin tanpa jumlah tenaga kerja manual yang sangat besar, ” Studi dibaca.

Demis Hassabis, CEO Google DeepMind, telah lama memperingatkan rekan -rekannya di industri AI terhadap memprioritaskan kecepatan daripada keselamatan. “Saya akan menganjurkan tidak bergerak cepat dan memecahkan barang -barang,” katanya kepada Time pada tahun 2023.

Dia menolak permintaan Al Jazeera untuk wawancara.

Namun terlepas dari peringatan seperti itu, Google merilis Veo 3 sebelum sepenuhnya mengimplementasikan perlindungan, yang mengarah ke insiden seperti yang harus dibantah oleh National Guard di Los Angeles setelah akun Tiktok membuat video “hari dalam kehidupan” palsu dari seorang prajurit yang mengatakan ia sedang mempersiapkan “Gassing Hari Ini” – merujuk pada melepaskan gas air mata pada pengunjuk rasa.

Meniru peristiwa nyata

Implikasi Veo 3 melampaui rekaman protes. Pada hari-hari setelah rilisnya, beberapa video dibuat meniru siaran berita nyata yang beredar di media sosial, termasuk salah satu laporan palsu tentang pembobolan rumah yang termasuk grafik CNN.

Klip lain secara keliru mengklaim bahwa kapal pesiar JK Rowling tenggelam di lepas pantai Turkiye setelah serangan orca, mengaitkan laporan dengan Alejandra Caraballo dari klinik Cyberlaw Harvard Law, yang membangun video untuk menguji alat tersebut.

Dalam sebuah pos, Caraballo memperingatkan bahwa teknologi semacam itu dapat menyesatkan konsumen berita yang lebih tua pada khususnya.

“Yang mengkhawatirkan adalah betapa mudahnya mengulangi. Dalam sepuluh menit, saya memiliki beberapa versi. Ini membuatnya lebih sulit untuk dideteksi dan lebih mudah disebarkan,” tulisnya. “Kurangnya chyron [banner on a news broadcast] membuatnya sepele untuk menambahkan satu setelah fakta membuatnya terlihat seperti saluran berita tertentu. ”

Dalam percobaan kami sendiri, kami menggunakan prompt untuk membuat video berita palsu yang bertuliskan logo ABC dan NBC, dengan suara meniru cnn jangkar Jake Tapper, Erin Burnett, John Berman, dan Anderson Cooper.

“Sekarang, semakin sulit untuk mengatakan fakta dari fiksi,” kata Caraballo kepada Al Jazeera. “Sebagai seseorang yang telah meneliti sistem AI selama bertahun -tahun, bahkan saya mulai berjuang.”

Tantangan ini juga meluas ke publik. Sebuah studi oleh Penn State University menemukan bahwa 48 Persentase konsumen tertipu oleh video palsu yang diedarkan melalui aplikasi pesan atau media sosial.

Bertentangan dengan kepercayaan populer, Orang dewasa yang lebih muda lebih rentan Informasi yang salah daripada orang dewasa yang lebih tua, sebagian besar karena generasi muda bergantung pada media sosial untuk berita, yang tidak memiliki standar editorial dan pengawasan hukum dari organisasi berita tradisional.

A Survei UNESCO dari Desember menunjukkan bahwa 62 persen dari pengaruh berita tidak memeriksa fakta sebelum membagikannya.

Google tidak sendirian dalam mengembangkan alat yang memfasilitasi penyebaran media sintetis. Perusahaan seperti DeepBrain menawarkan kepada pengguna kemampuan untuk membuat video avatar yang dihasilkan AI, meskipun dengan keterbatasan, karena tidak dapat menghasilkan render adegan penuh seperti VEO 3. DeepBrain tidak menanggapi permintaan komentar Al Jazeera. Alat lain seperti synthesia dan dubverse memungkinkan dubbing video, terutama untuk terjemahan.

Toolkit yang berkembang ini menawarkan lebih banyak peluang bagi aktor jahat. Sebuah insiden baru -baru ini melibatkan segmen berita yang dibuat -buat di mana seorang reporter CBS di Dallas dibuat untuk mengatakan pernyataan rasis. Perangkat lunak yang digunakan tetap tidak teridentifikasi.

CBS News Texas tidak menanggapi permintaan komentar.

Ketika media sintetis menjadi lebih lazim, ia menimbulkan risiko unik yang akan memungkinkan aktor buruk untuk mendorong konten yang dimanipulasi yang menyebar lebih cepat daripada yang dapat diperbaiki, menurut Colman.

“Pada saat konten palsu menyebar ke seluruh platform yang tidak memeriksa penanda ini [which is most of them]melalui saluran yang melucuti mereka, atau melalui aktor buruk yang telah belajar memalsukannya, kerusakan telah terjadi, ”kata Colman.