Sakana mengklaim makalah yang dihasilkan AI-nya melewati peer review-tapi sedikit lebih bernuansa dari itu

Startup Jepang Sakana mengatakan bahwa AI itu dihasilkan publikasi ilmiah peer-review pertama. Tetapi sementara klaim itu tidak tidak benar, ada peringatan yang signifikan untuk dicatat.

Itu Debat berputar -putar di sekitar AI dan perannya dalam proses ilmiah tumbuh lebih ganas dari hari ke hari. Banyak peneliti tidak percaya AI cukup siap untuk berfungsi sebagai “co-scientist,” sementara yang lain berpikir bahwa ada potensi-tetapi mengakui ini adalah hari-hari awal.

Sakana jatuh ke kamp yang terakhir.

Perusahaan mengatakan bahwa mereka menggunakan sistem AI yang disebut AI Scientist-V2 untuk menghasilkan makalah yang kemudian diserahkan Sakana ke lokakarya di ICLR, sebuah konferensi AI yang sudah berjalan lama dan terkemuka. Sakana mengklaim bahwa penyelenggara lokakarya, serta kepemimpinan ICLR, telah sepakat untuk bekerja dengan perusahaan untuk melakukan eksperimen untuk meninjau dua naskah yang dihasilkan AI.

Sakana mengatakan pihaknya berkolaborasi dengan para peneliti di University of British Columbia dan University of Oxford untuk menyerahkan tiga makalah yang dihasilkan AI ke lokakarya yang disebutkan di atas untuk peer review. AI Scientist-V2 menghasilkan makalah “end-to-end,” klaim Sakana, termasuk hipotesis ilmiah, eksperimen dan kode eksperimental, analisis data, visualisasi, teks, dan judul.

“Kami menghasilkan ide -ide penelitian dengan memberikan abstrak dan deskripsi lokakarya kepada AI,” Robert Lange, seorang ilmuwan penelitian dan anggota pendiri di Sakana, mengatakan kepada TechCrunch melalui email. “Ini memastikan bahwa makalah yang dihasilkan ada pada topik dan pengiriman yang sesuai.”

Satu makalah dari ketiganya diterima di Lokakarya ICLR – sebuah makalah yang melemparkan lensa kritis pada teknik pelatihan untuk model AI. Sakana mengatakan mereka segera menarik kertas sebelum dapat diterbitkan untuk kepentingan transparansi dan penghormatan terhadap konvensi ICLR.

“Makalah yang diterima keduanya memperkenalkan metode baru yang menjanjikan untuk melatih jaringan saraf dan menunjukkan bahwa masih ada tantangan empiris yang tersisa,” kata Lange. “Ini memberikan titik data yang menarik untuk memicu penyelidikan ilmiah lebih lanjut.”

Tetapi pencapaiannya tidak mengesankan seperti pada pandangan pertama.

Dalam sebuah posting blog, Sakana mengakui bahwa AI -nya sesekali membuat kesalahan kutipan “memalukan”, misalnya secara tidak benar menghubungkan metode dengan makalah 2016 alih -alih karya 1997 yang asli.

Makalah Sakana juga tidak mengalami pengawasan sebanyak beberapa publikasi peer-review lainnya. Karena perusahaan menariknya setelah peer review awal, makalah ini tidak menerima “meta-review” tambahan, di mana penyelenggara lokakarya secara teori dapat menolaknya.

Lalu ada fakta bahwa tingkat penerimaan untuk lokakarya konferensi cenderung lebih tinggi daripada tingkat penerimaan untuk “jalur konferensi” utama – sebuah fakta yang disebutkan Sakana secara terang -terangan dalam posting blognya. Perusahaan mengatakan bahwa tidak ada studi yang dihasilkan AI-nya yang lulus bilah internalnya untuk publikasi trek konferensi ICLR.

Matthew Guzdial, seorang peneliti AI dan asisten profesor di University of Alberta, menyebut hasil Sakana “sedikit menyesatkan.”

“Orang -orang Sakana memilih surat -surat dari sejumlah yang dihasilkan, yang berarti mereka menggunakan penilaian manusia dalam hal memilih output yang mereka pikir mungkin masuk,” katanya melalui email. “Apa yang saya pikir ini menunjukkan bahwa manusia plus AI bisa efektif, bukan karena AI saja dapat menciptakan kemajuan ilmiah.”

Mike Cook, seorang peneliti di King's College London yang berspesialisasi dalam AI, mempertanyakan kekakuan pengulas dan lokakarya peer.

“Lokakarya baru, seperti ini, sering ditinjau oleh lebih banyak peneliti junior,” katanya kepada TechCrunch. “Perlu juga dicatat bahwa lokakarya ini adalah tentang hasil dan kesulitan negatif – yang hebat, saya telah menjalankan lokakarya yang serupa sebelumnya – tetapi bisa dibilang lebih mudah untuk mendapatkan AI untuk menulis tentang kegagalan dengan meyakinkan.”

Cook menambahkan bahwa dia tidak terkejut AI dapat lulus ulasan peer, mengingat bahwa AI unggul dalam menulis prosa yang terdengar manusia. Sebagian-AI-dihasilkan dokumen Lulus Review Journal Bahkan bukan hal baru, Cook menunjukkan, juga tidak ada dilema etis yang berpose untuk sains.

Kekurangan teknis AI – seperti kecenderungannya halusinasi – Buat banyak ilmuwan waspada mendukungnya untuk pekerjaan serius. Apalagi, para ahli takut bisa begitu saja akhirnya menghasilkan kebisingan Dalam literatur ilmiah, tidak meningkatkan kemajuan.

“Kita perlu bertanya pada diri sendiri apakah [Sakana’s] Hasilnya adalah tentang seberapa baik AI dalam merancang dan melakukan eksperimen, atau apakah itu tentang seberapa baik itu dalam menjual ide kepada manusia – yang kita tahu AI sudah hebat, ”kata Cook. “Ada perbedaan antara lewat peer review dan menyumbangkan pengetahuan ke bidang.”

Sakana, untuk kreditnya, tidak mengklaim bahwa AI -nya dapat menghasilkan karya ilmiah – atau bahkan baru – karya ilmiah. Sebaliknya, tujuan dari percobaan ini adalah untuk “mempelajari kualitas penelitian yang dihasilkan AI,” kata perusahaan itu, dan untuk menyoroti kebutuhan mendesak untuk “norma-norma mengenai sains yang dihasilkan AI.”

“[T]Berikut adalah pertanyaan sulit tentang apakah [AI-generated] Sains harus dinilai berdasarkan kemampuannya sendiri terlebih dahulu untuk menghindari bias terhadapnya, ”tulis perusahaan itu. “Ke depan, kami akan terus bertukar pendapat dengan komunitas riset tentang keadaan teknologi ini untuk memastikan bahwa ia tidak berkembang menjadi situasi di masa depan di mana tujuannya adalah untuk lulus tinjauan sejawat, sehingga secara substansial merusak makna dari proses peninjauan sejawat ilmiah.”