Menggunakan kecerdasan buatan (AI), para ilmuwan telah mengungkap aktivitas otak rumit yang terungkap selama percakapan sehari -hari.
Alat ini dapat menawarkan wawasan baru tentang ilmu saraf bahasa, dan suatu hari nanti, ini dapat membantu meningkatkan teknologi yang dirancang untuk mengenali ucapan atau membantu orang berkomunikasikata para peneliti.
Berdasarkan bagaimana model AI menyalin audio ke dalam teks, para peneliti di balik penelitian ini dapat memetakan aktivitas otak yang terjadi selama percakapan lebih akurat daripada model tradisional yang menyandikan fitur spesifik dari struktur bahasa – seperti fonem (suara sederhana yang membentuk kata -kata) dan bagian -bagian ucapan (seperti kata benda, kata kerja dan kata sifat).
Model yang digunakan dalam penelitian ini, disebut Whisperalih -alih mengambil file audio dan transkrip teksnya, yang digunakan sebagai data pelatihan untuk memetakan audio ke teks. Kemudian menggunakan statistik pemetaan itu untuk “belajar” untuk memprediksi teks dari file audio baru yang belum pernah didengar sebelumnya.
Terkait: Bahasa ibu Anda dapat membentuk kabel otak Anda
Dengan demikian, Whisper bekerja murni melalui statistik ini tanpa fitur struktur bahasa yang dikodekan dalam pengaturan aslinya. Namun demikian, dalam penelitian ini, para ilmuwan menunjukkan bahwa struktur -struktur itu masih muncul dalam model begitu dilatih.
Studi ini menjelaskan bagaimana jenis model AI ini – yang disebut model bahasa besar (LLM) – bekerja. Tetapi tim peneliti lebih tertarik pada wawasan yang disediakannya ke dalam bahasa dan kognisi manusia. Mengidentifikasi kesamaan antara bagaimana model mengembangkan kemampuan pemrosesan bahasa dan bagaimana orang mengembangkan keterampilan ini mungkin berguna untuk perangkat rekayasa yang membantu orang berkomunikasi.
“Ini benar -benar tentang bagaimana kita berpikir tentang kognisi,” kata penulis studi utama Ariel Goldsteinseorang asisten profesor di Universitas Ibrani Yerusalem. Hasil penelitian menunjukkan bahwa “kita harus memikirkan kognisi melalui lensa ini [statistical] Jenis model, “kata Goldstein kepada Live Science.
Membongkar kognisi
Studi yang diterbitkan 7 Maret di jurnal Perilaku manusia sifatmenampilkan empat peserta dengan epilepsi yang sudah menjalani operasi untuk memiliki elektroda pemantauan otak yang ditanamkan karena alasan klinis.
Dengan persetujuan, para peneliti mencatat semua percakapan pasien di seluruh rumah sakit mereka, yang berkisar dari beberapa hari hingga seminggu. Mereka menangkap lebih dari 100 jam audio, secara total.
Masing -masing peserta memiliki 104 hingga 255 elektroda yang dipasang untuk memantau aktivitas otak mereka.
Sebagian besar studi yang menggunakan rekaman percakapan berlangsung di laboratorium dalam keadaan yang sangat terkontrol lebih dari satu jam, kata Goldstein. Meskipun lingkungan yang terkontrol ini dapat berguna untuk menggoda peran variabel yang berbeda, Goldstein dan kolaboratornya ingin “mengeksplorasi aktivitas otak dan perilaku manusia dalam kehidupan nyata.”
Studi mereka mengungkapkan bagaimana berbagai bagian otak terlibat selama tugas yang diperlukan untuk memproduksi dan memahami pidato.
Goldstein menjelaskan bahwa ada perdebatan yang sedang berlangsung, apakah bagian -bagian yang berbeda dari otak menendang ke dalam perlengkapan selama tugas -tugas ini atau jika seluruh organ merespons secara lebih kolektif. Gagasan sebelumnya mungkin menyarankan bahwa satu bagian otak memproses suara aktual yang membentuk kata -kata sementara yang lain menafsirkan makna kata -kata itu, dan masih menangani gerakan yang diperlukan untuk berbicara.
Dalam teori alternatif, lebih dari berbagai daerah otak ini bekerja bersama, mengambil pendekatan “terdistribusi”, kata Goldstein.
Para peneliti menemukan bahwa daerah otak tertentu cenderung berkorelasi dengan beberapa tugas.
Sebagai contoh, area yang diketahui terlibat dalam pemrosesan suara, seperti gyrus temporal superior, menunjukkan lebih banyak aktivitas ketika menangani informasi pendengaran, dan area yang terlibat dalam pemikiran tingkat yang lebih tinggi, seperti gyrus frontal inferior, lebih aktif untuk memahami makna bahasa.
Mereka juga dapat melihat bahwa daerah menjadi aktif secara berurutan.
Misalnya, wilayah yang paling bertanggung jawab untuk mendengar kata -kata diaktifkan sebelum wilayah yang paling bertanggung jawab untuk menafsirkannya. Namun, para peneliti juga dengan jelas melihat daerah -daerah aktif selama kegiatan yang tidak diketahui khususnya.
“Saya pikir ini adalah bukti kehidupan nyata yang paling komprehensif dan menyeluruh untuk pendekatan terdistribusi ini,” kata Goldstein.
Menghubungkan model AI ke pekerjaan dalam otak
Para peneliti menggunakan 80% dari audio yang direkam dan transkripsi yang menyertainya untuk melatih bisikan sehingga kemudian dapat memprediksi transkripsi untuk 20% audio yang tersisa.
Tim kemudian melihat bagaimana audio dan transkripsi ditangkap oleh Whisper dan memetakan representasi tersebut pada aktivitas otak yang ditangkap dengan elektroda.
Setelah analisis ini, mereka dapat menggunakan model untuk memprediksi aktivitas otak apa yang akan dilakukan dengan percakapan yang belum dimasukkan dalam data pelatihan. Akurasi model melampaui model berdasarkan fitur struktur bahasa.
Meskipun para peneliti tidak memprogram apa yang menjadi fonem atau kata menjadi model mereka sejak awal, mereka menemukan struktur bahasa tersebut masih tercermin dalam bagaimana model menyelesaikan transkripnya. Jadi itu telah mengekstraksi fitur -fitur itu tanpa diarahkan untuk melakukannya.
Penelitian ini adalah “studi inovatif karena menunjukkan hubungan antara cara kerja model akustik-ke-speech-to-speech-to dan fungsi otak,” Leonhard Schilbachseorang pemimpin kelompok penelitian di Pusat Neurosains Munich di Jerman yang tidak terlibat dalam pekerjaan itu, mengatakan kepada Live Science dalam sebuah email.
Namun, ia menambahkan bahwa, “penelitian lebih lanjut diperlukan untuk menyelidiki apakah hubungan ini benar -benar menyiratkan kesamaan dalam mekanisme dengan model bahasa dan bahasa proses otak.”
“Membandingkan otak dengan jaringan saraf buatan adalah lini kerja yang penting,” kata Gasper Begušseorang profesor di Departemen Linguistik di University of California, Berkeley yang tidak terlibat dalam penelitian ini.
“Jika kita memahami cara kerja neuron buatan dan biologis dan kesamaannya, kita mungkin dapat melakukan eksperimen dan simulasi yang tidak mungkin dilakukan di otak biologis kita,” katanya kepada Live Science melalui email.
