Para peneliti telah mengembangkan model bahasa AI pertama di otak yang menangkap bagaimana neuron diatur dan bagaimana fungsinya.
Otak kita adalah tempat yang sangat terorganisir. Neuron – sel saraf yang bertanggung jawab untuk mentransmisikan sinyal listrik dan kimia di seluruh tubuh – diatur pada jaringan, cenderung mengelompok bersama dalam kelompok sesuai dengan bagaimana mereka berfungsi. Sebagai contoh, studi bahasa telah menemukan bahwa ada kelompok neuron yang tampaknya berspesialisasi dalam kata kerja dan lainnya yang fokus secara khusus pada kata benda, namun peneliti tidak yakin bagaimana kelompok fungsional ini terbentuk.
Model bahasa AI sebelumnya telah berhasil menangkap kelompok masing -masing neuron fungsional ini tetapi belum melihat bagaimana ini diatur secara spasial di otak.
Sekarang, para peneliti dari Laboratorium Neuroai, bagian dari Sekolah Ilmu Komputer dan Komunikasi (IC) dan Sekolah Ilmu Kehidupan (SV), telah menciptakan Topolm, model bahasa AI baru yang meniru pengelompokan fungsional neuron dan, untuk pertama kalinya, bagaimana sel -sel saraf ini diatur secara spasial di dalam otak.
“Membangun bekerja di sekitar bagaimana otak memproses visi, kami membuat beberapa perubahan yang relatif kecil tentang bagaimana model bahasa mengatur dirinya secara internal, menambahkan aturan yang mendorong representasi internal model untuk menjadi 'halus' secara spasial. Model yang dihasilkan Topolm mengembangkan kelompok spasial dari komponen internal yang secara fungsional cocok dengan aktivitas yang kita lihat dalam otak manusia ketika mereka proses proses neur,” neurs yang dieksekasikan.
Dalam makalah mereka, Topolm: Organisasi Spasi-Fungsional seperti otak dalam model bahasa topografi, salah satu dari kurang dari 2% makalah yang dipilih untuk disajikan secara lisan minggu ini di ICLR 2025, Konferensi Internasional tentang Representasi Pembelajaran, para peneliti menguraikan bagaimana Topolm berhasil memprediksi bagaimana sistem bahasa dalam lapisan luar otak, korteks, mengembangkannya.
“Ini adalah penelitian dasar untuk memahami bagaimana kelompok spasial atau kelompok fungsional di otak berasal dari tempat pertama dan apa yang disarankan oleh model baru ini adalah bahwa hal itu dapat didorong oleh aturan dasar tunggal tentang organisasi spasial di mana dekat neuron hanya cenderung berperilaku sama,” lanjut Schrimpf.
Para peneliti percaya Topolm menyediakan kerangka kerja untuk meningkatkan penyelarasan fungsional AI dengan kognisi manusia, menawarkan aplikasi langsung untuk mengembangkan komputasi dan neurolinguistik yang terinspirasi oleh otak.
“Ini adalah langkah yang menarik untuk membangun sistem kecerdasan buatan yang lebih terorganisir seperti otak manusia. Salah satu tujuan utama kami adalah membangun model otak yang lebih baik secara umum dan dengan topolm kami selangkah lebih dekat dengan aplikasi klinis yang dapat membantu kami untuk membantu orang dengan gangguan bahasa dan laboratorium neuroai yang sama,” kata Badr Alkhamissi, seorang asisten doktoral di Neuroai dan Laboratories Neuroai, kata neuroai, neuroai, neuroai, neuroai. kertas.
Karya ini juga menyoroti interpretabilitas, pada dasarnya pemahaman tentang apa yang terjadi di dalam model bahasa besar yang kompleks (LLM) dan bagaimana mereka sebenarnya bekerja. Biasanya, LLM memiliki representasi matematika yang disebut 'vektor' yang terkait dengan setiap 'neuron' buatan. Untuk memahami apa yang telah dipelajari model, perlu menganalisis setiap vektor secara individu atau dalam kelompok kecil.
Karena Topolm mengatur komponen internalnya ke dalam kelompok, dimungkinkan untuk melihatnya dan melihat pengelompokan yang bermakna muncul. Ini membuatnya lebih mudah untuk mengetahui bagaimana model mewakili dan memproses bahasa karena organisasi itu sendiri mencerminkan kategori yang bermakna.
Jadi apa selanjutnya dalam penelitian mutakhir ini? Tim peneliti EPFL sekarang akan bekerja untuk menguji prediksi model otak manusia.
“Model ini bekerja dengan sangat baik, jauh lebih baik dari yang kami harapkan, bahwa kami ingin menguji apakah prediksinya benar. Ada kelompok dalam model yang belum kami amati di otak manusia karena belum ada yang mencarinya. Kami akan bekerja dengan rekan -rekan di Amerika Serikat yang secara eksperimental bekerja dengan manusia untuk menjalankan studi pencitraan baru untuk mengetahui apakah Clusters ini juga muncul di otak manusia,” simpul.
Badr Alkhamissi, Neil Rathi dan Hannes Mehrer semuanya bekerja dengan Martin Schrimpf tentang pengembangan model Topolm.
Laboratorium Neuroai adalah bagian dari EPFL Institut Neuro-X komunitas kolaboratif dan interdisipliner yang menyatukan tim -tim dari Sekolah Ilmu Komputer dan Komunikasi EPFL, Sekolah Ilmu Kehidupan dan Sekolah Teknik .
