Tonton robot humanoid yang melenggang mulus dengan manusia berkat peningkatan perangkat lunak pelacakan gerak AI
Robot humanoid dapat segera bergerak dengan cara yang jauh lebih realistis – dan bahkan menari seperti kita – berkat kerangka perangkat lunak baru untuk melacak gerakan manusia.
Dikembangkan oleh para peneliti di UC San Diego, UC Berkeley, MIT, dan Nvidia, “Exbody2” adalah teknologi baru yang memungkinkan robot humanoid untuk melakukan gerakan realistis berdasarkan pemindaian terperinci dan visualisasi gerak manusia.
Para peneliti berharap bahwa robot humanoid di masa depan dapat melakukan tugas yang jauh lebih luas dengan meniru gerakan manusia dengan lebih akurat. Misalnya, metode pengajaran dapat membantu robot beroperasi dalam peran yang membutuhkan gerakan yang baik – seperti mengambil barang dari rak – atau bergerak dengan hati -hati di sekitar manusia atau mesin lain.
Exbody2 bekerja dengan mengambil gerakan simulasi berdasarkan pemindaian gerak-penangkapan manusia dan menerjemahkannya ke dalam data gerak yang dapat digunakan untuk ditiru robot. Kerangka kerja dapat mereplikasi gerakan kompleks menggunakan robot, yang akan memungkinkan robot bergerak kurang kaku dan beradaptasi dengan tugas yang berbeda tanpa perlu pelatihan ulang yang luas.
Terkait: 8 robot paling aneh di dunia saat ini
Ini semua diajarkan menggunakan pembelajaran penguatan, subset pembelajaran mesin di mana robot diberi makan sejumlah besar data untuk memastikan itu mengambil rute optimal dalam situasi apa pun. Output yang baik, disimulasikan oleh para peneliti, ditugaskan skor positif atau negatif untuk “menghargai” model untuk hasil yang diinginkan, yang di sini berarti mereplikasi mosi secara tepat tanpa mengorbankan stabilitas bot.
Kerangka kerja ini juga dapat mengambil klip gerak pendek, seperti beberapa detik menari, dan mensintesis bingkai gerakan baru untuk referensi, untuk memungkinkan robot menyelesaikan gerakan durasi yang lebih lama.
Menari dengan robot
Di sebuah Video Diposting ke YouTuberobot yang dilatih melalui tarian Exbody2, spar dan latihan bersama subjek manusia. Selain itu, robot meniru gerakan peneliti secara real time, menggunakan kode tambahan berjudul “Hybrik: Hybrid Analytical-Neural Inverse Kinematics for Body Mesh Recovery” yang dikembangkan oleh Machine Vision and Intelligence Group di Shanghai Jiao Tong University.
Saat ini, dataset Exbody2 sebagian besar difokuskan pada gerakan tubuh bagian atas. Dalam sebuah studi, diunggah 17 Desember 2024 ke server preprint Arxivpara peneliti di balik kerangka itu menjelaskan bahwa ini karena kekhawatiran bahwa memperkenalkan terlalu banyak gerakan di bagian bawah robot akan menyebabkan ketidakstabilan.
“Tugas yang terlalu sederhana dapat membatasi kemampuan kebijakan pelatihan untuk menggeneralisasi ke situasi baru, sementara tugas yang terlalu kompleks mungkin melebihi kemampuan operasional robot, yang mengarah pada hasil pembelajaran yang tidak efektif,” tulis mereka. “Oleh karena itu, bagian dari persiapan dataset kami termasuk pengecualian atau modifikasi entri yang menampilkan gerakan tubuh bawah yang kompleks di luar kemampuan robot.”
Dataset para peneliti berisi lebih dari 2.800 gerakan, dengan 1.919 di antaranya berasal dari arsip penangkapan gerak sebagai dataset bentuk permukaan (AMASS). Ini adalah dataset besar gerakan manusia, termasuk lebih dari 11.000 gerakan manusia individu dan 40 jam data gerak terperinci, yang ditujukan untuk pembelajaran dalam non-komersial-ketika jaringan saraf dilatih pada sejumlah besar data untuk mengidentifikasi atau mereproduksi pola.
Setelah terbukti keefektifan Exbody2 dalam mereplikasi gerakan seperti manusia dalam robot humanoid, tim sekarang akan beralih ke masalah mencapai hasil ini tanpa harus mengkuratori kumpulan data secara manual untuk memastikan hanya informasi yang sesuai yang tersedia untuk kerangka kerja. Para peneliti menyarankan bahwa, di masa depan, pengumpulan dataset otomatis akan membantu memperlancar proses ini.
