Sejumlah ilmuwan membuat aplikasi untuk mengontrol sebuah robot menggunakan gestur tangan dengan bantuan Apple Vision Pro.
Para ilmuwan telah menggembangkan aplikasi yang memungkinkan penggunanya mengontrol sebuah robot dengan gerakan kepala dan tangan saja menggunakan Apple Vision Pro.
Aplikasi yang disebut Tracking Streamer ini mampu melacak gerakan manusia, khususnya pergerakan dari kepala, pergelangan tangan, dan jari.
Selain itu, Tracking Streamer juga mampu mengontrol mesin dari jarak jauh dalam skenario yang berbeda, mengajak robot bermain, hingga menjadi navigasi zona bencana.
Cara kerja Tracking Streamer
Cara kerja dari aplikasi ini adalah dengan mengirimkan data melalui koneksi Wi-Fi kepada robot yang ada di dalam jaringan yang sama, kemudian sistem akan menerjemahkan data tersebut ke dalam gerakan yang sudah disesuaikan.
Para ilmuwan juga sudah mendesain sistem tersebut agar mampu melacak 26 titik di tangan dan pergelangan tangan serta titik-titik lainnya di kepala.
Bukan cuma itu, sistem ini juga mampu merekam data spasial, seperti seberapa tinggi jarak pengguna dari tanah.
Baca juga: Headband Ultrasonik AI Buat Mimpi Jadi Indah
Pengembang aplikasi Tracking Streamer adalah Younghyo Park, seorang mahasiswa doktoral di MIT (Massachusetts Institute of Technology).
Dia membagikan video cara kerja aplikasi ini di X (sebelumnya dikenal sebagai Twitter) dalam potongan video pendek.
Gabe Margolis, seorang mahasiswa pascasarjana di MIT sekaligus co-author dari studi ini, mengendalikan robot berkaki empat menggunakan gerakan tangan dan tubuhnya.
Margolis melakukan gerakan yang memerintahkan robot untuk mendekati pintu yang tertutup, kemudian memutar pegangan dengan genggamannya dan berhasil.
Pada potongan video lainnya, dia memberi isyarat kepada robot untuk mengambil tutup tempat sampah plastik dan membuangnya ke tempat sampah.
Karya dari Younghyo Park dan teman-temannya ini sudah tertulis di dalam makalah singkat yang diterbitkan tanggal 9 Maret 2024 di Github, sebuah open-source code repository.
Sekilas tentang Apple Vision Pro
Apple meluncurkan Vision Pro, sebuah virtual reality (VR) headset, pada Februari 2024, dengan rekaman yang menampilkan orang-orang memakai Apple VIsion Pro dalam kehidupan sehari-hari mereka.
Sesaat sebelum peluncurannya, para ilmuwan menerbitkan penelitian yang menyelidiki seberapa baik kinerja VR headset jika menggunakannya dalam kehidupan sehari-hari.
Baca juga: Chip Komputer AI Berbasis DNA di Masa Depan
Mereka menemukan perangkat ini memiliki waktu jeda, memotong penglihatan sekelilingnya dan menyebabkan distorsi seperti fun-house-mirror.
Para ilmuwan memperingatkan agar tidak memakai VR headset saat mengemudi atau berjalan ke bawah, sesuai dengan panduan pengguna yang dirilis Apple.
Park dan Margolis berspekulasi dalam makalah mereka bahwa beberapa pengguna mungkin memakai Apple Vision Pro sepanjang waktu, layaknya kacamata.
Penggunaan yang berkelanjutan ini tentu akan memberikan lebih banyak data yang dapat mendukung penelitian mereka selanjutnya dalam mengembangkan aplikasi Tracking Streamer.