Microsoft memberi nama VASA-1 kepada alat AI terbaru mereka yang bisa melakukan sinkronisasi gambar dan audio secara real-time.
Microsoft Research Asia telah meluncurkan alat AI eksperimental baru yang disebut VASA-1.
Alat ini dapat mengambil gambar seseorang serta melakukan sinkronisasi dengan file audio yang tersedia untuk membuat gambar atau foto wajah berbicara secara real-time.
Kemudian, VASA-1 mempunyai kemampuan untuk menghasilkan ekspresi wajah dan gerakan kepala pada gambar atau foto yang ada.
Setelah itu, menyesuaikan gerakan bibir dengan kebutuhan kreator, misalnya pidato, lagu, dan sebagainya.
Baca juga: Chip Komputer AI Berbasis DNA di Masa Depan
VASA-1 mendukung pembuatan video online 512×512 hingga 40 FPS dengan latensi awal yang dapat diabaikan.
Para peneliti mengunggah banyak sekali contoh di halaman website Microsoft.
Hasilnya terlihat cukup bagus, sehingga bisa mengelabui orang dengan berpikir bahwa contoh tersebut nyata.
Meskipun, gerakan bibir dan kepala masih terlihat seperti robot dan tidak sinkron bila diperiksa lebih dekat.
VASA-1 bermanfaat untuk kesetaraan pendidikan dan dukungan terapeutik
Para peneliti mengatakan, alat ini dapat digunakan untuk meningkatkan kesetaraan pendidikan serta aksesibilitas bagi mereka yang memiliki tantangan komunikasi.
Salah satu caranya adalah dengan memberi akses ke avatar yang dapat berkomunikasi untuk keperluan pengguna.
Baca juga: Headband Ultrasonik AI Buat Mimpi Jadi Indah
Selain itu, VASA-1 juga bisa memberikan pendampingan dan dukungan terapeutik bagi mereka yang membutuhkannya.
Menurut makalah dari Cornell University, VASA-1 dilatih pada VoxCeleb2 Dataset, yang berisi lebih dari 1 juta ucapan dari 6.112 selebriti di video YouTube.
Selain terlatih untuk menggunakan wajah asli, alat ini juga berfungsi pada foto artistik seperti Mona Lisa.
Para peneliti menggabungkan foto Mona Lisa dengan lagu Paparazzi milik Lil Wayne, yang kemudian menjadi viral karena di-cover oleh Anne Hathaway.
Beberapa penonton menganggap video tersebut lucu dan bahkan layak untuk ditonton.
Masih berpotensi untuk disalahgunakan
Walaupun memiliki manfaat bagi beberapa bidang, jelas bahwa VASA-1 dapat disalahgunakan untuk membuat deepfake video dari orang sungguhan dengan mudah dan cepat.
Para peneliti sudah menyadari potensi itu dan memutuskan untuk tidak merilis demo online, API, produk, rincian implementasi tambahan, atau penawaran terkait.
Baca juga: Robot AI Jadi Wasit Sepakbola Masa Depan?
Hal ini akan berlangsung sampai mereka yakin bahwa VASA-1 dapat digunakan secara bertanggung jawab dan sesuai dengan peraturan yang berlaku.
Namun, para peneliti belum mengatakan, apakah mereka berencana menerapkan pengamanan tertentu untuk mencegah pelaku kejahatan menggunakan alat AI baru ini, seperti membuat kampanye pornografi palsu atau misinformasi.