Meta mengumumkan kerangka kerja AI audio2photoreal, yang dapat menghasilkan adegan dialog karakter dengan memasukkan file sulih suara

Bit News Meta baru-baru ini mengumumkan kerangka kerja AI yang disebut audio2photoreal, yang mampu menghasilkan serangkaian model karakter NPC yang realistis dan secara otomatis “menyinkronkan bibir” dan “berpose” model karakter dengan bantuan file sulih suara yang ada.

Laporan penelitian resmi menunjukkan bahwa setelah menerima file sulih suara, kerangka fotoreal Audio2 pertama-tama akan menghasilkan serangkaian model NPC, dan kemudian menggunakan teknologi kuantisasi dan algoritma difusi untuk menghasilkan tindakan model, di mana teknologi kuantisasi menyediakan referensi sampel tindakan untuk kerangka kerja dan difusi Algoritma digunakan untuk meningkatkan efek tindakan karakter yang dihasilkan oleh bingkai.

Empat puluh tiga persen dari evaluator dalam eksperimen terkontrol “sangat puas” dengan adegan dialog karakter yang dihasilkan oleh bingkai, sehingga para peneliti merasa bahwa kerangka fotoreal Audio2 mampu menghasilkan gerakan “lebih dinamis dan ekspresif” daripada produk pesaing di industri. Dilaporkan bahwa tim peneliti kini telah membuat kode dan dataset yang relevan menjadi publik di GitHub.