近日，一篇由迪士尼研究所和幾所大學的研究人員撰寫的論文發(fā)布，文章介紹了一種基于深度學習的程序語言動畫新方法。
該系統(tǒng)對人類說話錄音進行采樣，并使它自動生成匹配的嘴型動畫。該方法可以應用到從提高管道動畫的效率到使VR社交更有說服力，它可以在VR社交中實時化地呈現(xiàn)角色的演講內(nèi)容。
迪士尼研究所、加拿大東加利福尼亞理工大學和卡內(nèi)基梅隆大學的研究人員撰寫了這篇題為《廣義語音動畫深度學習方法》的論文。論文描述了一種已經(jīng)用“深度學習/神經(jīng)網(wǎng)絡”方法訓練的系統(tǒng)，利用單個揚聲器8小時的參考畫面（2543句），教導系統(tǒng)根據(jù)不同的語音單元（稱為音素）配合生成不同嘴型及其組合。
經(jīng)過訓練的系統(tǒng)可以自主分析來自任何揚聲器的音頻，并自動產(chǎn)生相應的嘴型，然后將其用于動畫模型的自動語音生成。
在VR中，該系統(tǒng)可以通過用戶語音實時對應虛擬角色的嘴型，使其更加逼真。
一些社交應用已經(jīng)在使用各種系統(tǒng)進行嘴形跟蹤。Oculus為Unity提供了一個嘴型同步插件，其原理是基于音頻輸入來確定角色說話嘴型。然而與迪士尼提供的新系統(tǒng)相比，細節(jié)性和準確性都差了些。
責任編輯：吳一波
相關推薦
迪士尼將和AR公司合作建設神秘實驗室
7月18日上午，美國增強現(xiàn)實創(chuàng)業(yè)公司MagicLeapCEO羅尼·阿伯維茨(RonyAbovitz)表示，該公司將與迪士尼的合作在舊金山開發(fā)一處秘密實驗室，邀請開發(fā)者在其發(fā)布產(chǎn)品前在那里測試項目。該實驗室其實并不算秘密，阿伯維茨披露它的位置——位于盧卡斯影業(yè)舊金山Presidio園區(qū)里的Yoda噴泉附近。阿伯維茨還表示，目前為止已經(jīng)有數(shù)千人見過該公司的技術。但可惜的是
星戰(zhàn)迷福音！聯(lián)想要和迪士尼聯(lián)合推出星戰(zhàn)版AR游戲設備
聯(lián)想與迪士尼聯(lián)合推出《星球大戰(zhàn)》AR游戲硬件
進擊的迪士尼：這家動畫巨頭為什么頻頻在 VR/AR 上露出了獠牙？