迪士尼研究所和幾所大學(xué)的研究員們撰寫了一份新報告，報告稱能通過深度學(xué)習(xí)來程序化制作語音動畫。這種系統(tǒng)從人類演講的音頻材料中抽樣，再自動產(chǎn)生搭配的口型動畫。這種方法應(yīng)用方面很廣，能提高語音動畫制作的效率，能在社交VR設(shè)置中通過實時模仿演講做出更像的社交vr交互，不勝枚舉。
研究者們來自于迪士尼研究中心，東安格利亞大學(xué)，加利福尼亞大學(xué)，加州理工學(xué)院和卡內(nèi)基梅隆大學(xué)，一起撰寫了一篇名為“深度學(xué)習(xí)方法產(chǎn)生語音動畫”的文章。這篇文章寫到有一種系統(tǒng)能通過“深度學(xué)習(xí)/神經(jīng)網(wǎng)絡(luò)”的訓(xùn)練，用八個小時讀取某一位說話人的參考畫面（2543個句子），最后通過各種演講中的音素和音素的組合教會系統(tǒng)口型。
如下：右臉是參考畫面。視頻訓(xùn)練后，只基于音頻輸入，左臉上的嘴根據(jù)系統(tǒng)產(chǎn)生口型。
訓(xùn)練過的系統(tǒng)之后能分析任何一位說話人的音頻，自動產(chǎn)生相應(yīng)的嘴型，再應(yīng)用到產(chǎn)生自動語音動畫的臉部模型中。研究者們說這個系統(tǒng)是與說話人獨(dú)立的，而且能去模仿別的語言。
“通過一種簡單而有效的學(xué)習(xí)方法，系統(tǒng)能自動產(chǎn)生看起來自然的語音動畫，并且是與語音輸入同步的。我們的方法是：使用變化的的窗口預(yù)測，通過精確地捕捉自然動作和可視的協(xié)同發(fā)音效應(yīng)，學(xué)習(xí)任意非線性映像，從音素輸入序列到口型動作。這種方法有幾大優(yōu)勢特質(zhì)：實時運(yùn)作，要求最小參數(shù)調(diào)音，概括產(chǎn)生新的輸入語音序列，易于編輯產(chǎn)生程式化的感情豐沛的演講，并且與現(xiàn)有的動畫重新定向方法兼容。
以前，與動畫角色錄音配套的動畫都是由熟練的動畫設(shè)計師純手工制作的。雖然這種系統(tǒng)沒法做到你所期待的，像制成動畫里一樣高還原度的語音動畫，但它可以用來制作動畫的初稿，或者制作人為無法模擬的語音動畫，比如說大型角色扮演游戲中非玩家角色的對話，或是預(yù)算低而雇不起動畫設(shè)計師的項目（教學(xué)視頻，培訓(xùn)視頻，學(xué)術(shù)項目等等）。
至于VR，這種系統(tǒng)能通過實時模擬用戶嘴型，使社交VR更真實。真實的口型軌跡（光學(xué)的或其它方式）可能是最精確的模擬演講方式，但是像這樣程序化產(chǎn)生語音動畫的系統(tǒng)才是目前實用的方法，除非有一天口型軌跡硬件已經(jīng)廣泛使用了。
一些社交VR應(yīng)用已經(jīng)使用了各種系統(tǒng)來模擬口型；Oculus（歐酷來）也提供了一款唇同步插件給Unity,用來通過語音輸入模擬口型。但是上文的這種系統(tǒng)，基于新的深度學(xué)習(xí)，它似乎給語音動畫帶來前所未有的細(xì)節(jié)和準(zhǔn)確性，意義重大。
微信掃一掃
