隨著近年來音視頻生成技術(shù)的不斷發(fā)展，“虛擬主播”逐漸走入人們視野，并以其在虛擬客服、遠(yuǎn)程會議、電影剪輯等現(xiàn)實應(yīng)用場景中的重要作用而獲得了社會各界的廣泛關(guān)注。該技術(shù)旨在對輸入的音頻預(yù)測相應(yīng)口型，從而生成指定或任意人物的自然而準(zhǔn)確的面部說話視頻。近日，中科院自動化所智能感知與計算研究中心為此提出了一種新穎的音視頻協(xié)同計算方法，并重點解決了此前難以達(dá)成的任意人物協(xié)同生成問題。

該方法一方面實現(xiàn)了利用語音驅(qū)動任意對象的高清視頻生成，另一方面在正臉、側(cè)臉等多種場景下均顯著提升了生成視頻質(zhì)量。目前，該成果已被IJCAI 2020大會接收。

由于音視頻模態(tài)之間差異性等問題，這項技術(shù)目前仍然存在著眾多挑戰(zhàn)。以往的研究方法往往將重點放在了模態(tài)內(nèi)之間，如只關(guān)注了視頻幀之間的損失約束，卻忽略了音視頻模態(tài)間最重要的問題之一：如何將音頻信息高效充分地表達(dá)入視頻模態(tài)？同時由于人物與人物之間的個體差異，將同一模型應(yīng)用于任意人物視頻生成也存在較大的挑戰(zhàn)。

為解決上述問題，團(tuán)隊精心設(shè)計了一個非對稱式互信息估計器（Asymmetric Mutual Information Estimator， AMIE），以構(gòu)建音視頻模態(tài)間的約束。如圖1示，輸入一對音頻與人臉圖像數(shù)據(jù)，互信息估計器輸出預(yù)測的互信息值。在這里，該方法使用Jensen-Shannon表示形式來改善互信息計算方式，使其更好地應(yīng)用于神經(jīng)網(wǎng)絡(luò)。通過這樣的互信息估計方式，該方法最大化音頻與視頻模態(tài)之間的互信息，減少音頻向視頻模態(tài)表達(dá)的不確定性，并以此獲得音頻和視頻信息之間的跨模態(tài)一致性，使得生成視頻中人物的口型更加準(zhǔn)確自然。

該方法在LRW和GRID基礎(chǔ)數(shù)據(jù)集上進(jìn)行了實驗驗證。圖2中的結(jié)果表明該方法生成的口型準(zhǔn)確度高，且能夠有效適應(yīng)不同膚色與嘴唇形狀差異。表1的量化結(jié)果顯示該方法在常用的對比指標(biāo)上的優(yōu)越性能。

該方法有能力對不存在于數(shù)據(jù)集中的任意人物進(jìn)行視頻合成，并能夠有效處理如姿態(tài)表情、性別差異等變化因素（見圖3）。例如，輸入一段女性語音（圖中第二行），該方法分別生成了現(xiàn)實場景的同性別人臉視頻（圖中第一行），和跨性別人臉視頻（圖中第三行）。

責(zé)任編輯：gt