中國女孩偶像組合SNH48發(fā)布的最新圣誕音樂視頻中，六位明星出現(xiàn)了數(shù)字替身，只要用手機自拍一張照片，就能幾秒鐘內(nèi)生成一個完整的3D頭像。

遇到“假”愛豆，還做不做舔狗？

中國女孩偶像組合SNH48最新發(fā)布圣誕音樂視頻，六位最受歡迎的明星一起唱歌和跳舞，值得注意的是，這六人都有假“替身”。

最近，南華早報報道了這項技術(shù)背后的公司ObEN。

一張自拍照生成3D頭像

以虛擬形式生成人的畫像是一項艱巨的任務，ObEN的CV團隊會在每張2D圖像上查看數(shù)十個標記，并分析每個標記如何在2D和3D之間移動和變化，從而改變3D模型。

3D建模從內(nèi)部構(gòu)建的面部數(shù)據(jù)庫開始。首先收集大量數(shù)據(jù)，幫助確定這些面部特征，并訓練AI算法識別它們。通過將2D圖像與3D對應物進行比較，團隊分析了這些標記如何變形以及如何在2D和3D之間轉(zhuǎn)換。然后訓練AI以自動變形（或重組）一個通用的3D頭部模型（網(wǎng)格線框），使其與2D圖像中描繪的面部匹配，可根據(jù)標記點檢查其準確性。

ObEN首席執(zhí)行官Nikhil

最厲害的地方在于，只要用手機自拍一張照片，就能幾秒鐘內(nèi)生成一個完整的3D頭像。

ObEN計算機視覺科學家王睿哲博士講述了背后的一些技術(shù)。

形象逼真是件好事，但過于真實可就不見得了。用戶希望他們的虛擬形象看起來像一個增強的、“美化”的版本，而不是一個完全的復制品。這就是為什么他們可以通過訓練人工智能來生成虛擬化身，在人物真實形象和改善外觀之間取得良好平衡，縮小藝術(shù)與技術(shù)之間的差距。

要快速完成此過程，必須教會AI識別這些標記的變化（換句話說，用戶個體臉部的紋理）如何與標準的線框模式合并，以最好地模擬用戶的視覺外觀。

與傳統(tǒng)媒介的藝術(shù)家一樣，某些屬性比其他屬性更重要，并且難以捕捉到，特別注意眼睛和嘴巴周圍的區(qū)域。

此外，CV團隊還在探索在講話時如何更自然，并對視覺語音的研究涉及訓練AI來識別各類人的說話方式、臉部動畫，尤其是嘴巴的動作。通過足夠的訓練，AI可以接收任何文本或音頻輸入，并根據(jù)其面部特征自動設(shè)置用戶模型說話時的動態(tài)。

ObEN的語音合成技術(shù)應用深度學習，可以捕獲完整的聲波紋，創(chuàng)建任何語言的數(shù)字聲紋，比如美國人錄制的聲音可以用來說中文，同時，錄聲音也不需要專業(yè)錄音環(huán)境，只要沒有太多背景噪音就OK。

構(gòu)建明星替身：虛擬形象可能比明星還厲害

ObEN成立于2014年，軟銀旗下SB Next Media創(chuàng)新基金投出的第一筆錢就是這家公司，目前ObEN完成數(shù)輪融資：

2014年7月，完成種子輪融資；

2016年11月，完成770萬美元A輪融資；

2017年3月，獲軟銀韓國的投資。

2017年7月，完成500萬美元的A2輪融資，騰訊領(lǐng)投

2018年1月，完成1000萬美元B輪可轉(zhuǎn)債融資。

另外，通過與SM Entertainment（韓國最大的娛樂機構(gòu)）合資，ObEN成立了世界上第一個名人AI機構(gòu)AI Stars，為世界上一些超級明星創(chuàng)建PAI（定制AI），他們可以創(chuàng)造新的體驗，與世界各地的粉絲建立聯(lián)系。

這其中的基礎(chǔ)技術(shù)與之前說提到的技術(shù)類似，該團隊通過對合作的明星進行全面3D面部掃描來獲取更多數(shù)據(jù)。通過更多數(shù)據(jù)，模型可以使用更多數(shù)據(jù)，從而獲得更高質(zhì)量的虛擬形象。

但是，對于ObEN的研究人員來說，一個漂亮的面孔是不夠的。團隊正在進行的工作不僅涉及不斷改進AI模型，還為更具表現(xiàn)力的虛擬化身創(chuàng)建定制的面部裝備。現(xiàn)在，ObEN正在收集各種表情的數(shù)據(jù)集，分析這些不同面部表情的相應標記，并訓練模型來預測不同表情的面部形狀。

很快，你的愛豆模型便不再只是單純長得像你的愛豆了——它可能比你的愛豆還要厲害。