在備受關(guān)注的視頻領(lǐng)域，百度增強(qiáng)現(xiàn)實(shí)技術(shù)部技術(shù)架構(gòu)師馬曉昕從技術(shù)層面全面解讀了百度AR與百度智能云的強(qiáng)強(qiáng)聯(lián)合為短視頻創(chuàng)作者提供的云端賦能，為激活內(nèi)容創(chuàng)造力帶來了無限可能。

據(jù)第三方數(shù)據(jù)顯示，2018年短視頻行業(yè)月獨(dú)立設(shè)備數(shù)已近7億臺(tái)，短視頻日漸成為營銷傳播的通用手段和普通人記錄分享的常規(guī)方式?？梢哉f，短視頻時(shí)代，每個(gè)人都能成為內(nèi)容的生產(chǎn)者。

在短視頻制作方面，百度智能云構(gòu)建了從基礎(chǔ)設(shè)施、平臺(tái)工具到數(shù)據(jù)傳輸?shù)囊徽捉鉀Q方案，全能力覆蓋互動(dòng)拍攝、智能編輯、轉(zhuǎn)碼上傳流程，為UGC/PGC內(nèi)容創(chuàng)作打造了利器。而百度AR與智能云平臺(tái)的能力打通，在拍攝階段引入豐富的AR特效能力，讓創(chuàng)作者通過疊加人機(jī)交互玩法獲得更大的想象空間；對(duì)平臺(tái)開發(fā)者來說，DuMix AR 5.0提供的涵蓋硬件層、結(jié)合層、能力層、技術(shù)平臺(tái)、內(nèi)容平臺(tái)和業(yè)務(wù)場(chǎng)景的多層次開放架構(gòu)，將有助于他們進(jìn)行靈活擴(kuò)展，大幅提高生產(chǎn)效率。

AR技術(shù)在短視頻中有哪些應(yīng)用場(chǎng)景？從最常見的美顏濾鏡，到手勢(shì)控雨、肢體游戲、環(huán)境風(fēng)格變換等，百度增強(qiáng)現(xiàn)實(shí)技術(shù)部技術(shù)架構(gòu)師馬曉昕結(jié)合不同玩法實(shí)例解析了DuMix AR 5.0人臉肢體手勢(shì)環(huán)境的一體化交互的技術(shù)解決方案。

通常在說到人臉特效能力時(shí)，大家往往關(guān)注的是能夠精準(zhǔn)定位150個(gè)2D關(guān)鍵點(diǎn)，涵蓋78個(gè)骨骼的關(guān)鍵點(diǎn)，能輸出3D的人臉姿態(tài)。其實(shí)在基礎(chǔ)能力之上，對(duì)于嘴部和眼球這兩個(gè)最“出戲”的部位，我們提供了更加精準(zhǔn)的解析，以保障應(yīng)用層可實(shí)現(xiàn)的玩法更多；另外，我們還對(duì)人臉平面進(jìn)行了三角剖分，分成264個(gè)三角形；以及5210個(gè)三角形人臉立體剖分，基于這個(gè)面部網(wǎng)格可以制作各種2D/3D貼紙、變形或進(jìn)行其他拓展。

我們也預(yù)設(shè)了32個(gè)人臉的表情基和15個(gè)表情語義，包含如微笑、大笑、睜眼、閉眼等一些常見的表情。通過內(nèi)置的19套塑形參數(shù)、五種基礎(chǔ)美妝、立體的3D的妝容等更加高階的能力，可以滿足開發(fā)者對(duì)于人臉特效玩法的各種需求，如美妝美體、微整形、多人實(shí)時(shí)換臉和個(gè)性化的美顏需求，并且在應(yīng)對(duì)光照變化劇烈、大角度追蹤、抖動(dòng)遮擋這些復(fù)雜情境都表現(xiàn)出很強(qiáng)的穩(wěn)定性和魯棒性。

手勢(shì)特效預(yù)設(shè)了8種手勢(shì)語義，包含21個(gè)關(guān)鍵點(diǎn)，能夠復(fù)原出3D的手掌姿態(tài)；肢體特效提供59個(gè)輪廓點(diǎn)/18個(gè)關(guān)節(jié)點(diǎn)兩種輸出方式，其中18個(gè)關(guān)節(jié)點(diǎn)識(shí)別速度，全機(jī)型測(cè)試最多不超過6.7毫秒；人像分割更是達(dá)到IOU 93.76%的高指標(biāo)。

從人體跟蹤到物理世界大場(chǎng)景跟蹤，依靠低成本的地圖采集和在線融合跟蹤方案，百度AR推出了VPAS視覺定位與增強(qiáng)服務(wù)，用戶在打開時(shí)省去了掃描平面這一步驟，體驗(yàn)路徑更加順暢。開發(fā)者可以在真實(shí)世界中構(gòu)建更加宏大的虛擬場(chǎng)景，我們提供的實(shí)時(shí)渲染能力對(duì)于26萬面大場(chǎng)景在普通手機(jī)上的渲染幀率也達(dá)到了30fps。

為了降低開發(fā)者的使用門檻，百度DuMix AR平臺(tái)對(duì)一體化人機(jī)交互能力進(jìn)行了封裝，靈活的架構(gòu)確保開發(fā)者可以自主高效地進(jìn)行能力和玩法擴(kuò)展。

此外，針對(duì)不同需求的短視頻內(nèi)容制作者，百度DuMix AR特效開放平臺(tái)也提供了兩套不同的工具：具備創(chuàng)意技術(shù)能力的平臺(tái)開發(fā)者可以應(yīng)用工具插件進(jìn)行內(nèi)容制作，也可以通過生態(tài)合作伙伴進(jìn)行定制化生產(chǎn)；而個(gè)人開發(fā)者則可以使用平臺(tái)開放編輯器DuMix AR Studio和移動(dòng)端預(yù)覽工具DuMix AR Cam進(jìn)行開發(fā)和實(shí)時(shí)調(diào)試。

百度AR提供的創(chuàng)意生產(chǎn)工具結(jié)合百度智能云的基礎(chǔ)架構(gòu)服務(wù)，以及百度生態(tài)資源閉環(huán)，共同構(gòu)建了從創(chuàng)意內(nèi)容到AR互動(dòng)體驗(yàn)的完整工具鏈，提升生產(chǎn)端到消費(fèi)端的整體效率，有效降低生產(chǎn)成本，讓AI/AR賦能產(chǎn)業(yè)、改變生活！