在新聞學(xué)中，有一個(gè)“媒介的雙螺旋”理論，是說(shuō)媒介形式必然會(huì)按照簡(jiǎn)易度和關(guān)聯(lián)度兩條線索螺旋向上升級(jí)。無(wú)論是印刷術(shù)、廣播、電視，還是今天的短視頻、直播、VR，每一種媒體形式的出現(xiàn)，都是為了降低用戶的獲取門(mén)檻，同時(shí)提升內(nèi)容的關(guān)聯(lián)能力。按照雙螺旋理論，多媒體化的趨勢(shì)是不可逆轉(zhuǎn)的。而優(yōu)秀的表達(dá)者、開(kāi)發(fā)者、創(chuàng)業(yè)者，也必然需要多媒體的幫助。

移動(dòng)應(yīng)用開(kāi)發(fā)者，本質(zhì)上就是利用APP這種介質(zhì)完成對(duì)用戶的表達(dá)和溝通。而最能夠幫助開(kāi)發(fā)者提升表達(dá)效率，增強(qiáng)用戶體驗(yàn)的技術(shù)，可能也就是多媒體技術(shù)了。

曾幾何時(shí)，圖片和文字是APP的主要載體；而今，我們很難想象一款頭部APP中缺少直播、視頻播放的多媒體交互形式。然而對(duì)于大部分開(kāi)發(fā)者而言，多媒體功能的開(kāi)發(fā)、部署和運(yùn)維還存在大量痛點(diǎn)，甚至可能變成開(kāi)發(fā)團(tuán)隊(duì)的過(guò)量成本消耗因素與技術(shù)軟肋。

多媒體開(kāi)發(fā)，本來(lái)應(yīng)是充滿驚喜感、愉悅感的事情，當(dāng)然不該成為開(kāi)發(fā)者的瓶頸。此前我們已經(jīng)介紹過(guò)，7月15日HMS Core 6.0正式上線。其中有一項(xiàng)重要更新，叫做華為多媒體管線服務(wù)（AV Pipeline Kit）。

當(dāng)時(shí)就有朋友希望我們仔細(xì)介紹一下AV Pipeline Kit。9月16日，HMS Core AV Pipeline Kit剛剛進(jìn)行了一場(chǎng)線上直播，多個(gè)領(lǐng)域的專(zhuān)家深度講解了AV Pipeline Kit的技術(shù)要點(diǎn)和應(yīng)用場(chǎng)景。

我們今天就由此出發(fā)，看看AV Pipeline Kit究竟帶來(lái)了什么，又是如何幫助開(kāi)發(fā)者完成和簡(jiǎn)化音視頻采集、編輯和播放等系列工作的。

AV Pipeline Kit通過(guò)一系列技術(shù)與架構(gòu)設(shè)計(jì)中蘊(yùn)藏的驚喜，讓多媒體的開(kāi)發(fā)和管理變得簡(jiǎn)單易用，觸手可及。

它似乎彰顯了這樣一個(gè)理念：多媒體的無(wú)限可能性，本就應(yīng)該是開(kāi)發(fā)者在智能時(shí)代的夢(mèng)工廠。

實(shí)時(shí)+智能：多媒體與開(kāi)發(fā)者的新約會(huì)

要說(shuō)今天有哪位移動(dòng)開(kāi)發(fā)者沒(méi)有研究過(guò)多媒體開(kāi)發(fā)，那估計(jì)是所有人都不信的。

隨著消費(fèi)者“口味”的不斷提升，應(yīng)用的功能集成性不斷增強(qiáng)，今天的APP早已不是簡(jiǎn)單的網(wǎng)頁(yè)流轉(zhuǎn)邏輯。試想一下，無(wú)論是社交、旅行、電商，但凡需要用戶分享和內(nèi)容分發(fā)的APP，在今天肯定都需要視頻，甚至是直播、AR功能的加入。

但相比于圖文來(lái)說(shuō)，視頻、音頻為代表的多媒體開(kāi)發(fā)與管理有著更高的技術(shù)門(mén)檻和開(kāi)發(fā)工作量。尤其隨著短視頻、直播的普及，用戶需要的多媒體玩法也更加復(fù)雜。

整體而言，多媒體開(kāi)發(fā)在今天有兩個(gè)核心發(fā)展趨勢(shì)：一是更加實(shí)時(shí)化，需要快速完成基于視頻的互動(dòng)和體驗(yàn)升級(jí)，滿足用戶的及時(shí)分享與獲取需要，這就需要打破傳統(tǒng)的多媒體分發(fā)邏輯，更加關(guān)注端側(cè)的性能和能耗；二是更加智能，AI給多媒體帶來(lái)了圖像識(shí)別、流媒體超分、語(yǔ)音交互、語(yǔ)音識(shí)別的種種可能，這些智能觸發(fā)點(diǎn)極大提升了開(kāi)發(fā)者的能力邊界，但也要求開(kāi)發(fā)者具備更強(qiáng)的技術(shù)能力。

在實(shí)時(shí)化、智能化的新時(shí)代，開(kāi)發(fā)者與多媒體的約會(huì)雖然美好，但也有諸多挑戰(zhàn)。

比如開(kāi)發(fā)難度進(jìn)一步加大，開(kāi)發(fā)成本更高。很多視頻+AI的開(kāi)發(fā)，需要在傳統(tǒng)管線中加入AI處理技術(shù)，這涉及到諸多數(shù)據(jù)處理能力，對(duì)于開(kāi)發(fā)者來(lái)說(shuō)技術(shù)門(mén)檻很高。

再有，端側(cè)實(shí)時(shí)化的智能視頻開(kāi)發(fā)很可能遇到算力的瓶頸。云端處理會(huì)導(dǎo)致性能欠佳、體驗(yàn)較差，但端側(cè)算力的性能和框架優(yōu)化卻無(wú)法負(fù)載，最終導(dǎo)致很多好的想法付諸東流。

還有一點(diǎn)，給APP添加多媒體功能意味著功耗開(kāi)支的加大。如果多媒體缺乏優(yōu)化能力，會(huì)導(dǎo)致APP功耗過(guò)大，容易發(fā)熱，繼而造成用戶體驗(yàn)的下降。

這些痛點(diǎn)的存在，讓復(fù)雜、創(chuàng)新的多媒體開(kāi)發(fā)經(jīng)常成為工作量大、開(kāi)發(fā)成本大的工作。甚至變成開(kāi)發(fā)者不得不做，但做了之后又占用人力算力過(guò)多，造成開(kāi)發(fā)瓶頸的“雞肋”工作。

那么是不是有什么辦法，可以極大減少開(kāi)發(fā)者在多媒體領(lǐng)域的工作量，并且開(kāi)發(fā)綜合成本極大降低呢？

瞄準(zhǔn)這樣的需求，華為海思團(tuán)隊(duì)在2020年年底開(kāi)始了系統(tǒng)設(shè)計(jì)和相關(guān)調(diào)研，今年年初開(kāi)啟開(kāi)發(fā)。在多媒體、NPU、AI算法等相關(guān)團(tuán)隊(duì)的協(xié)同努力下，最終讓集成了多種多媒體管線技術(shù)，并且能極大壓縮開(kāi)發(fā)工作量的AV Pipeline Kit在7月正式發(fā)布。

開(kāi)發(fā)者的創(chuàng)造力與智能時(shí)代的多媒體升級(jí)，開(kāi)啟了一場(chǎng)新的約會(huì)。

從智能超分到流水線編排：打開(kāi)多媒體管線的驚喜盒

從音頻到視頻，再到多媒體管線的編排管理，AV Pipeline Kit包含了一系列技術(shù)突破與全新的框架搭建思路。換句話說(shuō)，它并不是一種單一的技術(shù)插件，而是把多種新技術(shù)、新配置方案放在一起的驚喜盒。打開(kāi)它，開(kāi)發(fā)者可以找到很多期待已久的禮物。

讓我們通過(guò)幾個(gè)AV Pipeline Kit關(guān)注的重點(diǎn)領(lǐng)域，說(shuō)明其中到底蘊(yùn)藏了哪些驚喜。

首先讓我們來(lái)到“智能+視頻”領(lǐng)域中最常提到的功能：視頻超分。所謂“超分”，可以理解為在視頻播放過(guò)程中進(jìn)行智能識(shí)別與銳度優(yōu)化，從而讓視頻看起來(lái)比原本更清晰、明麗。在大型影視和游戲制作中，超分是一種非常關(guān)鍵的技術(shù)，但那有賴(lài)于云端和服務(wù)器。想要在端側(cè)在線場(chǎng)景中，幫助開(kāi)發(fā)者獲得實(shí)時(shí)化、高性能的超分，就需要從AI技術(shù)到硬件資源調(diào)用的一系列優(yōu)化。

為了幫助開(kāi)發(fā)者便捷獲取真實(shí)可用的逐幀超分能力，實(shí)現(xiàn)超分不卡頓的體驗(yàn)，AV Pipeline Kit首先在機(jī)器視覺(jué)算法上進(jìn)行了一系列技術(shù)突破。比如在AI模型結(jié)構(gòu)上應(yīng)用了卷積神經(jīng)網(wǎng)絡(luò)，提升了復(fù)雜真實(shí)場(chǎng)景的超分效果；在數(shù)據(jù)工程方面，用一系列方法還原了多媒體數(shù)據(jù)的構(gòu)造過(guò)程，提升網(wǎng)絡(luò)的優(yōu)化結(jié)果；在端側(cè)模型壓縮方面，進(jìn)行了新的網(wǎng)絡(luò)小型化探索，確保超分效果可以在端側(cè)場(chǎng)景中被很好地執(zhí)行。

在這一系列的技術(shù)突破后，AV Pipeline Kit可以為開(kāi)發(fā)者帶來(lái)隨時(shí)隨地都能看清的超分效果。通過(guò)調(diào)用NPU提供的專(zhuān)項(xiàng)AI處理算力，AV Pipeline Kit可以實(shí)現(xiàn)最高三倍超分效果，將原始片源的觀看體驗(yàn)極大提升?；诙藗?cè)AI算力和一系列算法優(yōu)化，AV Pipeline Kit在網(wǎng)絡(luò)不均衡的場(chǎng)景下，依舊可以啟動(dòng)超分并達(dá)成相對(duì)一致的體驗(yàn)。在給用戶帶來(lái)智能功能的同時(shí)，還增強(qiáng)了實(shí)時(shí)化的流暢體驗(yàn)。此外，端側(cè)超分技術(shù)的應(yīng)用可以極大降低開(kāi)發(fā)者的服務(wù)器使用成本，提升開(kāi)發(fā)效率。

目前，AV Pipeline Kit已經(jīng)與某大型流媒體APP達(dá)成合作，用戶在網(wǎng)絡(luò)環(huán)境較差的情況下可以依賴(lài)端側(cè)超分，觀看到流暢自然的視頻畫(huà)質(zhì)。

看過(guò)了“視頻+AI”，讓我們?cè)賮?lái)看看音頻領(lǐng)域AV Pipeline Kit帶來(lái)的智能加持?；贏I聲音事件檢測(cè)技術(shù)，開(kāi)發(fā)者可以實(shí)現(xiàn)非常多前所未有的玩法。比如檢測(cè)家中寵物叫聲、檢測(cè)孩子哭聲、按門(mén)鈴聲，然后再添加相應(yīng)的智能服務(wù)。

但AI聲音事件檢測(cè)對(duì)于開(kāi)發(fā)者來(lái)說(shuō)是比較復(fù)雜的技術(shù)，所需的技術(shù)資源與開(kāi)發(fā)經(jīng)驗(yàn)都很多。AV Pipeline Kit將這些功能以文件配置的形式直接帶給開(kāi)發(fā)者，并且其音頻檢測(cè)能力經(jīng)過(guò)華為相關(guān)團(tuán)隊(duì)的長(zhǎng)期深耕，可以確保聲音識(shí)別的準(zhǔn)確與穩(wěn)定。

對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，面對(duì)多媒體任務(wù)管理與配置時(shí)還有個(gè)很大的問(wèn)題，就是相關(guān)的能力非常復(fù)雜，架構(gòu)相對(duì)抽象。這一點(diǎn)讓很多開(kāi)發(fā)者望而卻步，只能應(yīng)用比較簡(jiǎn)單的多媒體功能，以避免在任務(wù)管理中浪費(fèi)大量時(shí)間，甚至引發(fā)兼容問(wèn)題。

但這種方式顯然限制了開(kāi)發(fā)者的想象力。AV Pipeline Kit提出了全新的解決方案，也就是流水線編排的多媒體管線服務(wù)。AV Pipeline Kit基于全新的架構(gòu)梳理，實(shí)現(xiàn)了將不同能力抽象成對(duì)應(yīng)的插件，便于框架進(jìn)行管理。在實(shí)際開(kāi)發(fā)場(chǎng)景中，開(kāi)發(fā)者只需要簡(jiǎn)單配置文件，就可以實(shí)現(xiàn)管理多媒體管線的上下游插件，完成復(fù)雜的管線編排。

形象地理解這種操作方式，就是將多媒體任務(wù)放在同一個(gè)“工廠”的框架下，以工業(yè)流水線的形式實(shí)現(xiàn)對(duì)各種任務(wù)的編排管理。而各種各樣的多媒體能力就成為了流水線上的產(chǎn)品。作為流水線和工廠的主人，開(kāi)發(fā)者獲得了極高的易用程度，降低了多媒體開(kāi)發(fā)的技術(shù)門(mén)檻。

從AI超分技術(shù)的加入，到流水線編排的實(shí)現(xiàn)，AV Pipeline Kit既有新的能力突破，也有原有功能的重新構(gòu)筑，可以說(shuō)將多種開(kāi)發(fā)者急需的能力納入一體，帶來(lái)多樣且統(tǒng)一的驚喜盒。

從宏觀的產(chǎn)業(yè)價(jià)值上看，AV Pipeline Kit又給成為HMS生態(tài)開(kāi)發(fā)者提供了一個(gè)新的契機(jī)與理由。

軟硬件一體，構(gòu)筑HMS的開(kāi)發(fā)夢(mèng)工廠

好萊塢被稱(chēng)為電影的夢(mèng)工廠，不僅是因?yàn)檫@里是大片打造地，更因?yàn)楹萌R塢有各種各樣的產(chǎn)業(yè)鏈、技術(shù)、生態(tài)支撐。在這里，電影人能找到各種所需的硬件、軟件、人才、合作伙伴。最終才能讓那些天才的想法、創(chuàng)造性的點(diǎn)子，變成大熒幕上的真實(shí)夢(mèng)境。

夢(mèng)工廠，從來(lái)都不是一天建造起來(lái)的，而是需要一點(diǎn)點(diǎn)累積和升級(jí)，不斷增加生態(tài)的凝聚力和吸引力。致力于打造移動(dòng)生態(tài)第三極的HMS，當(dāng)然希望成為一座移動(dòng)開(kāi)發(fā)者的夢(mèng)工廠。而HMS Core就肩負(fù)著這座夢(mèng)工廠的技術(shù)差異化。只有在這里可以實(shí)現(xiàn)的技術(shù)可能性越來(lái)越多，真正滿足開(kāi)發(fā)者需求，這個(gè)技術(shù)生態(tài)才有活力可言。

此前，我們已經(jīng)介紹過(guò)HMS Core的很多組成部分。而最新的AV Pipeline Kit則構(gòu)筑了HMS Core 6.0時(shí)代關(guān)于AI和多媒體的巨大驚喜，也成為HMS技術(shù)生態(tài)的重要組成部分。

在AV Pipeline Kit背后，我們可以看到華為在端側(cè)的整體軟硬件布局，不斷發(fā)揮著協(xié)同與整合的優(yōu)勢(shì)。比如為了實(shí)現(xiàn)這個(gè)Kit，就匯集了AI、多媒體、硬件等多個(gè)部門(mén)的協(xié)同合作，才最終讓端側(cè)AI超分這樣的新技術(shù)，與多媒體管理平臺(tái)融為一體。

再向后看，AV Pipeline Kit與更加底層的華為技術(shù)布局保持著深度融合。目前來(lái)看，業(yè)界還沒(méi)有哪個(gè)平臺(tái)或者技術(shù)工具，能夠?qū)崿F(xiàn)端側(cè)化、智能化的多媒體管線服務(wù)。而AV Pipeline Kit能開(kāi)創(chuàng)先河的原因，很大部分來(lái)自軟硬件一體化的協(xié)同優(yōu)勢(shì)。

比如說(shuō)，AV Pipeline Kit就和華為HiAI Foundation平臺(tái)協(xié)同，實(shí)現(xiàn)了芯片底層的免拷貝式接口對(duì)接，與從而節(jié)省了非常多的調(diào)用開(kāi)銷(xiāo)，讓AV Pipeline Kit在華為硬件平臺(tái)上可以實(shí)現(xiàn)更好的開(kāi)發(fā)體驗(yàn)。

再向底層看，業(yè)界部署超分主要以CPU、GPU為主，但NPU可以帶來(lái)更有針對(duì)性優(yōu)化，針對(duì)超分業(yè)務(wù)，NPU可以提供更高算力和更優(yōu)的功耗，提供更好的端側(cè)AI計(jì)算體驗(yàn)。NPU的能力直接助力AV Pipeline Kit，讓端側(cè)超分不僅可以實(shí)現(xiàn)，還可以向更具挑戰(zhàn)性的直播等場(chǎng)景進(jìn)發(fā)。

或許可以說(shuō)，很多HMS Core的組成部分，都在更深層地調(diào)用華為在終端側(cè)硬件、軟件、AI等技術(shù)的協(xié)同與互補(bǔ)優(yōu)勢(shì)，往往能實(shí)現(xiàn)合力創(chuàng)造全新價(jià)值的技術(shù)支點(diǎn)。

這樣的價(jià)值邏輯，將從AV Pipeline Kit延伸到更多的開(kāi)發(fā)者賦能技術(shù)中。開(kāi)發(fā)者們都深知，有技術(shù)才有未來(lái)，有創(chuàng)造性才有市場(chǎng)。AV Pipeline Kit以及HMS生態(tài)，就是帶給他們這樣一份禮物——一個(gè)可以持續(xù)期待，永遠(yuǎn)充滿未來(lái)的驚喜盒；一座能用“技術(shù)打印機(jī)”，把創(chuàng)意變成現(xiàn)實(shí)的夢(mèng)工廠。