音視頻同步是我們觀看視頻的一個(gè)基本體驗(yàn)，尤其對(duì)于視頻畫面中能看到聲源動(dòng)作（如：嘴型）的場(chǎng)景，音視頻同步問(wèn)題非常影響體驗(yàn)。

在短視頻與直播APP中，采集端作為音視頻的生產(chǎn)者，如果采集端產(chǎn)生的音視頻源本身就無(wú)法保證同步，那么后面不管經(jīng)過(guò)什么處理，都很難再讓用戶看到音視頻同步的畫面了，因此，在采集端保證音視頻同步上尤其重要。

那么如何保證app在各種正常/非正常狀況下盡量保證輸出同步的音視頻？本文就是講述我們是如何解決上述問(wèn)題的。

音視頻同步的原理

音視頻采集的數(shù)據(jù)分別來(lái)自于麥克風(fēng)與攝像頭，而攝像頭與麥克風(fēng)其實(shí)是兩個(gè)獨(dú)立的硬件，而音視頻同步的原理是相信攝像頭與麥克風(fēng)采集數(shù)據(jù)是實(shí)時(shí)的，并在采集到數(shù)據(jù)時(shí)給他們一個(gè)時(shí)間戳來(lái)標(biāo)明數(shù)據(jù)所屬的時(shí)間，而編碼封裝模塊只要不改動(dòng)音視頻時(shí)間的相對(duì)關(guān)系就能保證音頻與視頻在時(shí)間上的對(duì)應(yīng)。如此封裝好數(shù)據(jù)之后，播放端就能夠根據(jù)音視頻的時(shí)間戳來(lái)播放對(duì)應(yīng)的音視頻，從實(shí)現(xiàn)音視頻同步的效果。

時(shí)間戳參考標(biāo)準(zhǔn)

取格林威治時(shí)間做為對(duì)比標(biāo)準(zhǔn)，即音視頻時(shí)間戳都為采集時(shí)間點(diǎn)相對(duì)于格林威治標(biāo)準(zhǔn)時(shí)間的時(shí)間差；

取系統(tǒng)開(kāi)機(jī)時(shí)間做為對(duì)比標(biāo)準(zhǔn)，即音視頻時(shí)間戳都是采集時(shí)間點(diǎn)相對(duì)于手機(jī)開(kāi)機(jī)時(shí)間的時(shí)間差。目前iOS上AVCaptureSession這套API就是參考這個(gè)時(shí)間標(biāo)準(zhǔn)給的時(shí)間戳。

其它時(shí)間戳標(biāo)準(zhǔn)

基于“開(kāi)源項(xiàng)目1”的音視頻同步探討

原生某開(kāi)源框架

如圖：

簡(jiǎn)介

音/視頻被采集到之后會(huì)先經(jīng)過(guò)音/視頻處理模塊，音/視頻在被處理之后才進(jìn)入計(jì)算時(shí)間戳的模塊。

在第一幀到達(dá)時(shí)記一個(gè)計(jì)時(shí)起點(diǎn)，然后根據(jù)采集的幀間隔對(duì)接下來(lái)每一幀的時(shí)間戳進(jìn)行計(jì)算：frameTimeStamp = lastFrameTimeStamp + frameDuration。

優(yōu)點(diǎn)

能輸出frame duration穩(wěn)定的音視頻時(shí)間戳。

風(fēng)險(xiǎn)

無(wú)論是音頻還是視頻，在手機(jī)過(guò)熱、性能不足等極端情況下有可能出現(xiàn)采集不穩(wěn)定的情況，比如說(shuō)預(yù)計(jì)1s采集30幀，實(shí)際只采集到28幀，而音視頻的時(shí)間戳是通過(guò)累加來(lái)計(jì)算的，這樣就有會(huì)出現(xiàn)音視頻不同步的情況。

Video Process（人臉檢測(cè)、濾鏡、3D貼紙）有可能無(wú)法在一幀時(shí)間內(nèi)處理完當(dāng)前幀，這樣就會(huì)出現(xiàn)幀數(shù)比預(yù)期低的情況，從而出現(xiàn)音視頻不同步。

幀間隔涉及到無(wú)限小數(shù)時(shí)，因?yàn)橛?jì)算機(jī)的精度有限會(huì)引發(fā)的時(shí)間戳偏移，此偏移會(huì)隨著幀數(shù)的增加而逐漸被放大。

基于開(kāi)源項(xiàng)目1的改進(jìn)方案1

如圖：

時(shí)間戳的獲取方法非常直接——每一幀都在改幀進(jìn)入時(shí)間戳計(jì)算模塊時(shí)獲取當(dāng)前系統(tǒng)時(shí)間作為時(shí)間戳。