1. 視頻監(jiān)控系統(tǒng)的現(xiàn)狀

　　視頻監(jiān)控系統(tǒng)從最初的模擬閉路電視監(jiān)控開始，經(jīng)歷了數(shù)字化，網(wǎng)絡(luò)化的發(fā)展，正在向分布式、智能化的方向邁進(jìn)。視頻壓縮技術(shù)的發(fā)展促進(jìn)了視頻監(jiān)控系統(tǒng)的數(shù)字化，節(jié)約了大量的存儲空間。計算機(jī)網(wǎng)絡(luò)的普及和帶寬的增加使得城域網(wǎng)視頻監(jiān)控成為現(xiàn)實(shí)。

　　當(dāng)前，除了CMU和MIT，奧地利Graz理工大學(xué)的嵌入式智能攝像機(jī)研究組，IBM的S3(Smart Surveillance System)項(xiàng)目組，Intel的IRISNET(Internet-scale, Resource-intensive Sensor Network Services)項(xiàng)目組等，分別在分布式智能監(jiān)控系統(tǒng)的不同領(lǐng)域處于領(lǐng)先地位。Object Video， Hisign，3VR等公司率先實(shí)現(xiàn)了智能視頻監(jiān)控的工業(yè)應(yīng)用。在國內(nèi)，中科院自動化所，清華大學(xué)電子工程系和自動化系等處于研究的前列。

　　2.智能視頻監(jiān)控系統(tǒng)的技術(shù)背景簡介

　　智能視頻監(jiān)控的核心內(nèi)容之一是對特定目標(biāo)的自動跟蹤。目標(biāo)跟蹤可分為5個步驟，包括運(yùn)動檢測、目標(biāo)分類、目標(biāo)(類型)跟蹤、行為分析和目標(biāo)(個體)跟蹤。例如對人體的跟蹤：首先從實(shí)時圖像序列(即視頻)中檢測出運(yùn)動物體，再判定運(yùn)動物體中的人體，然后跟蹤人體的運(yùn)動軌跡，并分析和選定有異常行為的人，如在車站，機(jī)場等遺留包裹的人，最后對行為異常的人進(jìn)行持續(xù)跟蹤。

　　運(yùn)動檢測是從圖像序列中將變化區(qū)域從背景圖像中提取出來。運(yùn)動區(qū)域的有效分割將大大減少后繼過程的運(yùn)算量。然而，背景圖像的不穩(wěn)定性，如陰影，光照，慢移動(如蝸牛的爬行)，靜移動(樹葉的擺動)等等，也使得運(yùn)動檢測非常困難。

　　視頻監(jiān)控系統(tǒng)中的運(yùn)動檢測有兩種不同的實(shí)現(xiàn)途徑，一種是直接利用視頻壓縮算法的中間結(jié)果，比如ADI的第三方合作伙伴利用MPEG 4和H.264編碼過程中的運(yùn)動向量，在Blackfin處理器上同步實(shí)現(xiàn)了運(yùn)動檢測和視頻壓縮。另外一種是獨(dú)立于視頻編碼的方法。

　　運(yùn)動檢測算法可按照不同分類標(biāo)準(zhǔn)分為多種。中科院自動化所把運(yùn)動檢測算法歸納為三種：背景消除法，時間差分法，光流法。背景消除法和時間差分法都可以看作是差分圖像法。背景消除法是目前運(yùn)動分割中最常用的一種方法，它利用當(dāng)前圖像與背景圖像的差分來檢測出運(yùn)動區(qū)域。時間差分方法是在連續(xù)的圖像序列中兩個或三個相鄰幀間采用基于像素的時間差分并且閾值化來提取出圖像中的運(yùn)動區(qū)域。基于光流方法的運(yùn)動檢測采用了運(yùn)動目標(biāo)隨時間變化的光流特性，通過計算位移向量光流場來初始化基于輪廓的跟蹤算法，從而有效地提取和跟蹤運(yùn)動目標(biāo)。該方法的優(yōu)點(diǎn)是在攝像機(jī)運(yùn)動的情況下也能檢測出獨(dú)立的運(yùn)動目標(biāo)。

　　目標(biāo)分類的目的是從檢測到的運(yùn)動區(qū)域中將特定類型物體的運(yùn)動區(qū)域提取出來。根據(jù)利用的信息的不同，目標(biāo)分類可以分為基于運(yùn)動特性的分類和基于形狀信息的分類兩種方法。基于運(yùn)動特性的識別利用目標(biāo)運(yùn)動的周期性進(jìn)行識別，受顏色、光照的影響較小。基于形狀信息的識別利用檢測出的運(yùn)動區(qū)域的形狀特征與模板或者統(tǒng)計量進(jìn)行匹配。

　　目標(biāo)跟蹤是在連續(xù)的圖像幀間創(chuàng)建基于位置、速度、形狀、紋理、色彩等有關(guān)特征的對應(yīng)匹配。依據(jù)不同的跟蹤方法可分為基于模型的跟蹤、基于區(qū)域的跟蹤、基于活動輪廓的跟蹤、基于特征的跟蹤等。

　　聯(lián)合目標(biāo)跟蹤與分類(JTC)技術(shù)是信息融合領(lǐng)域新興的一個研究方向。其基本思想是，通過在目標(biāo)跟蹤器和目標(biāo)分類器之間進(jìn)行雙向信息交互，來同時有效地提高目標(biāo)的跟蹤精度和分類性能。

　　在特定情況下需要對跟蹤目標(biāo)從類型細(xì)化到個體。這需要對目標(biāo)的行為進(jìn)行分析和理解。行為理解的關(guān)鍵問題是如何從學(xué)習(xí)樣本中獲取參考行為序列，并且學(xué)習(xí)和匹配的行為序列必須能夠處理在相似的運(yùn)動模式類別中空間和時間尺度上輕微的特征變化。

　　3. 智能視頻監(jiān)控系統(tǒng)實(shí)施的難點(diǎn)和Blackfin的優(yōu)勢

　　盡管已經(jīng)取得了巨大進(jìn)展，智能視頻分析領(lǐng)域仍然沒有公認(rèn)的最優(yōu)方法。其自身研究內(nèi)容的復(fù)雜性，使得研究方法和工具多樣，算法復(fù)雜度高，適用范圍有限，沒有魯棒性、準(zhǔn)確度、速度都符合需求的普遍方法。同時，視頻監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化和分布式處理的要求，以及大規(guī)模工程安裝對成本、體積和功耗的限制，使得運(yùn)算能力和帶寬都在不斷提高的嵌入式處理器成為視頻監(jiān)控系統(tǒng)的主流選擇。而非標(biāo)準(zhǔn)化的智能視頻分析，正是DSP的用武之地。

　　Blackfin處理器是ADI與INTEL聯(lián)合研制的會聚式處理器，它的MSA(Micro Signal Architecture)架構(gòu)兼具MCU的控制能力和DSP的高速運(yùn)算能力。MCU和DSP融入同一個內(nèi)核，只需要同一套開發(fā)工具和同一套指令集。與DSP加ARM的芯片架構(gòu)相比，具有軟硬件實(shí)現(xiàn)簡單的優(yōu)勢。Blackfin支持ThreadX，Nucleus，uCOS-II，uCLinux等十多種嵌入式操作系統(tǒng)，為客戶提供熟悉的軟件架構(gòu)基礎(chǔ)。Blackfin為高強(qiáng)度，高數(shù)據(jù)率的數(shù)字和媒體處理做了專門優(yōu)化，是理想的視頻處理器，而且具有極高的性價比。它的低功耗特性非常適合外殼體積小的IP攝像頭產(chǎn)品。

　　Blackfin的幾十個DMA通道和可靈活配置的Cache很好地滿足了視頻監(jiān)控系統(tǒng)對大運(yùn)算量，高數(shù)據(jù)吞吐率的要求。十級流水線使得Blackfin有很強(qiáng)的指令并行執(zhí)行能力。零開銷循環(huán)控制指令讓系統(tǒng)中的大量循環(huán)跳轉(zhuǎn)不再消耗任何處理器的時鐘周期。利用這些優(yōu)勢，real解碼器的idct4×4算法在Blackfin上速度提高了7倍。

　　頻數(shù)據(jù)有其自身的特性。在不同顏色空間，表示象素的每個分量通常都是8位寬度。Blackfin的4個視頻算術(shù)運(yùn)算單元和視頻象素指令集大大加速了視頻運(yùn)算速度。一條視頻象素操作指令可以在一周期之內(nèi)完成4對視頻數(shù)據(jù)分量的加法運(yùn)算，減法運(yùn)算，加減混合運(yùn)算，取平均值，或者相減并求絕對值等11種視頻象素運(yùn)算。這些運(yùn)算在編解碼算法中的運(yùn)動估計、loop filter和智能視頻分析的各種算法中大量應(yīng)用。在智能視頻分析的一些基礎(chǔ)算子中，例如直方圖統(tǒng)計，中值運(yùn)算，Sobel運(yùn)算，形態(tài)學(xué)中的膨脹運(yùn)算等都可以利用Blackfin的MIN, MAX指令來消除條件跳轉(zhuǎn)，節(jié)省處理器周期。不僅如此，Blackfin還支持13種非視頻數(shù)據(jù)的向量運(yùn)算。適當(dāng)設(shè)計數(shù)據(jù)結(jié)構(gòu)，在前背景分離，閾值計算和更新等多個環(huán)節(jié)都可以運(yùn)用Blackfin的特色指令讓智能視頻分析算法更迅捷。這些本身就很有效的指令中，大部分指令都能夠并行執(zhí)行，使得Blackfin的處理能力再加倍。

　　4.智能視頻監(jiān)控系統(tǒng)的實(shí)例

　　清華大學(xué)自動控制系在視覺分析領(lǐng)域有長期的研究和積累。結(jié)合ADI的優(yōu)勢，雙方在Blackfin BF561雙核處理器上實(shí)現(xiàn)了智能視頻監(jiān)控系統(tǒng)。ADI提供高質(zhì)量高性能的H.264編碼算法，清華大學(xué)自動控制系則在BF561上實(shí)現(xiàn)了自動跟蹤算法。系統(tǒng)框圖如圖1所示。

?

　　圖1：基于BF561的智能監(jiān)控終端框圖

　　H.264編碼算法模塊是ADI為Blackfin客戶提供的免費(fèi)軟件模塊之一，目前已經(jīng)有基于BF53x和BF561兩個系列的芯片的實(shí)現(xiàn)。它支持完全動態(tài)的參數(shù)配置，用戶可在系統(tǒng)運(yùn)行時根據(jù)場景和網(wǎng)絡(luò)帶寬的變化改變編碼的碼率、幀率、關(guān)鍵幀間隔、量化值等等。從80KBb的CDMA網(wǎng)絡(luò)到3Mb的DVR系統(tǒng)都能使用同一套函數(shù)庫達(dá)到理想的編碼質(zhì)量。具有很強(qiáng)的適應(yīng)性和靈活性。

　　清華大學(xué)自動控制系的智能跟蹤算法采用單高斯背景建模的背景減除方法進(jìn)行運(yùn)動檢測，在目標(biāo)分類階段，結(jié)合了基于運(yùn)動特性的分類和基于形狀信息的分類兩種方法，利用人體、車輛的長寬比例、梯度直方圖和運(yùn)動周期性等對運(yùn)動物體進(jìn)行分類。在對同類目標(biāo)跟蹤時，采用基于區(qū)域的算法，判斷連續(xù)的各幀之間運(yùn)動物體的質(zhì)心位移方向和距離?；谏鲜鋈齻€階段的算法，系統(tǒng)還能實(shí)現(xiàn)人群跟蹤，入侵檢測，人、車數(shù)量統(tǒng)計，遺留物體檢測，攝像頭非法遮擋和移位報警等功能。

　　系統(tǒng)中，BF561的Core A用于實(shí)現(xiàn)H.264編碼算法，Core B用于智能視頻分析。Core A上同時運(yùn)行uCos II操作系統(tǒng)以及RTP和TCP/IP協(xié)議棧。YUV4:2:2視頻幀通過PPI(并行外設(shè)接口)以DMA的方式傳送到SDRAM緩沖區(qū)。Core A和Core B共享幀緩沖區(qū)。Core B首先啟動memory DMA把視頻幀的Y(亮度)分量傳送到Core B的片內(nèi)存儲區(qū)L1 SRAM的行緩沖區(qū)內(nèi)。Core B對行緩沖區(qū)內(nèi)的Y分量進(jìn)行背景建模和后繼的運(yùn)動檢測及目標(biāo)跟蹤。如果可視區(qū)域內(nèi)出現(xiàn)指定類型的物體，Core B向Core A發(fā)送一個中斷信號，Core A可以通過UART接口向本地控制臺發(fā)送告警信息，或者通過網(wǎng)絡(luò)接口向遠(yuǎn)程控制臺發(fā)送告警信息;Core B還可以修改幀緩沖區(qū)，給目標(biāo)加矩形邊框以標(biāo)識目標(biāo)。Core A也通過一個memory DMA接收來自幀緩沖區(qū)的視頻亮度和色度數(shù)據(jù)。編碼器對Core B處理后的幀緩沖區(qū)進(jìn)行編碼。同時系統(tǒng)也可以通過另外一個PPI接口輸出經(jīng)Core B修改后的幀緩沖區(qū)，實(shí)時顯示跟蹤結(jié)果。目標(biāo)跟蹤算法是實(shí)時的，因此不會造成編碼的延時。在未檢測到運(yùn)動物體時，編碼器可以工作在低碼率或低幀率狀態(tài)下，甚至不編碼。一旦檢測到指定類型的運(yùn)動物體，編碼器即恢復(fù)正常工作，把壓縮碼流和對應(yīng)時間通過以太網(wǎng)接口上傳到管理系統(tǒng)。這樣既能節(jié)約存儲空間，又能方便事后對視頻錄像的檢索。

　　該系統(tǒng)還可以通過UART或者以太網(wǎng)接口設(shè)定監(jiān)控區(qū)域邊界，用以標(biāo)識入侵檢測的監(jiān)視范圍。當(dāng)有運(yùn)動物體越過邊界時，系統(tǒng)立即向控制臺報警?？刂婆_還可以向該智能監(jiān)控終端發(fā)送指令改變它所執(zhí)行的功能，從智能跟蹤，到入侵檢測，再到遺留物體檢測或者清點(diǎn)人數(shù)等等，自由切換。沒有Blackfin強(qiáng)大的處理能力和靈活性，在一個嵌入式處理器里實(shí)現(xiàn)如此復(fù)雜而眾多的功能幾乎是不可想象的。

　　5.智能視頻監(jiān)控的發(fā)展趨勢

　　這個系統(tǒng)中融合了多種先進(jìn)監(jiān)控技術(shù)。音視頻結(jié)合，視覺成像和非視覺成像結(jié)合，目標(biāo)跟蹤和行為分析、特征識別相結(jié)合的全連通的智能視頻監(jiān)控系統(tǒng)將是未來安防系統(tǒng)的趨勢。其中的各項(xiàng)技術(shù)都已經(jīng)分別得到了相當(dāng)?shù)陌l(fā)展。Blackfin在紅外攝像頭，相控陣麥克風(fēng)等方面已有許多應(yīng)用。而更準(zhǔn)確，更快速，更魯棒的智能視覺分析算法仍然是一個難點(diǎn)。