社區(qū)的智能守護(hù)者：利用識(shí)別技術(shù)的智能安全系統(tǒng)

智能社區(qū)安全

在討論人類社會(huì)的未來時(shí)，智慧社區(qū)的話題不容忽視。2020年5月，中國(guó)2020年國(guó)務(wù)院政府工作報(bào)告提出，重點(diǎn)支持“兩新一大”類型的智慧社區(qū)。

智慧社區(qū)可以包括新型基礎(chǔ)設(shè)施建設(shè)、新城建設(shè)和交通、水利等重大項(xiàng)目。前兩個(gè)——新基建和新城建設(shè)——以智慧社區(qū)為重點(diǎn)。

智能社區(qū)利用一系列新技術(shù)來改善和促進(jìn)日常生活。除了無(wú)人社區(qū)超市，典型應(yīng)用還包括智能家居系統(tǒng)和自動(dòng)泊車。在這些無(wú)數(shù)的應(yīng)用中，社區(qū)安全系統(tǒng)是最關(guān)鍵的。從鄰里和住宅樓門禁系統(tǒng)到整個(gè)社區(qū)的攝像頭網(wǎng)絡(luò)，智能系統(tǒng)可以代替保安人員執(zhí)行身份識(shí)別、鄰里監(jiān)視、危險(xiǎn)警報(bào)等。

在美國(guó)，CBS 電視劇“疑犯嫌疑人”描繪了一個(gè)由配備強(qiáng)大功能的先進(jìn)人工智能支持的安全系統(tǒng)。安裝在特定城市各處的攝像頭網(wǎng)絡(luò)可能能夠記錄全方位的信息，包括身份、行為甚至人際關(guān)系，而中央大腦會(huì)分析這些信息以確定威脅，甚至對(duì)潛在威脅做出預(yù)測(cè)。當(dāng)然，該劇近乎神明的人工智能系統(tǒng)目前還牢牢停留在科幻領(lǐng)域。但它所描繪的智能安防系統(tǒng)現(xiàn)在正在慢慢變成現(xiàn)實(shí)。在智慧社區(qū)和智慧城市中，智能安防系統(tǒng)可以作為結(jié)合人臉識(shí)別、行為識(shí)別和人類身份識(shí)別的人工智能系統(tǒng)。

人臉識(shí)別技術(shù)

基于計(jì)算機(jī)的面部識(shí)別技術(shù)的研究始于 20 世紀(jì)中葉。最早的努力是在模式識(shí)別上看到的，之后逐漸發(fā)展和完善了用于人臉檢測(cè)、人臉對(duì)齊、人臉屬性識(shí)別、人臉驗(yàn)證和識(shí)別的各種算法。這些技術(shù)現(xiàn)在已經(jīng)廣泛應(yīng)用于日常生活中，包括手機(jī)和相機(jī)上的人臉抓拍軟件、上下班打卡的自動(dòng)人臉識(shí)別，以及新建社區(qū)增加的配備人臉識(shí)別技術(shù)的門禁系統(tǒng)。

人臉檢測(cè)

開發(fā)面部識(shí)別算法的第一步是確定給定圖像或視頻中是否存在面部，并識(shí)別與所述面部相對(duì)應(yīng)的像素范圍。2001年，保羅·維奧拉和邁克爾·瓊斯共同發(fā)明了現(xiàn)在著名的維奧拉·瓊斯目標(biāo)檢測(cè)方法，該方法為后來的人臉檢測(cè)算法提供了基礎(chǔ)。

Viola-Jones 算法包括兩個(gè)部分：特征和分類器。該算法利用人臉的 Haar 特征，對(duì)應(yīng)于由模擬目標(biāo)不同部分之間的明暗關(guān)系的黑白矩形形成的特征。這些特征可用于尋找對(duì)象面部存在的明暗對(duì)比區(qū)域，例如比眼睛亮的鼻梁和通常比其他區(qū)域暗的嘴巴. 這些特征可用于匹配目標(biāo)圖像中的某些候選框，然后通過 AdaBoost 分類器輸出人臉或非人臉標(biāo)簽。值得注意的是，在 Viola-Jones 算法中，多個(gè)分類器被鏈接在一起形成一個(gè)集成分類器。

其他后續(xù)研究也基于特征和分類器解決了這個(gè)問題。在特征方面，今天的安全系統(tǒng)使用其他相對(duì)復(fù)雜的特征來代替Haar特征。這樣一方面可以提高系統(tǒng)的檢測(cè)率，另一方面?？梢愿玫慕鉀Q被攝人臉沒有正對(duì)攝像頭導(dǎo)致檢測(cè)失敗的問題。在分類器方面，可以使用非最大抑制（NMS）方法將位置和大小相似的候選框組合起來，從而大量減少候選框的數(shù)量。相比之下，深度神經(jīng)網(wǎng)絡(luò)可以使用顯卡來執(zhí)行大部分所需的計(jì)算，大大提高了計(jì)算速度。

面部對(duì)齊

因?yàn)闃?biāo)準(zhǔn)化人臉的使用使得包括人臉識(shí)別在內(nèi)的算法的結(jié)果更加穩(wěn)定，所以關(guān)鍵步驟是在稱為人臉對(duì)齊的過程中，通過算法將具有不同角度和分辨率的人臉匹配到標(biāo)準(zhǔn)位置。從這個(gè)角度來看，所有人臉都可以看作是標(biāo)準(zhǔn)人臉仿射變換（縮放、旋轉(zhuǎn)和平移）的結(jié)果，而人臉對(duì)齊算法的目標(biāo)是基于目標(biāo)人臉的特征點(diǎn)來反轉(zhuǎn)該變換過程。

計(jì)算機(jī)科學(xué)家最初定義了 68 個(gè)特征點(diǎn)，可以大致捕捉人臉的主要特征。開發(fā)此類算法的典型方法是讓計(jì)算機(jī)學(xué)習(xí)如何使用這些特征點(diǎn)將標(biāo)準(zhǔn)人臉圖像逐步轉(zhuǎn)換為真實(shí)圖像。標(biāo)準(zhǔn)人臉圖像到真實(shí)人臉圖像的映射是通過訓(xùn)練一系列回歸器實(shí)現(xiàn)的，這樣每個(gè)回歸器都能學(xué)習(xí)一部分轉(zhuǎn)換后的信息。

人臉屬性識(shí)別

人臉屬性包括性別、種族、年齡、表情等，準(zhǔn)確區(qū)分這些屬性可以更好地判斷主體的偏好和心理狀態(tài)。一旦進(jìn)行了人臉檢測(cè)和對(duì)齊，人臉屬性識(shí)別就相對(duì)簡(jiǎn)單了。它本質(zhì)上是借助大數(shù)據(jù)進(jìn)行圖像分類和回歸。

2015年，微軟開發(fā)了一款年齡預(yù)測(cè)應(yīng)用程序（how-old.net），可以根據(jù)用戶的圖像對(duì)照片中的人進(jìn)行年齡預(yù)測(cè)。在這個(gè)系統(tǒng)中，人臉首先被圈起來。然后提取的特征向量通過分類器分配性別標(biāo)簽，之后使用年齡回歸分析器獲得相應(yīng)的年齡數(shù)據(jù)。當(dāng)利用深度神經(jīng)網(wǎng)絡(luò)時(shí)，可以將特征提取和分類回歸集成到一個(gè)算法中，同時(shí)實(shí)現(xiàn)多個(gè)屬性的實(shí)時(shí)預(yù)測(cè)。同樣，面部表情可以分類并進(jìn)行回歸。然后它們可以用于智能家居控制系統(tǒng)和安全系統(tǒng)，以便在發(fā)生危險(xiǎn)時(shí)，可以在眨眼間發(fā)出警報(bào)。

面部驗(yàn)證和識(shí)別

使用上述算法，可以在稱為面部驗(yàn)證的過程中確定兩張圖片是否為同一個(gè)人。推而廣之，對(duì)于任何面部圖像輸入，計(jì)算機(jī)都可以在數(shù)據(jù)庫(kù)中匹配相關(guān)人員的數(shù)據(jù)，并在稱為面部識(shí)別的過程中輸出他或她的身份信息和屬性信息（圖 1）。

該算法的速度對(duì)于確保流暢的用戶體驗(yàn)至關(guān)重要，因?yàn)樾枰獙⑤斎雸D像與數(shù)據(jù)庫(kù)中包含的大量圖像進(jìn)行比較。一種解決方案是從每個(gè)目標(biāo)圖像中提取特征。一種這樣的方法是主成分分析 (PCA)，這是一種從檢測(cè)到的面部選擇框中獲得面部特定特征的過程，之后使用相關(guān)性分析來獲得最接近的信息匹配。另一個(gè)重要特征是尺度不變特征變換 (SIFT)，它可以高精度地匹配圖像中的特征點(diǎn)，即使圖像已經(jīng)過旋轉(zhuǎn)、縮放，甚至在使用不同相機(jī)時(shí)分辨率發(fā)生變化。

在不同的光照條件下或通過不同的媒體呈現(xiàn)時(shí)，人臉看起來會(huì)有所不同。直接特征提取可能無(wú)法滿足所有面部識(shí)別場(chǎng)景的需求，因此將目標(biāo)面部特征與光照數(shù)據(jù)等信息解耦至關(guān)重要。完善的局部二進(jìn)制模式 (LBP) 算法可用于刪除光照信息。在 LBP 中，每個(gè)像素與其相鄰像素進(jìn)行比較，然后保留整個(gè)圖像中像素之間的大小關(guān)系，但刪除它們的特定值。這樣，面部特征仍然保留，同時(shí)消除了由光照或紋理引起的像素偏移。Disentangled representation是近年來發(fā)展起來的一種新技術(shù)，

行為識(shí)別與識(shí)別技術(shù)

除了人臉識(shí)別技術(shù)，行為識(shí)別與識(shí)別也是智能安防系統(tǒng)的重要組成部分。具體而言，行為識(shí)別是指對(duì)視頻中的人所執(zhí)行的行為進(jìn)行分類。相比之下，身份識(shí)別是指基于攝像頭網(wǎng)絡(luò)識(shí)別同一個(gè)人，之后確定他們的移動(dòng)軌跡，并評(píng)估他們的意圖是否可疑。結(jié)合身份識(shí)別和行為識(shí)別，我們可以更好地確定給定視頻中主體的動(dòng)作狀態(tài)。

行為識(shí)別

最初，行為識(shí)別被視為圖像分類的一個(gè)特例。分類目標(biāo)從圖像變?yōu)橐曨l，并且動(dòng)作受分類而不是對(duì)象和面部。視頻作為智能安防系統(tǒng)的主要存儲(chǔ)介質(zhì)，可以看作是多幅圖像的組合，因此圖像分類方法（如深度學(xué)習(xí)算法）可以直接用于行為識(shí)別（圖2 ）). 然而，由于主體行為固有的時(shí)間特性，相關(guān)的時(shí)間特征也可以提高準(zhǔn)確性。光流是一種應(yīng)用于視頻的特征，它標(biāo)記圖像的兩個(gè)連續(xù)幀之間對(duì)應(yīng)點(diǎn)的變化路徑。當(dāng)屬于多個(gè)連續(xù)幀的對(duì)應(yīng)點(diǎn)及其周圍的像素信息被編碼成單個(gè)特征時(shí)，就形成了視頻軌跡。多個(gè)軌跡的組合提供了行為信息的良好表示。

近年來，深度學(xué)習(xí)算法在行為識(shí)別領(lǐng)域取得了長(zhǎng)足的進(jìn)步。香港中文大學(xué)計(jì)算機(jī)科學(xué)家提出的時(shí)間段網(wǎng)絡(luò)（TSN）算法提高了行為識(shí)別的準(zhǔn)確性。在 TSN 算法中，同時(shí)使用原始視頻和相應(yīng)的光流圖來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，從而允許單個(gè)模型對(duì)外觀信息和動(dòng)態(tài)信息進(jìn)行編碼。此外，同一視頻被隨機(jī)采樣以構(gòu)建多個(gè)組合，以便也可以識(shí)別同一動(dòng)作的不同速度。除了以TSN為例的一類算法，新加坡南洋理工大學(xué)還發(fā)布了一個(gè)大型標(biāo)簽行為識(shí)別數(shù)據(jù)庫(kù)（NTU RGB+D），其中包含醫(yī)院和療養(yǎng)院常見的幾種動(dòng)作（例如坐下、躺下和跌倒）。使用這些算法和數(shù)據(jù)訓(xùn)練的行為識(shí)別系統(tǒng)非常適合對(duì)關(guān)鍵人物和區(qū)域進(jìn)行監(jiān)控。

身份識(shí)別

用于識(shí)別的特征可以是包羅萬(wàn)象的，包括面部特征、身體特征、姿勢(shì)特征、運(yùn)動(dòng)特征、服裝特征等。由于相機(jī)分辨率的限制，面部特征只能作為身份識(shí)別的輔助手段。相比之下，姿勢(shì)、動(dòng)作、服裝等較大的特征被用作主要特征，服裝特征占據(jù)較大份額，作為類似于人眼的識(shí)別過程的一部分。因此，構(gòu)建身份識(shí)別算法的關(guān)鍵在于如何最好地利用多個(gè)特征。

深度學(xué)習(xí)算法仍然發(fā)揮著重要作用。它們?cè)试S深度神經(jīng)網(wǎng)絡(luò)通過大量數(shù)據(jù)的輸入自動(dòng)提取特征并為不同的特征分配不同的權(quán)重。同時(shí)，他們還訓(xùn)練了多個(gè)分類器來沿著不同的維度做出判斷。具體來說，身份識(shí)別算法結(jié)合了幾個(gè)組合目標(biāo)，包括外觀分類（服裝、背包、吊墜等）、體型分類（男性/女性、身高等）和成分分類（手臂、腿、軀干、等），最終結(jié)果是多個(gè)分類器的加權(quán)組合。近年來，為了同時(shí)放大不同個(gè)體之間的區(qū)別并減少同一個(gè)體不同場(chǎng)景之間的區(qū)別，

技術(shù)挑戰(zhàn)與展望

人臉識(shí)別和身份行為識(shí)別在安防系統(tǒng)應(yīng)用中都具有很大的優(yōu)勢(shì)。最重要的是，計(jì)算機(jī)可以完成人類無(wú)法實(shí)現(xiàn)的 24 小時(shí)全天候監(jiān)控，并且覆蓋范圍的擴(kuò)大提高了整個(gè)系統(tǒng)的安全性。其次，強(qiáng)大的計(jì)算機(jī)可以快速處理大量數(shù)據(jù)，大大提高識(shí)別安全隱患的速度。此外，所使用的信息是外部信息（例如面孔、動(dòng)作和衣服），不僅易于訪問，而且還允許在主體不知情的情況下進(jìn)行全面的監(jiān)控和分析。然而，雖然具有上述功能的智能攝像頭開始在一些公共場(chǎng)所和社區(qū)中使用，但在實(shí)現(xiàn)大規(guī)模部署之前，仍需要解決一些技術(shù)挑戰(zhàn)。

系統(tǒng)健壯性

在人臉識(shí)別中，人臉經(jīng)常被眼鏡、墨鏡、口罩等遮擋，在行為和身份識(shí)別中，有時(shí)會(huì)遮擋四肢。這些問題對(duì)算法提出了重大挑戰(zhàn)。雖然某些照明問題可以通過解耦算法部分解決，但某些條件（例如黑暗環(huán)境或具有不同分辨率的相機(jī)）仍然會(huì)影響算法的準(zhǔn)確性。此外，看起來相似的面孔、著裝和動(dòng)作相似的人以及面部和動(dòng)作特征隨時(shí)間的變化都會(huì)導(dǎo)致識(shí)別不準(zhǔn)確。

數(shù)據(jù)范圍及反饋速度

從理論上講，數(shù)據(jù)量越大，可以對(duì)計(jì)算機(jī)進(jìn)行更全面的訓(xùn)練。然而在現(xiàn)實(shí)中，人臉、行為和身份識(shí)別數(shù)據(jù)集可能非常龐大，只有經(jīng)過人工標(biāo)記后才能用于訓(xùn)練機(jī)器學(xué)習(xí)算法。因此，僅標(biāo)記一項(xiàng)就需要大量的人力投資。另一方面，一旦部署了安全系統(tǒng)，計(jì)算機(jī)每秒需要處理大量新數(shù)據(jù)，這會(huì)減慢反饋速度。在安全系統(tǒng)中，計(jì)算機(jī)還需要從數(shù)據(jù)中提取關(guān)鍵特征和信息并進(jìn)行綜合，以獲得更復(fù)雜的結(jié)果（圖3 ）). 目前，算法仍然只負(fù)責(zé)特定的功能，例如人臉檢測(cè)和行為識(shí)別。未來，當(dāng)數(shù)據(jù)集規(guī)模和計(jì)算能力達(dá)到一定水平時(shí)，需要新的算法從多角度綜合信息，快速反饋給安全管理者。

圖 3：安全系統(tǒng)需要從數(shù)據(jù)中提取關(guān)鍵特征和信息并對(duì)其進(jìn)行綜合以獲得更復(fù)雜的結(jié)果。（來源：MONOPOLY919/Shutterstock.com）

數(shù)據(jù)和算法安全

安全系統(tǒng)本身的安全性能是評(píng)價(jià)此類系統(tǒng)的重要標(biāo)準(zhǔn)。然而，在互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)安全仍然是一個(gè)巨大的挑戰(zhàn)。由于社交媒體的流行，幾乎每個(gè)人的面部數(shù)據(jù)和身份信息都可以在線獲取。一旦這些信息與成像技術(shù)甚至 3D 打印相結(jié)合，面部識(shí)別系統(tǒng)可能會(huì)受到損害。例如，一些研究人員現(xiàn)在專注于如何將真假面部識(shí)別納入面部識(shí)別系統(tǒng)，以防范此類潛在的安全威脅。

其他算法也在不斷升級(jí)，對(duì)現(xiàn)有的識(shí)別技術(shù)提出了新的挑戰(zhàn)。例如，近年來，生成對(duì)抗網(wǎng)絡(luò)已經(jīng)生成了真實(shí)人臉的圖像，甚至帶有自動(dòng)換臉功能的視頻也變得司空見慣。這些生成的人臉甚至可以騙過現(xiàn)有的人臉識(shí)別系統(tǒng)。此外，最近的一篇論文表明，如果對(duì)身份識(shí)別系統(tǒng)進(jìn)行干擾，則可以修改算法的身份匹配結(jié)果，使其不反映現(xiàn)實(shí)。犯罪分子甚至可以干擾算法以逃避系統(tǒng)的跟蹤。

結(jié)論

上面我們已經(jīng)表明，新算法的開發(fā)仍然是實(shí)現(xiàn)智能社區(qū)智能安全系統(tǒng)的先決條件。除了提高現(xiàn)有算法對(duì)大規(guī)模數(shù)據(jù)處理的魯棒性外，還需要逐步引入新型數(shù)據(jù)和算法保護(hù)機(jī)制，以應(yīng)對(duì)新的挑戰(zhàn)和需求。計(jì)算機(jī)科學(xué)家仍在不斷努力克服這些困難?；谙∈璞砬闃?gòu)建的人臉識(shí)別系統(tǒng)可以識(shí)別不同遮蓋條件下的人臉，提高了人臉識(shí)別算法處理特殊環(huán)境數(shù)據(jù)的能力。在訓(xùn)練識(shí)別算法時(shí)，可以引入生成對(duì)抗網(wǎng)絡(luò)和遷移學(xué)習(xí)等學(xué)習(xí)機(jī)制，以在部署時(shí)利用容器技術(shù)和聯(lián)邦學(xué)習(xí)。這不僅可以讓算法執(zhí)行識(shí)別任務(wù)，還可以讓算法區(qū)分不同的數(shù)據(jù)源和惡意攻擊，從而更好地保護(hù)系統(tǒng)的數(shù)據(jù)和算法。未來，隨著算法在這些領(lǐng)域不斷迭代改進(jìn)，更先進(jìn)的自動(dòng)識(shí)別技術(shù)將成為智慧社區(qū)和智慧城市不可或缺的組成部分。數(shù)據(jù)和算法。未來，隨著算法在這些領(lǐng)域不斷迭代改進(jìn)，更先進(jìn)的自動(dòng)識(shí)別技術(shù)將成為智慧社區(qū)和智慧城市不可或缺的組成部分。數(shù)據(jù)和算法。未來，隨著算法在這些領(lǐng)域不斷迭代改進(jìn)，更先進(jìn)的自動(dòng)識(shí)別技術(shù)將成為智慧社區(qū)和智慧城市不可或缺的組成部分。

王東剛是悉尼大學(xué)的在讀博士。他的研究涉及醫(yī)學(xué)影像、人工智能、神經(jīng)科學(xué)和視頻分析，一直致力于將機(jī)器學(xué)習(xí)技術(shù)應(yīng)用到日常生活中。曾在CVPR、ECCV等國(guó)際頂級(jí)會(huì)議發(fā)表論文，擔(dān)任IEEE Transactions on Circuits and Systems for Video Technology、IEEE Transactions on Multimedia等期刊和AAAI、ICML等會(huì)議的審稿人。他在開發(fā)機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺算法方面經(jīng)驗(yàn)豐富。與中國(guó)、美國(guó)、澳大利亞的公司和機(jī)構(gòu)合作項(xiàng)目包括多視角動(dòng)作識(shí)別、基于監(jiān)控視頻的道路管理、腦CT自動(dòng)分診系統(tǒng)等。

審核編輯hhy