在如今的智能化時代,不管是工業(yè)車間里的機器人、家里的掃地機器人,還是AR眼鏡、自動駕駛汽車,都需要一雙能“看懂”三維世界的“眼睛”——雙目深度相機就是這樣一款設(shè)備??赡苡腥藭?,這東西到底是啥?其實說通俗點,它就像給機器裝了一對“人眼”,通過兩個攝像頭配合,就能算出物體的遠近、大小,精確捕捉三維空間信息,這也是它和普通單目相機本質(zhì)的區(qū)別。從學(xué)術(shù)角度來說,雙目深度相機是基于立體視覺原理,通過模擬人類雙眼視覺機制,利用三角測量法計算場景三維深度信息的被動式感知設(shè)備,應(yīng)用于多個智能化領(lǐng)域,兼顧成本與性能優(yōu)勢,是目前中遠距離三維感知的主流方案之一。
先給大家講個好理解的,咱們?nèi)祟悶槭裁茨芘袛辔矬w的遠近?其實就是因為左右眼看到的同一物體的位置會有一點點偏差,這個偏差就叫“視差”,離得越近,偏差越明顯,離得越遠,偏差越小,無窮遠的時候偏差幾乎為零。雙目深度相機就是利用這個簡單的原理,只不過把人眼換成了兩個固定間距的攝像頭,行業(yè)里把這個固定間距叫做“基線”,這可是相機精確測距的關(guān)鍵參數(shù)之一。咱們平時用手機拍東西,只能拍出平面的照片,而雙目深度相機的兩個攝像頭會同步拍下同一場景的兩張圖像,再通過算法找到兩張圖里對應(yīng)的同一個點,算出它們的視差,再代入三角測量公式,就能算出這個點到相機的深度,也就是距離,再把所有點的深度信息整合起來,就能形成一張完整的深度圖,讓機器清晰知道眼前的場景哪個地方高、哪個地方低,哪個物體近、哪個物體遠,這就是它的主要工作邏輯,是不是很好理解?

雙目深度相機的工作流程可分為四個重要環(huán)節(jié),每個環(huán)節(jié)都直接影響感知精度與實時性。首先是圖像預(yù)處理,通過降噪、增強等算法優(yōu)化圖像質(zhì)量,減少光照變化、傳感器噪聲對后續(xù)計算的干擾,這是保證深度計算準(zhǔn)確性的基礎(chǔ);其次是立體校正,基于極線幾何原理,通過幾何變換使左右兩幅圖像的對極線水平對齊,將二維匹配簡化為一維搜索,大幅降低計算復(fù)雜度,這也是提升算法效率的關(guān)鍵步驟;然后是視差匹配,這是整個流程的中心,通過局部匹配算法(如SAD、SSD)、全局匹配算法(如SGM)或深度學(xué)習(xí)匹配算法,找到左右圖像中的同名點,計算出視差數(shù)值,不同算法的精度與效率各有側(cè)重,工業(yè)級產(chǎn)品多采用全局匹配算法平衡二者需求;后面是深度圖后處理,通過中值濾波、孔洞填充等操作,去除原始深度圖中的噪聲與空洞,保持物體邊緣信息,提升深度數(shù)據(jù)的完整性與準(zhǔn)確性。
說完原理,再說說它的硬件結(jié)構(gòu),其實也不復(fù)雜,咱們普通人也能看懂。一套完整的雙目深度相機系統(tǒng),主要由硬件組件和軟件算法兩部分組成,兩者協(xié)同工作,缺一不可。硬件方面,比較重要的就是兩個同步工作的單目相機,一般都會采用全局快門CMOS傳感器,這樣能有效消除運動模糊,確保左右兩張圖像的同步性,不會出現(xiàn)“一張拍早、一張拍晚”的情況,影響測距精度。鏡頭大多采用M12接口,視場角比較大,能覆蓋更廣闊的感知范圍,就像咱們眼睛的視野一樣,越寬能看到的東西越多。除了攝像頭,還有精密的機械結(jié)構(gòu),用來固定兩個攝像頭的位置,保證基線長度在各種工況下都能保持穩(wěn)定,不然稍微一動,基線變了,測距就不準(zhǔn)了,工業(yè)級的雙目相機還會用鋁合金或工程塑料做外殼,抗振動、抗溫度變化,避免影響測量精度。另外,好的雙目相機還會配備高性能SOC芯片,比如歐冶SD3589 SOC,具備強大的ISP圖像處理能力和NPU算力,能高效運行感知算法,實現(xiàn)深度圖的實時輸出,不用再依賴外部設(shè)備進行計算,這也是工業(yè)場景中常用的配置。
雙目深度相機的硬件重要參數(shù)包括基線長度、焦距、視場角、測距范圍、深度精度等,這些參數(shù)直接決定了相機的適用場景?;€長度越長,焦距越大,相同視差下的深度測量越精確,更適合遠距離場景;而基線較短的相機,體積更小,更適合便攜式設(shè)備。深度精度是指相機測量深度的誤差范圍,工業(yè)級雙目相機的深度精度通常能達到毫米級,滿足工件檢測、機器人引導(dǎo)等高精度需求;消費級產(chǎn)品則側(cè)重性價比,精度能滿足日常交互需求即可。軟件算法則是雙目深度相機的“大腦”,除了前面提到的重要流程算法,還會包含相機標(biāo)定算法、RGBD對齊算法等,其中相機標(biāo)定是關(guān)鍵,需要精確獲取相機的內(nèi)參(焦距、主點坐標(biāo)、畸變系數(shù))和外參(兩相機的相對姿態(tài)),只有完成精確標(biāo)定,才能確保深度計算的準(zhǔn)確性,這也是雙目相機出廠前必須完成的重要步驟。

接下來聊聊它的應(yīng)用,這東西可不是實驗室里的“冷門設(shè)備”,而是已經(jīng)滲透到我們生活和工業(yè)生產(chǎn)的方方面面,平時咱們可能沒注意到,但它一直在默默發(fā)揮作用。先說說工業(yè)領(lǐng)域,這是雙目深度相機應(yīng)用比較普遍的地方。在工業(yè)自動化車間里,它可以用來檢測工件的三維尺寸,比如測量工件的長度、孔徑、弧度,替代人工檢測,不僅效率高,而且精度準(zhǔn),還能避免人工檢測的誤差,尤其適合大批量生產(chǎn)的場景。還有機器人視覺引導(dǎo),給工業(yè)機器人裝上雙目深度相機,機器人就能“看到”工件的位置和姿態(tài),精確完成焊接、裝配、搬運等作業(yè),不用人工示教編程,能適應(yīng)多品種、小批量的生產(chǎn)需求,這也是工業(yè)4.0升級的重要助力。另外,在物流倉儲領(lǐng)域,雙目深度相機還能測量包裹的體積,幫助物流企業(yè)優(yōu)化倉儲和運輸效率,避免空間浪費,這也是很多物流公司都在使用的技術(shù),是不是很實用?
除了工業(yè)領(lǐng)域,咱們生活中也能經(jīng)常見到它的身影。家里的掃地機器人,之所以能避開家具、墻壁,不撞東西,還能識別清潔死角,靠的就是雙目深度相機的深度感知能力,它能實時捕捉家里的環(huán)境信息,規(guī)劃清潔路徑,避免遺漏和碰撞。還有AR/VR設(shè)備,戴上AR眼鏡能看到虛擬物體和真實場景無縫融合,比如在現(xiàn)實場景中投射虛擬的家具、擺件,這就是雙目深度相機在發(fā)揮作用,它能準(zhǔn)確捕捉現(xiàn)實場景的深度信息,讓虛擬物體“貼合”在現(xiàn)實場景中,提升沉浸式體驗。另外,手機里的人臉識別功能,很多也用到了雙目深度相機,它能捕捉人臉的三維信息,避免照片、視頻偽造攻擊,提升人臉識別的安全性,比如手機解鎖、支付驗證,都離不開它的支持。在戶外巡檢場景中,雙目深度相機還能適應(yīng)強光環(huán)境,實現(xiàn)設(shè)備故障檢測和距離測量,比其他深度感知設(shè)備更具優(yōu)勢。
不過話說回來,雙目深度相機也不是完美的,它有自己的優(yōu)勢,也有一些局限性,咱們客觀來說說。先說說優(yōu)勢,比較明顯的就是成本可控,它的硬件結(jié)構(gòu)相對簡單,不需要復(fù)雜的發(fā)射和接收模組,和同精度的ToF相機相比,成本能降低30%~50%,更適合規(guī)?;渴?,不管是工業(yè)批量應(yīng)用,還是消費級產(chǎn)品,都能承受。其次,它是被動式工作模式,不需要主動發(fā)射紅外光等光源,只依靠環(huán)境光就能工作,既不會對周圍環(huán)境造成干擾,也能避免主動光源被遮擋、反射帶來的測量誤差,尤其適合戶外強光場景,這是它比結(jié)構(gòu)光相機、ToF相機更有優(yōu)勢的地方。另外,它對物體材質(zhì)的適應(yīng)性強,不受表面顏色、反射率的影響,只要場景具備一定紋理,就能實現(xiàn)精確的深度計算,適用場景更普遍。還有,它的中遠距離測量性能出色,隨著距離增加,精度下降相對平緩,適合中遠距離三維感知場景,比如戶外巡檢、AGV導(dǎo)航等。

雙目深度相機的局限性主要集中在四個方面。其一,對場景紋理依賴較高,在無紋理、弱紋理場景(如純白墻面、光滑玻璃)中,難以找到有效的同名點,會導(dǎo)致深度缺失或精度下降,這是由其視差匹配的原理決定的;其二,易受光照條件影響,極亮或極暗環(huán)境會降低圖像質(zhì)量,進而影響視差匹配效果,導(dǎo)致深度計算誤差增大;其三,計算復(fù)雜度高,實時高質(zhì)量的視差匹配需要較強的算力支撐,對芯片性能要求較高,若算力不足,會影響深度圖的輸出速度,難以滿足實時感知需求;其四,存在遮擋問題,場景中被遮擋的區(qū)域只能被單顆相機捕捉,無法計算深度,會產(chǎn)生深度空洞,這也是目前雙目視覺技術(shù)需要突破的難點。
隨著技術(shù)的不斷迭代,這些局限性也在逐步被克服。比如通過融合深度學(xué)習(xí)算法,提升弱紋理場景的匹配精度,減少深度空洞;搭載高性能NPU單元,提升計算效率,滿足實時感知需求;結(jié)合多傳感器融合技術(shù),與激光雷達、IMU等傳感器協(xié)同工作,構(gòu)建更可靠的三維感知系統(tǒng),拓展應(yīng)用邊界?,F(xiàn)在,國產(chǎn)雙目深度相機的發(fā)展也越來越快,國產(chǎn)化元器件的使用率不斷提升,國產(chǎn)廠商憑借成本優(yōu)勢和本土化服務(wù)優(yōu)勢,逐步擴大市場份額,在工業(yè)、消費電子等場景實現(xiàn)規(guī)模化應(yīng)用,打破了外資廠商的壟斷,這也是咱們國產(chǎn)技術(shù)的進步。
總的來說,雙目深度相機是一款“接地氣”又“高級”的三維感知設(shè)備,既有著簡單易懂的工作原理,又有著嚴謹?shù)膶W(xué)術(shù)支撐,既能滿足工業(yè)生產(chǎn)的高精度需求,又能融入我們的日常生活,給我們的生活和工作帶來便利。它模擬人類雙眼的視覺機制,以較低的成本實現(xiàn)了非接觸式深度感知,解鎖了更多三維感知的應(yīng)用可能,是推動智能化升級的重要支撐。未來,隨著硬件集成化程度的提升和算法技術(shù)的優(yōu)化,雙目深度相機的體積會更小、功耗更低、精度更高,應(yīng)用場景也會進一步拓展,從工業(yè)自動化到消費電子,從機器人導(dǎo)航到三維重建,它會在更多領(lǐng)域發(fā)揮重要作用,讓機器更精確地“看懂”三維世界,助力各行各業(yè)實現(xiàn)更高質(zhì)量的發(fā)展。
-
機器視覺
+關(guān)注
關(guān)注
165文章
4823瀏覽量
126445 -
深度相機
+關(guān)注
關(guān)注
0文章
31瀏覽量
3173
發(fā)布評論請先 登錄
LabVIEW雙目視覺 【轉(zhuǎn)載】
一文帶你了解步進電機的相關(guān)知識
2018 WRC:小覓雙目攝像頭MYNT EYE深度相機亮相
小覓雙目深度相機亮相CES 2019,顛覆級新品即將發(fā)布!
一文詳細剖析深度相機之雙目成像
一篇文章帶你認識《雙目立體視覺》
工業(yè)相機單目和雙目的區(qū)別
RTK-SCAM-60 雙目立體視覺相機|精準(zhǔn)深度感知 全場景智能視覺
雙目深度相機:模擬人眼視覺,解鎖三維感知新可能
一文帶你了解雙目深度相機
評論