3D成像（3D imaging）技術(shù)問(wèn)世已有幾十年之久，但商用產(chǎn)品卻在本世紀(jì)初才開(kāi)始上市。起初，電影制作公司使用最新高分辨率攝影機(jī)制作3D影片；在那之后，3D成像技術(shù)發(fā)展迅速，橫掃消費(fèi)品市場(chǎng)與機(jī)器視覺(jué)產(chǎn)業(yè)。

第四次工業(yè)革命對(duì)目前的流程監(jiān)控與自動(dòng)化規(guī)模提出了前所未有的要求，也為3D視覺(jué)帶來(lái)了新的發(fā)展驅(qū)動(dòng)力。傳統(tǒng)的2D視覺(jué)方法已無(wú)法滿足復(fù)雜物件識(shí)別與尺寸標(biāo)示應(yīng)用的精確度與測(cè)距要求，日益難以因應(yīng)越來(lái)越多的人機(jī)協(xié)同工作等復(fù)雜互動(dòng)狀況。本文回顧工業(yè)市場(chǎng)的3D成像技術(shù)，探討為何飛行時(shí)間法（Time of Flight，ToF)成為當(dāng)前最具發(fā)展前景的方法，最后概述ToF系統(tǒng)專用的CMOS圖像傳感器最新發(fā)展。

3D成像概述取得3D圖像主要有四種方法，包括立體視覺(jué)法（Stereo Vision）、結(jié)構(gòu)光法（Structured light）、激光三角法（Laser triangulation）以及ToF。后三種方法屬于自動(dòng)成像系列，需要用到人造光源。

立體視覺(jué)法

立體視覺(jué)法需要安裝兩臺(tái)攝影機(jī)來(lái)取得物件的不同視角（圖1）。采用校正方法調(diào)整攝影機(jī)與準(zhǔn)確深度信息之間的像素信息使之一致，這類(lèi)似于大腦目測(cè)距離的原理。因此，在系統(tǒng)中融入認(rèn)知過(guò)程仍離不開(kāi)大量的運(yùn)算工作。

立體視覺(jué)法采用標(biāo)準(zhǔn)圖像傳感器，因而降低了成本。傳感器越復(fù)雜（例如高性能傳感器或全域快門(mén)裝置），系統(tǒng)成本越高。其應(yīng)用的距離范圍受到機(jī)械局限的限制：過(guò)程中需要一條實(shí)體基準(zhǔn)線，因而需要更大尺寸的模組，同時(shí)還需要精確的機(jī)械對(duì)準(zhǔn)與重新校正。此外，此方法不適用于光線條件差或變化不定的情況，很大程度上取決于物件的反光特性。

圖1 立體視覺(jué)（來(lái)源：Tech Briefs）

結(jié)構(gòu)光法

在結(jié)構(gòu)光方法中，預(yù)先確定的光圖案被投射于物件上，然后通過(guò)分析圖案如何失真變形而取得深度信息。由于frame周期并無(wú)概念上的限制，也不至于造成任何動(dòng)作模煳不清，對(duì)于多路徑界面非常適用。然而，自動(dòng)照明要求配置復(fù)雜的攝影機(jī)，以及在鏡頭與圖形投影儀之間提供精確、穩(wěn)定的機(jī)械校正功能。此外，這種方法存在著標(biāo)定降級(jí)（de-calibration）的風(fēng)險(xiǎn)，反射的圖案對(duì)于環(huán)境中的光干擾非常敏感，而且也僅限于室內(nèi)應(yīng)用。

圖2 結(jié)構(gòu)光法（來(lái)源：University of Kentucky、Laser Focus World）

激光三角法

激光三角法針對(duì)一條光束的幾何偏移量進(jìn)行測(cè)量，其數(shù)值與物件高度相關(guān)。這是一種基于物件掃描的單維成像方法。激光點(diǎn)出現(xiàn)于攝影機(jī)視野范圍內(nèi)的不同位置，具體取決于激光打在物件表面的距離范圍。由于激光點(diǎn)、攝影機(jī)與激光發(fā)射器形成了一個(gè)三角形，因此這種方法被稱為三角法。

圖3 激光三角法位移與位置監(jiān)控應(yīng)用要求高準(zhǔn)確度、高穩(wěn)定性以及低溫度變化，因此，一般采用高分辨率激光。激光三角法的缺點(diǎn)在于這種方法只能覆蓋到一段較小的距離范圍，易受環(huán)境光線影響，并且僅限制于掃描應(yīng)用。同時(shí)，它需要用到復(fù)雜算法與校正，而且受到結(jié)構(gòu)性或復(fù)雜表面的影響。

飛行時(shí)間法

此方法體現(xiàn)了在攝影機(jī)與場(chǎng)景之間，通過(guò)光子雙向飛行時(shí)間直接獲取或計(jì)算距離的所有測(cè)量實(shí)施方法——可通過(guò)直接飛行時(shí)間法（D-ToF）或間接飛行時(shí)間法（I-ToF）測(cè)量方式執(zhí)行。D-ToF的概念很簡(jiǎn)單，但需要配置復(fù)雜且具有限制時(shí)間解析（time-resolved）的裝置；I-ToF的操作更簡(jiǎn)單：光源與圖像傳感器同步。光的脈沖以與攝影機(jī)快門(mén)一致的相位發(fā)射。采用光脈沖去同步化作用計(jì)算光子飛行時(shí)間，就能推導(dǎo)出發(fā)射點(diǎn)與物件之間的距離。

圖4 ToF工作原理這確保我們能夠?qū)γ總€(gè)像素的深度與幅度進(jìn)行直接測(cè)量。這種圖像稱為深度圖像。該系統(tǒng)具有較小的高寬比，只需一次校正，即可在環(huán)境光線條件下運(yùn)作良好。不足之處在于它需要主動(dòng)照明同步，而且可能出現(xiàn)多路徑干擾與距離混疊。

3D成像技術(shù)方案比較

每種方法都具有各自不同的優(yōu)缺點(diǎn)，如表1。

表1 常用的3D成像技術(shù)比較

目前，3D系統(tǒng)的應(yīng)用尚未普遍，因此主要采用3D立體視覺(jué)法、結(jié)構(gòu)光攝影機(jī)或激光三角法系統(tǒng)。這些系統(tǒng)在固定的工作距離內(nèi)運(yùn)作，針對(duì)特定的測(cè)距區(qū)域則需要進(jìn)行大量的校正工作。ToF系統(tǒng)可克服這些方面的挑戰(zhàn)，從應(yīng)用面提供更大的靈活性。目前，由于像素的復(fù)雜度或耗電問(wèn)題，大部份的商用解決方案仍受限于采用視頻圖形陣列（VGA）或更低的圖像分辨率。

飛行時(shí)間法的CMOS圖像傳感器方案看好ToF的應(yīng)用前景，Teledyne e2v開(kāi)發(fā)出首款3D ToF解決方案，支持130萬(wàn)像素分辨率深度以及1英吋光學(xué)格式，并配置高靈敏度、高動(dòng)態(tài)范圍的CMOS圖像傳感器。

這種ToF途徑可實(shí)現(xiàn)灰階圖像與深度融合功能：

- 先進(jìn)的130萬(wàn)像素深度圖解析度：全分辨率的深度圖，準(zhǔn)確度達(dá)±1cm、速度快

- 可獲取快速移動(dòng)的物件3D圖像：速度高達(dá)120格/秒(fps)，30fps的分辨率深度圖、全域快門(mén)效率高

- 3D檢測(cè)范圍大：0.5~5m，支持90dB高動(dòng)態(tài)范圍(HDR)

- 可見(jiàn)光與近紅外光(NIR)高靈敏度傳感器：850nm波長(zhǎng)時(shí)量子效率約50%，支持HDR：夜間/日夜視覺(jué)

- 嵌入式3D處理：多個(gè)感興趣區(qū)域(multi-ROI)——雙視窗、像素合并(binning)、芯片長(zhǎng)條圖資料統(tǒng)計(jì)功能

最新開(kāi)發(fā)的展示平臺(tái)可用于評(píng)估以深度圖或點(diǎn)云格式輸出的獨(dú)特1.3MP深度分辨率。

如圖5所示的ToF系統(tǒng)展示平臺(tái)由一個(gè)精巧的1英吋光學(xué)成像系統(tǒng)構(gòu)成，配置高靈敏度的1.3MP圖像傳感器。該平臺(tái)內(nèi)建多整合芯片功能(閘極傳感器)、光源以及相關(guān)光學(xué)元件，并以1.3MP全分辨率實(shí)現(xiàn)ToF成像。

圖5 ToF展示平臺(tái)（來(lái)源：Teledyne e2v）

采用ToF的5T CMOS圖像傳感器主動(dòng)成像

主動(dòng)成像使用同步光源。輔助自動(dòng)對(duì)焦功能是主動(dòng)成像的簡(jiǎn)單形式，可見(jiàn)于低光條件下采用紅外光測(cè)距的現(xiàn)代攝影機(jī)中。主動(dòng)成像可應(yīng)用于惡劣天氣條件(如下雨或起霧時(shí))。而采用同樣的傳感器則可能實(shí)現(xiàn)兩種主動(dòng)成像方法：距離選通法與ToF。距離選通法(range gating)結(jié)合了兩種組成：脈沖光波前端裝置與一臺(tái)專業(yè)高速快門(mén)攝影機(jī)。首先將光線發(fā)射至目標(biāo)物件，當(dāng)反射光從反射表面返回時(shí)，攝影機(jī)高速電子快門(mén)適時(shí)地開(kāi)啟。距離選通成像可依據(jù)光與傳感器的同步特性選擇圖像平面距離。因雨天、多霧或霧氣粒子彌漫的環(huán)境導(dǎo)致目標(biāo)物件與攝影機(jī)隔離時(shí)，部份光子仍得以穿過(guò)介質(zhì)返回?cái)z影機(jī)。這些光子被稱為「彈道光子」(ballistic photon)。雖然這類(lèi)光子數(shù)量較少，但可同步獲取這些光子，因此可通過(guò)散射介質(zhì)進(jìn)行成像。距離選通方法可在遠(yuǎn)距離成像，且?guī)缀醪皇苋魏蜗拗疲唧w也取決于光源的強(qiáng)度。飛行時(shí)間法(ToF)的工作原理不同于距離選通。它可以直接測(cè)量ToF光線，從而推導(dǎo)出反射面的距離。由于物件與攝影機(jī)之間距離短，因此，基于ToF的系統(tǒng)需要配置一個(gè)全域快門(mén)攝影機(jī)。相較于主動(dòng)成像，ToF并非聚焦于特定的圖像平面，因而能在理想范圍內(nèi)直接成像。如圖6所示，距離選通圖像獲取的建置主要依據(jù)同步的攝影機(jī)光源系統(tǒng)。它能在主/從模式下運(yùn)行，具體采用哪種模式取決于應(yīng)用環(huán)境的狀況。攝影機(jī)配置了快速的全域快門(mén)，速度快達(dá)數(shù)百納秒(ns)。光源根據(jù)T0時(shí)間點(diǎn)攝影機(jī)的觸發(fā)情況發(fā)射光脈沖。經(jīng)過(guò)一段時(shí)間后(T1)，光脈沖到達(dá)此距離范圍，并根據(jù)是否存在物件而發(fā)生反射與否。在發(fā)生反射的情況下，光線在T2期間返回?cái)z影機(jī)；在此情況下，T3 = T0 + 2 τ，其中τ是攝影機(jī)快門(mén)開(kāi)啟并獲取到反射信號(hào)的返程飛行時(shí)間。在信號(hào)格的時(shí)間內(nèi)，這種周期過(guò)程周而復(fù)始幾千次，最終累積到足夠的信噪比(SNR)。產(chǎn)生的圖像為灰階圖像，且僅與出現(xiàn)在距離范圍內(nèi)的物件一致。為了產(chǎn)生一個(gè)深度圖像，必須在距離選通模式下掃描多個(gè)深度以取得一組圖像，或調(diào)整延遲時(shí)間。然后根據(jù)這組圖像計(jì)算各個(gè)點(diǎn)的距離。

圖6 距離選通工作原理圖7描述了全域快門(mén)的像素傳感器結(jié)構(gòu)，以及其產(chǎn)生短曝光與信號(hào)同步的原理。最簡(jiǎn)單的全域快門(mén)形式采用五個(gè)電晶體(5T)構(gòu)成的像素，以及一個(gè)專用相位驅(qū)動(dòng)器。因此，信號(hào)積分相位并不是一次性完成的，而是隨著同步多次積分而逐漸形成的。

圖7 全域快門(mén)像素結(jié)構(gòu)Teledyne e2v的專利技術(shù)基于5T像素結(jié)構(gòu)與計(jì)時(shí)產(chǎn)生器，以實(shí)現(xiàn)Δt周期(Δt周期縮短至10ns左右)。這表明在暫態(tài)分辨率方面已獲得了巨大的提升。支持高靈敏度/低雜訊的1.3MP CMOS圖像傳感器正配置了這項(xiàng)功能，并帶有多暫態(tài)積分模式(又稱「累積」模式)。此外，在圖像傳感器還需要有高寄生電荷靈敏度(PLS)，也稱為「消光比」(extinction ratio)，能避免攝影機(jī)選通「關(guān)閉」期間的雜散光線，進(jìn)而獲得清晰的圖像。

圖8 支持計(jì)時(shí)調(diào)整與同步電路的5T像素CMOS需要充份的「消光比」，以避免場(chǎng)景的背景光線

為了提高工業(yè)系統(tǒng)的有效性與自主性，視覺(jué)系統(tǒng)在視覺(jué)引導(dǎo)機(jī)器人與其他自主機(jī)器設(shè)備中的應(yīng)用日漸增多，目前已開(kāi)始采用3D視覺(jué)系統(tǒng)（如物件識(shí)別、準(zhǔn)確度）。現(xiàn)有的幾種3D方法都各自具有優(yōu)點(diǎn)與限制，可取決于具體的應(yīng)用要求作選擇；其中，飛行時(shí)間法（ToF）提供了非凡的3D視角，可望推動(dòng)新一代專用CMOS圖像傳感器的發(fā)展。