Analog Devices （ADI） 和 Microsoft 聯(lián)手生產(chǎn)飛行時間 （ToF） 3D 成像解決方案，目標(biāo)是在任何場景條件下都提供更高的精度。ADI 將利用 Microsoft 的 Azure Kinect 3D ToF 技術(shù)并添加其技術(shù) IC 和系統(tǒng)專業(yè)知識，以創(chuàng)建更易于采用的解決方案。目標(biāo)是在工業(yè) 4.0、汽車、游戲、增強現(xiàn)實以及計算攝影和攝像等領(lǐng)域覆蓋廣泛的受眾 。

行業(yè)市場分析師估計，在具有挑戰(zhàn)性的環(huán)境中使用的 3D 成像系統(tǒng)將出現(xiàn)強勁增長，并且需要人類協(xié)作機(jī)器人、房間映射和庫存管理系統(tǒng)等尖端應(yīng)用來實現(xiàn)工業(yè) 4.0。 還需要ToF 應(yīng)用 來創(chuàng)建具有占用檢測和駕駛員監(jiān)控功能的更安全的汽車駕駛環(huán)境。

在接受 EE Times 采訪時，增強成像和解釋高級總監(jiān) Tony Zarola 和 ADI 公司戰(zhàn)略營銷經(jīng)理 Carlos Calvo 強調(diào)了此次合作的基礎(chǔ)。 Zarola 表示：“微軟已成為圖像傳感器制造商 3D ToF 性能的基準(zhǔn)，并為 ADI 提供核心像素技術(shù)，這是 ADI 正在構(gòu)建的傳感器和解決方案的基礎(chǔ)。幾十年來，他們開發(fā)了在智能邊緣或智能云上運行的最佳數(shù)據(jù)捕獲和革命性算法所需的專業(yè)知識。我們期待結(jié)合微軟和 ADI 在芯片、系統(tǒng)、軟件和光學(xué)方面的最佳能力。”

3D ToF 設(shè)計

手勢識別是設(shè)備識別人體一系列動作的能力。電子技術(shù)基于相機(jī)和 IC 的幫助，用于識別和掃描 2D 或 3D 輪廓中的場景。ToF 技術(shù)包括向目標(biāo)發(fā)送激光束并分析信號的反射。

3D ToF是一種沒有掃描儀的光探測和測距 （LiDAR），它使用納秒級的高功率光脈沖從場景中捕獲深度信息（通常是短距離）。各種 IC 解決方案在手勢識別軟件算法的幫助下，創(chuàng)建接收到的圖像的深度圖，實時響應(yīng)身體運動。手勢識別技術(shù)的主要優(yōu)點是個人和控制系統(tǒng)之間不需要物理接觸。

ToF 相機(jī)通過調(diào)制激光照射物體和激光波長敏感傳感器來捕獲反射光，從而測量距離。傳感器測量從光發(fā)射到相機(jī)接收到反射光之間的時間延遲。有幾種測量時間延遲的方法，其中兩種已經(jīng)很常見：連續(xù)波 （CW） 方法和脈沖方法。絕大多數(shù) ToF 傳感器是 CW 并使用 CMOS 傳感器。

有許多混雜因素使 ToF 測量變得困難：干擾環(huán)境光、由場景中物體反射的光導(dǎo)致的多路徑效應(yīng)破壞真實距離、溫度效應(yīng)和范圍模糊?！疤魬?zhàn)的范圍從硅片開發(fā)到創(chuàng)建一個完整的系統(tǒng)，該系統(tǒng)的性能與部件的理論總和一致，”Calvo 說?！肮铝⒌乜创總€組件是不可能的。例如，具有最佳傳感器但配備未優(yōu)化鏡頭的 ToF 相機(jī)的整體系統(tǒng)性能會很差。

“從表面上看，ToF 相機(jī)與 RGB 相機(jī)有相似之處，”他補充道?！耙粋€關(guān)鍵的區(qū)別是，根據(jù)應(yīng)用程序，RGB 相機(jī)的圖像質(zhì)量是以一定程度的主觀性來判斷的；其他應(yīng)用程序只能通過高級后處理啟用。ToF 相機(jī)測量一個客觀的物理量（距離），根據(jù)應(yīng)用，用戶可能會嚴(yán)重依賴圖像的準(zhǔn)確性。RGB 相機(jī)中的一些光學(xué)缺陷（例如鏡頭眩光）會產(chǎn)生有時被認(rèn)為是藝術(shù)性的偽影（例如，陽光眩光）。在 ToF 系統(tǒng)中，鏡頭光暈即使沒有大幅減少，也會在物體強烈反射的情況下削弱整個系統(tǒng)的性能?！?/p>

用于 ToF 的 CMOS 傳感器由發(fā)射器和接收器組成；它能夠以接近 160 fps 的性能以單像素級別計算對象的距離。

“在芯片級別，必須考慮信號鏈的關(guān)鍵元素：激光驅(qū)動器、集成讀出的 ToF 圖像傳感器，最后是深度計算引擎，”Calvo 說。“挑戰(zhàn)始于在圖像傳感器本身中設(shè)計具有高響應(yīng)度和高調(diào)制對比度的像素，并以形成可由下一個應(yīng)用層解釋的 3D 點云結(jié)束。

“除了組件之外，深度相機(jī)的設(shè)計和生產(chǎn)還面臨著關(guān)鍵挑戰(zhàn)，因為光機(jī)設(shè)計、校準(zhǔn)、電氣設(shè)計和軟件實施都非常耗時且具有挑戰(zhàn)性，”他補充道?！癆nalog Devices 為我們的客戶應(yīng)對這些挑戰(zhàn)，以簡化他們的設(shè)計流程?！?/p>

圖 1：ToF 框圖。

像素從場景的不同部分收集光，它們的重組將構(gòu)成重建圖像。所有傳感器像素都由解調(diào)和調(diào)制塊之間的相關(guān)性控制。每個像素都可以用圖 2所示的模型來近似。

通過激活相關(guān)控制信號，電流在積分時間內(nèi)被引導(dǎo)至節(jié)點 A （Da） 或節(jié)點 B （Db）。在解調(diào)停止的情況下進(jìn)行讀取，以便系統(tǒng)可以讀取整個位序列。ClkA 和 ClkB 在時間 tInt1 以選定的調(diào)制頻率進(jìn)行 180° 異相調(diào)制。接收到的關(guān)于 ClkA 和 CLkB 時鐘的光的相位決定了 DA 和 DB 信號。在積分結(jié)束時，ClkA 和 ClkB 關(guān)閉，讀取階段通過對積分信號 （BitlineAInt1-BitlineBInt1） 進(jìn)行采樣來進(jìn)行。

光子到電流的轉(zhuǎn)換受泊松分布的量子過程控制。讓我們了解系統(tǒng)優(yōu)劣的參數(shù)是量子效率。也就是說，產(chǎn)生的電子數(shù)量與激活相應(yīng)像素的光子數(shù)量之間的比率。電子的數(shù)量取決于實際調(diào)制的光和對應(yīng)于噪聲效應(yīng)的環(huán)境光。設(shè)計 ToF 系統(tǒng)時要選擇的參數(shù)是視野 （FoV）。必須根據(jù)場景的覆蓋范圍適當(dāng)?shù)剡x擇FOV。

圖 2：像素的電路和時序。

為了在高頻下實現(xiàn)高效率，可以使用 0.13-μm 混合信號低功耗 CMOS 工藝制造芯片，并稍作修改，以支持高效的 ToF 操作。

ADI 和微軟

微軟與 ADI 的合作旨在增強 ToF 技術(shù)：ADI 正在設(shè)計一系列新的 ToF 3D 圖像傳感器，該傳感器將提供小于 1 毫米的精度，并將與微軟的深度、智能的雷德蒙德巨頭生態(tài)系統(tǒng)兼容。云和智能邊緣平臺。

“我們堅信這種合作將影響所有主要行業(yè)——消費、工業(yè)、醫(yī)療保健和汽車，”Zarola 說?！暗侥壳盀橹?，微軟開發(fā)的技術(shù)還沒有廣泛用于規(guī)?；纳虡I(yè)應(yīng)用程序。我們相信，由微軟成像技術(shù)提供支持的 ADI 解決方案將全面改變游戲規(guī)則。”

安全系統(tǒng)在增強面部識別方面有著明顯的應(yīng)用，同時為更高效的工廠自動化采取了先進(jìn)的安全措施。工業(yè) 4.0 將通過協(xié)作機(jī)器人與人類一起安全地工作，而不會在“無人”區(qū)域被隔離，并且通過 ToF 精度來確定箱子和托盤尺寸的進(jìn)一步優(yōu)化物流。

Zarola 補充說：“更復(fù)雜的占用檢測將提高能源效率、安全系統(tǒng)和人機(jī)交互。從家庭到汽車，我們與微軟的 ToF 合作將為新的游戲體驗提供在現(xiàn)實世界中放置虛擬對象并與之交互的能力，改變我們與汽車的交互方式，并通過監(jiān)控駕駛員和乘客來提高安全性。ToF 技術(shù)的潛在用例廣泛且不斷發(fā)展，因此今天的主要應(yīng)用預(yù)計將在明天被新想法所取代?！?/p>

Zarola 和 Calvo 已經(jīng)表明他們的客戶希望在很寬的溫度范圍內(nèi)實現(xiàn)毫米級深度分辨率和精細(xì)的空間分辨率。實現(xiàn)這種性能需要在硬件和軟件層面實現(xiàn)極端水平的時間同步?！翱刂萍す馄鞯男盘柡蛡鞲衅髦械南袼刂g 10 ps 的時序錯位會導(dǎo)致最終距離估計出現(xiàn) 1.5 毫米的誤差，”Calvo 說?！叭绻@還不夠困難，還需要在很寬的溫度范圍內(nèi)保持 ToF 系統(tǒng)準(zhǔn)確，這需要聯(lián)合設(shè)計的高級處理和校準(zhǔn)算法?！?/p>

對 ToF 系統(tǒng)的一個具體批評是它們可以運行的調(diào)制頻率以及 ADI 最集中的位置。大多數(shù)深度估計誤差的來源往往被調(diào)制頻率“劃分”?！拔覀兊哪繕?biāo)是提高 ToF 系統(tǒng)的平均調(diào)制頻率，這將允許以更低的深度噪聲進(jìn)行測量，并減少多路徑或環(huán)境光散粒噪聲的不利影響，”Zarola 說。“ADI 還在尋求解決使深度相機(jī)的設(shè)計和生產(chǎn)既耗時又困難的關(guān)鍵挑戰(zhàn)。我們正在處理機(jī)械對準(zhǔn)、光學(xué)設(shè)計、校準(zhǔn)、電氣設(shè)計和軟件實施以及圖像捕獲中的傳統(tǒng)障礙?！?/p>

微軟在 HoloLens 混合現(xiàn)實設(shè)備中使用的 ToF 3D 技術(shù)和 Azure Kinect 開發(fā)套件與 ADI 的定制解決方案相結(jié)合，將使新一代高性能應(yīng)用程序得以實施和擴(kuò)展，同時優(yōu)化上市時間。

審核編輯：郭婷