Facebook 的博客詳細(xì)介紹了其在 3D 內(nèi)容理解領(lǐng)域的研究進(jìn)展。

要想解釋現(xiàn)實世界，AI 系統(tǒng)必須理解三維視覺場景。而這需要機(jī)器人學(xué)、導(dǎo)航，甚至增強(qiáng)現(xiàn)實應(yīng)用等等。2D 圖像和視頻所描述的場景和對象本身仍是三維的，而真正智能的內(nèi)容理解系統(tǒng)必須能夠從杯子的視頻中識別出手柄的幾何情況，或者識別出照片前景和背景中的對象。

不久之前，F(xiàn)acebook 發(fā)布博客介紹了多個新研究項目的詳情，這些項目以不同卻互補(bǔ)的方式推進(jìn) 3D 圖像理解領(lǐng)域的當(dāng)前最優(yōu)水平。相關(guān)研究已被 ICCV 2019 接收，它利用不同類型和數(shù)量的訓(xùn)練數(shù)據(jù)和輸入，解決了大量用例和環(huán)境中的 3D 內(nèi)容理解問題。

Mesh R-CNN 是一種新型的當(dāng)前最優(yōu)方法，可基于大量 2D 現(xiàn)實世界圖像預(yù)測出最準(zhǔn)確的 3D 形狀。該方法利用目標(biāo)實例分割任務(wù)的通用 Mask R-CNN 框架，能夠檢測出復(fù)雜的對象，如椅子腿或者重疊的家具。 利用 Mesh R-CNN 的替代和補(bǔ)充性方法 C3DPO，F(xiàn)acebook 通過解釋三維幾何，首次在三個基準(zhǔn)數(shù)據(jù)集（涉及超過 14 種對象類別）上實現(xiàn)了大規(guī)模非剛性三維形狀重建。而該成果的實現(xiàn)僅使用了 2D 關(guān)鍵點，未使用 3D 標(biāo)注。 Facebook 提出了一種新方法來學(xué)習(xí)圖像和 3D 形狀之間的關(guān)聯(lián)，同時大幅減少對標(biāo)注訓(xùn)練樣本的需求。這向著為更多對象類別創(chuàng)建 3D 表征的自監(jiān)督系統(tǒng)邁出了一步。 Facebook 開發(fā)了一種新技術(shù) VoteNet，可對激光雷達(dá)等傳感器輸出的 3D 圖像執(zhí)行目標(biāo)檢測。大部分傳統(tǒng)的目標(biāo)檢測系統(tǒng)依賴 2D 圖像信號，而 VoteNet 僅基于 3D 點云，且取得了高于之前研究的精度。

這些研究基于使用深度學(xué)習(xí)預(yù)測和定位圖像中對象的近期進(jìn)展，以及執(zhí)行 3D 形狀理解（如體素、點云和網(wǎng)格）的新工具和架構(gòu)。計算機(jī)視覺領(lǐng)域覆蓋大量任務(wù)，而 3D 理解將對推進(jìn) AI 系統(tǒng)更準(zhǔn)確地理解、解釋現(xiàn)實世界并在其中運(yùn)行起到核心作用。

在預(yù)測無約束受遮擋對象的 3D 形狀任務(wù)中達(dá)到當(dāng)前最優(yōu)

感知系統(tǒng)（如 Mask R-CNN）是理解圖像的強(qiáng)大通用工具。但是，這些系統(tǒng)只能對 2D 圖像執(zhí)行預(yù)測，忽略了世界的 3D 結(jié)構(gòu)。Facebook 利用 2D 感知領(lǐng)域的進(jìn)展，設(shè)計了一個 3D 目標(biāo)重建模型，該模型可以基于無約束現(xiàn)實世界圖像預(yù)測 3D 對象形狀，而這些圖像包含大量視覺難題，如對象被遮擋、雜亂，以及多樣化的拓?fù)浣Y(jié)構(gòu)。向?qū)Υ祟悘?fù)雜性具備穩(wěn)健性的目標(biāo)檢測系統(tǒng)添加第三個維度，需要更強(qiáng)大的工程能力，而目前的工程框架阻礙了該領(lǐng)域的進(jìn)步。

Mesh R-CNN 預(yù)測輸入圖像中的對象實例，并推斷其 3D 形狀。為了捕捉幾何和拓?fù)涞亩鄻有?，Mesh R-CNN 首先預(yù)測粗糙的體素，然后細(xì)化以執(zhí)行準(zhǔn)確的網(wǎng)格預(yù)測。

為了解決這些挑戰(zhàn)，F(xiàn)acebook 為 Mask R-CNN 的 2D 目標(biāo)分割系統(tǒng)添加了網(wǎng)格預(yù)測部分，從而構(gòu)建了 Torch3d。這是一個 PyTorch 庫，具備高度優(yōu)化的 3D 算子以實現(xiàn)該系統(tǒng)。Mesh R-CNN 使用 Mask R-CNN 來檢測和分類圖像中的不同對象，然后利用新的網(wǎng)格預(yù)測器推斷對象的 3D 形狀，該預(yù)測器由體素預(yù)測和網(wǎng)格細(xì)化兩個步驟構(gòu)成，這個兩階段流程可以實現(xiàn)優(yōu)于之前細(xì)粒度 3D 結(jié)構(gòu)預(yù)測研究的結(jié)果。Torch3d 保證 chamfer distance、可微網(wǎng)格采樣和可微渲染器等復(fù)雜操作的高效、靈活和模塊化實現(xiàn)，從而使得上述流程得以順利進(jìn)行。

Facebook 利用 Detectron2 實現(xiàn) Mesh R-CNN，它使用 RGB 圖像作為輸入，既能檢測對象，也能預(yù)測 3D 形狀。與 Mask R-CNN 利用監(jiān)督學(xué)習(xí)獲得強(qiáng)大的 2D 感知能力類似，新方法 Mesh R-CNN 利用完全監(jiān)督學(xué)習(xí)（即圖像和網(wǎng)格對）學(xué)習(xí) 3D 預(yù)測。在訓(xùn)練階段中，F(xiàn)acebook 研究人員使用 Pix3D 數(shù)據(jù)集（包含一萬個圖像和網(wǎng)格對），該數(shù)據(jù)集的規(guī)模遠(yuǎn)遠(yuǎn)小于通常包含數(shù)十萬圖像和對象標(biāo)注的 2D 基準(zhǔn)數(shù)據(jù)集。

Facebook 在兩個數(shù)據(jù)集上評估 Mesh R-CNN 的性能，均獲得了優(yōu)秀的結(jié)果。在 Pix3D 數(shù)據(jù)集上，Mesh R-CNN 是首個能夠同時檢測出所有對象類別，并基于多樣、雜亂、被遮擋的家具場景估計其完整 3D 形狀的系統(tǒng)。之前的研究主要關(guān)注在完美剪裁、未受遮擋的圖像分割部分上訓(xùn)練得到的模型。在 ShapeNet 數(shù)據(jù)集上，將體素預(yù)測和網(wǎng)格細(xì)化結(jié)合起來的 Mesh R-CNN 方法的性能比之前的研究高出 7%。

Mesh R-CNN 系統(tǒng)概覽。研究人員用 3D 形狀推斷增強(qiáng)了 Mask R-CNN。

在現(xiàn)實世界中準(zhǔn)確預(yù)測和重建無約束場景的形狀是提升新體驗的重要一步，如虛擬現(xiàn)實以及其他形式的遠(yuǎn)程呈現(xiàn)。不過，收集標(biāo)注 3D 圖像數(shù)據(jù)要比 2D 圖像更加復(fù)雜、耗時，這也是 3D 形狀預(yù)測數(shù)據(jù)集落后于 2D 數(shù)據(jù)集的原因。因而，F(xiàn)acebook 探索了不同的方法，嘗試?yán)帽O(jiān)督和自監(jiān)督學(xué)習(xí)重建 3D 對象。

Mesh R-CNN 相關(guān)論文，參見：https://arxiv.org/abs/1906.02739

利用 2D 關(guān)鍵點重建 3D 對象類別

當(dāng)訓(xùn)練過程中無法獲得網(wǎng)格及其對應(yīng)圖像時，對靜態(tài)對象或場景執(zhí)行完整重建則無必要，而 Facebook 開發(fā)出一種替代方法——C3DPO 系統(tǒng)（Canonical 3D Pose Networks）。該系統(tǒng)構(gòu)建 3D 關(guān)鍵點模型重建，重建結(jié)果堪比使用充足 2D 關(guān)鍵點監(jiān)督信號獲得的當(dāng)前最優(yōu)結(jié)果。C3DPO 幫助我們用弱監(jiān)督的方式理解 3D 幾何，該系統(tǒng)適合大規(guī)模部署。

對于廣泛的對象類別，C3DPO 能夠基于檢測出的 2D 關(guān)鍵點生成 3D 關(guān)鍵點，并準(zhǔn)確區(qū)分視角變化和形狀變化。

2D 關(guān)鍵點追蹤對象類別的特定部分（如人體關(guān)節(jié)或鳥類翅膀），為對象幾何及其變形或視角變化提供完整的線索。得到的 3D 關(guān)鍵點很有用，比如可用于建模 3D 人臉和全身網(wǎng)格，以輸出更逼真的 VR 頭像圖。與 Mesh R-CNN 類似，C3DPO 使用具備遮擋和缺失值的無約束圖像重建 3D 對象。

C3DPO 是首個利用數(shù)千個 2D 關(guān)鍵點，重建包含數(shù)十萬圖像的數(shù)據(jù)集的方法。該模型在三個數(shù)據(jù)集（超過 14 種不同非剛性對象類別）上獲得了當(dāng)前最優(yōu)的重建準(zhǔn)確率。

代碼地址：https://github.com/facebookresearch/c3dpo_nrsfm

該模型有兩個重要創(chuàng)新。首先，給定一組單目 2D 關(guān)鍵點，C3DPO 可以預(yù)測對應(yīng)攝像機(jī)視角的參數(shù)，以及 3D 關(guān)鍵點的標(biāo)準(zhǔn)位置。其次，F(xiàn)acebook 提出了一種新型正則化技術(shù) canonicalization，它包含一個輔助深度網(wǎng)絡(luò)，可以與 3D 重建網(wǎng)絡(luò)一道學(xué)習(xí)。該技術(shù)解決了對 3D 視角和形狀執(zhí)行因式分解導(dǎo)致的模糊性。這兩個創(chuàng)新促使更優(yōu)秀數(shù)據(jù)統(tǒng)計模型的誕生。

以前，這樣的 3D 重建是不可實現(xiàn)的，原因在于之前基于矩陣分解的方法會帶來內(nèi)存限制。與深度網(wǎng)絡(luò)不同，之前方法無法以「minibatch」機(jī)制運(yùn)行。之前方法在建模變形時利用了多個同步圖像，并構(gòu)建圖像與即時 3D 重建結(jié)果之間的對應(yīng)關(guān)系，這對硬件有很高要求，此類硬件通常出現(xiàn)在特殊實驗室中。而 C3DPO 使得在無法部署 3D 捕捉硬件時也能實現(xiàn) 3D 重建。

C3DPO 相關(guān)論文，參見：https://research.fb.com/publications/c3dpo-canonical-3d-pose-networks-for-non-rigid-structure-from-motion/

從圖像集中學(xué)習(xí)像素-表面映射（pixel-to-surface mapping）

該系統(tǒng)學(xué)得一個參數(shù)化卷積神經(jīng)網(wǎng)絡(luò)（CNN），該網(wǎng)絡(luò)以圖像作為輸入，并預(yù)測像素級標(biāo)準(zhǔn)表面圖（per-pixel canonical surface map，表示像素在模板形狀上的對應(yīng)位置點）。2D 圖像和 3D 形狀之間的標(biāo)準(zhǔn)表面圖中的類似顏色表示對應(yīng)關(guān)系。

Facebook 進(jìn)一步減少了開發(fā)通用對象類別 3D 理解系統(tǒng)所需的監(jiān)督信號。研究人員提出一種利用無標(biāo)注圖像集的方法，這些圖像僅具備恰當(dāng)?shù)淖詣訉嵗指?。他們沒有顯式地預(yù)測圖像的底層 3D 結(jié)構(gòu)，轉(zhuǎn)而處理一個補(bǔ)充性任務(wù)：將圖像中的像素映射至類別級 3D 形狀模板的表面。

該映射不僅可以幫助我們在類別級 3D 形狀背景下理解圖像，還提供泛化同類對象之間對應(yīng)關(guān)系的能力。例如，人們在看到下圖左側(cè)突出顯示的鳥喙時，可以很輕松地在右圖中找出對應(yīng)點的位置。

這是因為我們直觀上理解這些實例之間的共享 3D 結(jié)構(gòu)。Facebook 提出的將圖像像素映射至標(biāo)準(zhǔn) 3D 表面的新方法幫助學(xué)得系統(tǒng)也具備這種能力。對該方法在不同實例上遷移對應(yīng)關(guān)系的效果進(jìn)行評估后，研究人員發(fā)現(xiàn)其準(zhǔn)確率是之前未利用圖像底層 3D 結(jié)構(gòu)的自監(jiān)督方法的 2 倍。

使得模型在監(jiān)督信號大量減少的情況下還能學(xué)習(xí)的關(guān)鍵要素是：從像素到 3D 表面的映射，輔以從 3D 表面到像素的逆運(yùn)算，可形成一個完整循環(huán)。Facebook 提出的新方法使這一關(guān)鍵要素得以運(yùn)行，且學(xué)習(xí)過程中僅需使用免費(fèi)無標(biāo)注、具備恰當(dāng)實例分割結(jié)果的公共圖像集。得到的系統(tǒng)還可即拿即用，與其他自上而下的 3D 預(yù)測方法一道應(yīng)用，提供像素級 3D 理解。

代碼地址：https://github.com/nileshkulkarni/csm/

上述視頻中移動車輛的顏色是一致的，這表面該系統(tǒng)對正在移動和旋轉(zhuǎn)的對象生成不變的像素級嵌入。這種一致性可擴(kuò)展到特定實例，也可用于需要理解不同對象共性的場景中。

Facebook 提出的方法沒有直接學(xué)習(xí)兩張圖像之間的 2D 對應(yīng)關(guān)系，而是學(xué)習(xí) 2D 到 3D 的對應(yīng)，并確保 3D 到 2D 重新投影的一致性，這種一致性循環(huán)可作為學(xué)習(xí) 2D 到 3D 對應(yīng)關(guān)系的監(jiān)督信號。

例如，如果我們訓(xùn)練一個系統(tǒng)去學(xué)習(xí)坐在椅子上的正確位置或者握杯子的合適位置，則學(xué)到的表征應(yīng)在系統(tǒng)理解坐在另外一把椅子的合適位置或如何握住另一只杯子的時候依然有用。此類任務(wù)不僅能夠深化對傳統(tǒng) 2D 圖像和視頻內(nèi)容的理解，還可以通過遷移對象表征提升 AR/VR 體驗。關(guān)于標(biāo)準(zhǔn)表面映射的更多信息，參見：https://research.fb.com/publications/canonical-surface-mapping-via-geometric-cycle-consistency/

在目前的 3D 系統(tǒng)中，改進(jìn)目標(biāo)檢測的基礎(chǔ)要素

隨著前沿技術(shù)（如掃描 3D 空間的自動智能體和系統(tǒng)）的發(fā)展，我們需要推進(jìn)針對 3D 數(shù)據(jù)的目標(biāo)檢測機(jī)制。在這些案例中，3D 場景理解系統(tǒng)需要了解場景中有哪些對象以及它們的位置，以支持導(dǎo)航等高級任務(wù)。Facebook 對已有系統(tǒng)進(jìn)行了改進(jìn)，提出了高度準(zhǔn)確的端到端 3D 目標(biāo)檢測網(wǎng)絡(luò) VoteNet，該網(wǎng)絡(luò)專為點云設(shè)計，相關(guān)論文《Deep Hough Voting for 3D Object Detection in Point Clouds》獲得了 ICCV 2019 最佳論文提名。與依賴 2D 圖像信號的傳統(tǒng)系統(tǒng)不同，VoteNet 是首批僅依賴 3D 點云數(shù)據(jù)的系統(tǒng)。該方法比之前研究更加高效，識別準(zhǔn)確率也更高。

VoteNet 開源地址：https://github.com/facebookresearch/votenet

VoteNet 在 3D 目標(biāo)檢測任務(wù)上的性能超過了之前所有方法，獲得了當(dāng)前最優(yōu) 3D 檢測結(jié)果，在 SUN RGB-D 和 ScanNet 數(shù)據(jù)集上的性能較之之前方法至少提升了 3.7 和 18.4 mAP。VoteNet 優(yōu)于之前方法的原因是：僅使用幾何信息，不依賴標(biāo)準(zhǔn)彩色圖像。

VoteNet 設(shè)計簡單，模型緊湊，效率高，對全景圖像的處理速度約為 100 毫秒，內(nèi)存占用也比之前方法小。該方法以深度相機(jī)獲得的 3D 點云作為輸入，返回對象的 3D 邊界框，且標(biāo)明對象的語義類別。

VoteNet 架構(gòu)圖示。

受經(jīng)典 Hough voting 算法啟發(fā)，F(xiàn)acebook 提出了一種投票機(jī)制。利用該機(jī)制可生成緊鄰對象中心的新點，將這些點分組并聚合以生成邊界框候選。使用通過深度神經(jīng)網(wǎng)絡(luò)學(xué)得的投票基本思路，一組 3D 種子點投票競爭對象中心，以恢復(fù)對象的位置和類別。

隨著 3D 掃描儀在現(xiàn)實中的使用，尤其是在自動駕駛汽車、生物醫(yī)學(xué)等領(lǐng)域的普遍應(yīng)用，通過定位和分類 3D 場景中的對象來實現(xiàn)對 3D 內(nèi)容的語義理解變得尤為重要。向 2D 攝像頭補(bǔ)充一些更先進(jìn)的深度相機(jī)傳感器以方便 3D 識別，這可以幫助我們捕捉到任意給定場景的更穩(wěn)健視圖。使用 VoteNet，系統(tǒng)可以更好地識別出場景中的主要對象，并支持放置虛擬對象、導(dǎo)航和 LiveMap 構(gòu)建等任務(wù)。

開發(fā)對現(xiàn)實世界具備更多了解的系統(tǒng)

3D 計算機(jī)視覺領(lǐng)域存在很多開放性研究問題，F(xiàn)acebook 正在試驗多個問題陳述、技術(shù)和監(jiān)督方法，正如過去探索推動 2D 理解的最佳方式一樣。隨著數(shù)字世界更多地使用 3D 圖像和浸入式 AR/VR 體驗等產(chǎn)品，我們需要持續(xù)推進(jìn)更準(zhǔn)確理解視覺場景并與其中對象互動的復(fù)雜系統(tǒng)的開發(fā)。 當(dāng) AI 系統(tǒng)與其他感官結(jié)合起來時，如觸覺和自然語言理解，這些系統(tǒng)（如虛擬助手）可以更加無縫地發(fā)揮作用。這一前沿研究幫助我們向著構(gòu)建和人類一樣更直觀理解三維世界的 AI 系統(tǒng)更進(jìn)了一步。

本文介紹的研究論文已被 ICCV 2019 接收，還有一些新的計算機(jī)視覺工作，包括：

SlowFast：使用不同幀率的輸入從視頻中提取信息的方法。

TensorMask：使用密集的滑動窗口技術(shù)執(zhí)行目標(biāo)分割的方法。

審核編輯 ：李倩