基于深度學(xué)習(xí)的3D點云實例分割方法

作者：PCIPG-HAY

現(xiàn)有的 3D 實例分割方法以自下而上的設(shè)計為主——手動微調(diào)算法將點分組為簇，然后是細(xì)化網(wǎng)絡(luò)。然而，由于依賴于聚類的質(zhì)量，當(dāng)（1）具有相同語義類的附近對象被打包在一起，或（2）具有松散連接區(qū)域的大型對象時，這些方法會產(chǎn)生容易受到影響的結(jié)果。為了解決這些限制，我們引入了 ISBNet，這是一種新穎的cluster-free方法，它將實例表示為內(nèi)核并通過動態(tài)卷積解碼實例掩碼。為了有效地生成高召回率和判別力的內(nèi)核，我們提出了一種名為“實例感知最遠(yuǎn)點采樣”的簡單策略來對候選進(jìn)行采樣，并利用受 PointNet++ 啟發(fā)的本地聚合層對候選特征進(jìn)行編碼。此外，我們還表明，在動態(tài)卷積中預(yù)測和利用 3D 軸對齊邊界框可以進(jìn)一步提高性能。我們的方法在 ScanNetV2 (55.9)、S3DIS (60.8) 和 STPLS3D (49.2) 上的 AP 上設(shè)置了新的最先進(jìn)結(jié)果，并保留了快速推理時間（ScanNetV2 上每個場景 237 毫秒）。

1.引言

3D實例分割（3DIS）是3D領(lǐng)域深度學(xué)習(xí)的核心問題。給定由點云表示的 3D 場景，我們尋求為每個點分配語義類和唯一的實例標(biāo)簽。 3DIS 是一項重要的 3D 感知任務(wù)，在自動駕駛、增強現(xiàn)實和機(jī)器人導(dǎo)航等領(lǐng)域有著廣泛的應(yīng)用，其中可以利用點云數(shù)據(jù)來補充 2D 圖像提供的信息。與 2D 圖像實例分割 (2DIS) 相比，3DIS 可以說更難，因為外觀和空間范圍的變化更大，而且點云分布不均勻，即靠近物體表面密集而其他地方稀疏。因此，將 2DIS 方法應(yīng)用于 3DIS 并非易事。

3DIS 的典型方法是 DyCo3D，采用動態(tài)卷積來預(yù)測實例掩碼。具體來說，點被聚類、體素化，并通過 3D Unet 生成實例內(nèi)核，用于與場景中所有點的特征進(jìn)行動態(tài)卷積。這種方法如圖 2 (a) 所示。然而，這種方法有一些局限性。首先，聚類算法嚴(yán)重依賴質(zhì)心偏移預(yù)測，其質(zhì)量在以下情況下顯著惡化：(1) 對象密集，導(dǎo)致兩個對象可能被錯誤地組合在一起作為一個對象，或 (2) 各部分連接松散的大型對象結(jié)果聚類在不同的對象中。這兩種情況如圖 1 所示。其次，點的特征主要編碼對象外觀，其不足以區(qū)分不同的實例，特別是在具有相同語義類的對象之間。這里也推薦「3D視覺工坊」新課程《三維點云處理：算法與實戰(zhàn)匯總》。

圖 1. 在 DyCo3D中，內(nèi)核預(yù)測質(zhì)量很大程度上受到基于質(zhì)心的聚類算法的影響，該算法有兩個問題：1 對附近實例進(jìn)行錯誤分組，2 將大對象過度分割成多個片段。我們的方法通過實例感知點采樣解決了這些問題，取得了更好的結(jié)果。每個樣本點都會聚合來自其本地上下文的信息，以生成用于預(yù)測其自己的對象掩碼的內(nèi)核，并且最終實例將由 NMS 進(jìn)行過濾和選擇。

為了解決 DyCo3D 的局限性，我們提出了 ISBNet，這是一種用于 3DIS 的無集群框架，具有實例感知最遠(yuǎn)點采樣和框感知動態(tài)卷積。首先，我們重新審視最遠(yuǎn)點采樣（FPS）和大量聚類方法，發(fā)現(xiàn)這些算法產(chǎn)生的實例召回率相當(dāng)?shù)汀＝Y(jié)果，在后續(xù)階段遺漏了許多對象，導(dǎo)致性能不佳。受此啟發(fā)，我們提出了實例感知最遠(yuǎn)點采樣（IA-FPS），其目的是在具有高實例召回率的 3D 場景中對查詢候選進(jìn)行采樣。然后，我們介紹點聚合器，將 IA-FPS 與本地聚合層結(jié)合起來，將實例的語義特征、形狀和大小編碼為實例特征。

此外，對象的 3D 邊界框是現(xiàn)有的監(jiān)督，但尚未在 3D 實例分割任務(wù)中進(jìn)行探索。因此，我們在模型中添加一個輔助分支來聯(lián)合預(yù)測每個實例的軸對齊邊界框和二進(jìn)制掩碼。地面實況軸對齊邊界框是從現(xiàn)有實例掩碼標(biāo)簽推導(dǎo)出來的。與 Mask-DINO和 CondInst不同，輔助邊界框預(yù)測僅用作學(xué)習(xí)過程的正則化，我們將其用作動態(tài)卷積中的額外幾何線索，從而進(jìn)一步提高了實例分割任務(wù)。

為了評估我們方法的性能，我們對三個具有挑戰(zhàn)性的數(shù)據(jù)集進(jìn)行了廣泛的實驗：ScanNetV2 、S3DIS和 STPLS3D。 ISBNet 不僅在這三個數(shù)據(jù)集中實現(xiàn)了最高的準(zhǔn)確率，在 ScanNetV2、S3DIS 和 STPLS3D 上超過了最強的方法 +2.7/3.4/3.0，而且還表現(xiàn)出很高的效率，在 ScanNetV2 上每個場景的運行時間為 237ms?？偠灾?，我們的工作貢獻(xiàn)如下：

(i) 我們提出了 ISBNet，一種 3DIS 的cluster-free范例，它利用實例感知的最遠(yuǎn)點采樣和點聚合器來生成實例特征集。

(ii) 我們首先介紹使用軸對齊邊界框作為輔助監(jiān)督，并提出框感知動態(tài)卷積來解碼實例二進(jìn)制掩碼。

(iii) ?ISBNet 在三個不同數(shù)據(jù)集上實現(xiàn)了最先進(jìn)的性能：ScanNetV2、S3DIS 和 STPLS3D，無需對每個數(shù)據(jù)集的模型架構(gòu)和超參數(shù)調(diào)整進(jìn)行全面修改。

2.相關(guān)工作

**2D 圖像實例分割 (2DIS) **涉及為圖像中的每個像素分配實例標(biāo)簽和語義標(biāo)簽之一。它的方法可以分為三組：基于提案的方法、無提案的方法和基于 DETR 的方法。對于基于提案的方法，利用對象檢測器（例如 Faster-RCNN）來預(yù)測對象邊界框，以分割檢測到的框內(nèi)的前景區(qū)域。對于無提議方法，SOLO 和 CondInst 使用特征圖預(yù)測動態(tài)卷積的實例內(nèi)核以生成實例掩碼。對于基于 DETR 的方法，Mask2Former和 Mask-DINO采用帶有實例查詢的轉(zhuǎn)換器架構(gòu)來獲取每個實例的分割。與 3DIS 相比，由于 2D 圖像的結(jié)構(gòu)化、基于網(wǎng)格和密集的特性，2DIS 可以說更容易。因此，將 2DIS 方法應(yīng)用于 3DIS 并非易事。

3D 點云實例分割 (3DIS) 方法

感興趣的是使用語義類和唯一實例 ID 來標(biāo)記 3D 點云中的每個點。它們可以分為基于提議的方法、基于聚類的方法和基于動態(tài)卷積的方法。

基于提案的方法首先檢測 3D 邊界框，然后分割每個框內(nèi)的前景區(qū)域以形成實例。 3D-SIS 將 Mask R-CNN 架構(gòu)應(yīng)用于 3D 實例分割，并聯(lián)合學(xué)習(xí) RGB 圖像和 3D 點云兩種模式的特征。 3D-BoNet從總結(jié)場景內(nèi)容的全局特征向量中預(yù)測固定數(shù)量的 3D 邊界框，然后分割每個框內(nèi)的前景點。這種方法的局限性在于，實例掩模的性能很大程度上取決于 3D 邊界框的質(zhì)量，由于 3D 點云的巨大變化和不均勻分布，3D 邊界框非常不穩(wěn)定。

基于聚類的方法學(xué)習(xí)潛在嵌入，有助于將點分組到實例中。 PointGroup預(yù)測從每個點到其實例質(zhì)心的 3D 偏移，并從兩個點云獲取簇：原始點和質(zhì)心偏移點。 HAIS提出了一種層次聚類方法，其中小簇可以被較大的簇過濾掉或吸收。 SoftGroup提出了一種軟分組策略，其中每個點可以屬于具有不同語義類別的多個簇，以減輕語義預(yù)測誤差。基于聚類的方法的局限性之一是實例掩模的質(zhì)量很大程度上取決于聚類的質(zhì)量，即質(zhì)心預(yù)測，這是非常不可靠的，特別是當(dāng)測試對象在空間范圍上與訓(xùn)練對象有很大不同時。

基于動態(tài)卷積的方法通過生成內(nèi)核，然后使用它們與點特征進(jìn)行卷積來生成實例掩碼，來克服基于提案和基于聚類的方法的局限性。 DyCo3D采用中的聚類算法來生成動態(tài)卷積的內(nèi)核。 PointInst3D使用最遠(yuǎn)點采樣來代替中的聚類來生成內(nèi)核。 DKNet [38]引入候選挖掘和候選聚合來為動態(tài)卷積生成更具辨別力的實例內(nèi)核。
我們的方法是一種基于動態(tài)卷積的方法，在內(nèi)核生成和動態(tài)卷積方面有兩個重要的改進(jìn)。特別是，在前者中，我們提出了一種新的實例編碼器，將實例感知的最遠(yuǎn)點采樣與點聚合層相結(jié)合，以生成內(nèi)核來取代 DyCo3D 中的聚類。在后者中，我們不僅使用動態(tài)卷積的外觀特征，還使用幾何提示（即邊界框預(yù)測）增強了該特征。

3.本文方法

圖 2. DyCo3D 的總體架構(gòu)（塊 (a)）和我們的 3DIS 方法（塊 (b)）。給定點云，使用 3D 主干來提取每點特征。對于 DyCo3D，它首先根據(jù)每個點的預(yù)測對象質(zhì)心將點分組為簇，為每個簇生成一個內(nèi)核。同時，掩模頭將每點特征轉(zhuǎn)換為掩模特征以進(jìn)行動態(tài)卷積。對于我們的 ISBNet 方法，我們用一種新穎的基于采樣的實例編碼器替換了聚類算法，以獲得更快、更魯棒的內(nèi)核、框和類預(yù)測。此外，逐點預(yù)測器取代了 DyCo3D 的掩碼頭，以輸出掩碼和框特征，用于新的框感知動態(tài)卷積，以生成更準(zhǔn)確的實例掩碼。

問題陳述：給定一個 3D 點云，其中 N 是點的數(shù)量，每個點由 3D 位置和 RGB 顏色向量表示。我們的目標(biāo)是將點云分割成 K 個實例，這些實例由一組二進(jìn)制掩碼和一組語義標(biāo)簽表示，其中 C 是語義類別的數(shù)量。

我們的方法由四個主要組件組成：3D 主干網(wǎng)絡(luò)、逐點預(yù)測器、基于采樣的實例編碼器和盒感知動態(tài)卷積。 3D 主干網(wǎng)采用 3D 點云作為輸入來提取每個點特征。我們的主干網(wǎng)絡(luò)提取特征其中 i = 1,... ?, N 為輸入點云的每個點。我們遵循之前的方法，采用帶有稀疏卷積的 U-Net 作為主干。逐點預(yù)測器從主干網(wǎng)絡(luò)獲取每點特征并將其轉(zhuǎn)換為逐點語義預(yù)測、軸對齊邊界框預(yù)測和用于框感知動態(tài)卷積的掩模特征?；诓蓸拥膶嵗壘幋a器（第 3.1 節(jié)）處理逐點特征以生成實例內(nèi)核、實例類標(biāo)簽和邊界框參數(shù)。最后，盒子感知動態(tài)卷積（第 3.2 節(jié)）獲取實例內(nèi)核和掩碼特征以及互補框預(yù)測，以生成每個實例的最終二進(jìn)制掩碼。我們的方法的概述如圖 2 所示。

3.1基于采樣的實例編碼器

給定主干網(wǎng)輸出的每點特征，我們的目標(biāo)是產(chǎn)生實例特征，其中 K ? N 。實例特征E被用于預(yù)測實例分類分?jǐn)?shù) 、實例框和實例內(nèi)核，其中 H′ 由動態(tài)卷積中卷積層的大小決定。
通常，可以采用最遠(yuǎn)點采樣 (FPS)對一組 K 個候選進(jìn)行采樣，以生成實例內(nèi)核。 FPS 通過使用成對距離選擇距先前采樣點最遠(yuǎn)的下一個點來貪婪地采樣 3D 坐標(biāo)中的點。然而，這種采樣技術(shù)較差。首先，F(xiàn)PS采樣的K個候選點中有很多屬于背景類別的點，浪費了計算資源。其次，大物體在采樣點的數(shù)量中占主導(dǎo)地位，因此不會從小物體中采樣任何點。第三，逐點特征無法捕獲本地上下文來創(chuàng)建實例內(nèi)核。我們在選項卡中提供分析。 1 來驗證這一觀察結(jié)果。特別是，我們計算了內(nèi)核預(yù)測的實例數(shù)量相對于總的真實實例的召回率。召回值應(yīng)該很大，因為我們期望對真實實例上的聚類或采樣點進(jìn)行良好的覆蓋。然而，可以看出，以前的方法的召回率較低，這可以解釋為這些方法沒有考慮點聚類或采樣的實例。

為了解決這個問題，我們提出了一種新穎的基于采樣的實例編碼器，它在點采樣步驟中考慮了實例。受 PointNet++中的Set Abstraction的啟發(fā)，我們指定實例編碼器包含一系列點聚合器 (PA) 塊，其組件是實例感知 FPS (IA-FPS)，以對覆蓋盡可能多的前景對象的候選點進(jìn)行采樣，并且本地聚合層捕獲本地上下文，從而單獨豐富候選特征。我們將圖 2 中橙色塊中的 PA 可視化，并在下面詳細(xì)介紹我們的采樣。

實例感知 FPS。我們的采樣策略是對前景點進(jìn)行采樣，以最大程度地覆蓋所有實例，無論其大小如何。為了實現(xiàn)這一目標(biāo)，我們選擇如下迭代采樣技術(shù)。具體來說，候選者是從一組點中采樣的，這些點既不是背景也不是先前采樣的候選者選擇的。我們使用逐點語義預(yù)測來估計每個點成為背景的概率。我們還使用由前 k 個候選生成的實例掩碼。利用 FPS 從點集 P′ ? P 中采樣點：

（1）
其中 K′ 是已選擇的候選者的數(shù)量，τ 是超參數(shù)閾值。

實際上，在訓(xùn)練中，由于實例掩碼預(yù)測不足以指導(dǎo)實例采樣，因此從預(yù)測的前景掩碼中一次性采樣 K 個候選者。另一方面，在測試中，我們迭代地采樣較小的塊一個接一個地使得后續(xù)塊既不會從背景點采樣，也不會從屬于先前塊的預(yù)測掩模的點采樣。通過這樣做，IA-FPS 的召回率提高了很多，如表 1 所示。

本地聚合層。對于每個候選 k，本地聚合層將本地上下文編碼并轉(zhuǎn)換為其實例特征。具體來說，采用 Ball-query [29] 來收集其 Q 個局部鄰居作為局部特征。此外，計算候選者 k 與其鄰居 q 之間的相對坐標(biāo)，并用鄰域半徑 r 進(jìn)行歸一化以形成局部坐標(biāo)，或。接下來，我們使用 MLP 層將局部特征和局部坐標(biāo) 轉(zhuǎn)換為候選 k 的實例特征。我們還添加了與原始特征的殘差連接以避免梯度消失。具體來說，實例級特征可以計算為：

（2）

在哪里 [·; ·]表示串聯(lián)運算。從 E 開始，使用線性層來預(yù)測實例分類分?jǐn)?shù) L、實例框 B 和實例內(nèi)核 W。

值得注意的是，為了獲得實例級特征 E，我們不使用單個 PA 塊，而是提出了一種漸進(jìn)的方法，即順序應(yīng)用多個 PA 塊。這樣，后續(xù)塊將從前一個塊采樣的較少數(shù)量的點中進(jìn)行采樣。這樣做與在 2D 圖像中堆疊多個卷積層以增加感受野具有相同的效果。

3.2包絡(luò)盒感知的動態(tài)卷積

在[16,17,38]的動態(tài)卷積中，對于每個候選k，所有點w.r.t k的相對位置，和逐點掩碼特征被連接起來與實例核進(jìn)行卷積，得到實例二進(jìn)制掩碼，其中 Conv 被實現(xiàn)為多個卷積層。然而，我們認(rèn)為僅使用掩模特征和位置并不是最優(yōu)的。例如，當(dāng)僅使用 3D 中的掩模特征和位置時，類相同的相鄰對象邊界附近的點彼此無法區(qū)分。

另一方面，3D 邊界框描繪了對象的形狀和大小，這為實例分割中對象掩模的預(yù)測提供了重要的幾何線索。我們的方法使用邊界框預(yù)測作為規(guī)范化實例分割的輔助任務(wù)訓(xùn)練。特別是，對于每個點，我們建議回歸從對象掩模推導(dǎo)出來的軸對齊邊界框。然后使用預(yù)測框來調(diào)節(jié)掩模特征，以生成框感知動態(tài)卷積的內(nèi)核（參見圖 2 中的綠色塊）。每個邊界框由 6D 向量參數(shù)化，表示實例點坐標(biāo)的最小和最大邊界。值得注意的是，我們選擇使用軸對齊的邊界框，因為地面實況框基本上是免費的，因為它們可以很容易地從地面實況實例注釋構(gòu)建。
因此，我們建議使用預(yù)測框作為動態(tài)卷積中的附加幾何線索，給出我們提出的框感知動態(tài)卷積的名稱。直觀上，如果兩個點的預(yù)測框相似，則它們將屬于同一對象。我們的最終實例掩碼第 k 個候選者獲得為：
（3）
幾何特征可以根據(jù)第 k 個候選實例預(yù)測的邊界框與輸入點云 P 中的 N 個點的絕對差計算得出，即。

3.3網(wǎng)絡(luò)訓(xùn)練

我們使用 Pointwise Loss 和 Instance-wise Loss 來訓(xùn)練我們的方法。前者是在逐點預(yù)測中產(chǎn)生的，即語義分割的交叉熵?fù)p失，以及邊界框回歸的L1損失和gIoU損失[31]。后者是在每個實例預(yù)測中發(fā)生的，即分類、框預(yù)測和掩模預(yù)測，使用[20]提出的用于 2D 對象檢測的一對多匹配損失。具體來說，匹配成本是實例分類和實例掩碼的組合：
（4）
其中是兩個掩模之間的骰子損失。準(zhǔn)確地說，通過在匈牙利匹配中復(fù)制地面實況 S 次，將 S 個預(yù)測掩碼與一個地面實況掩碼進(jìn)行匹配。這樣，訓(xùn)練收斂速度要快得多，并且掩模預(yù)測性能比 DETR提出的一對一匹配要好。然后，真實掩碼與其匹配的預(yù)測掩碼之間產(chǎn)生的實例損失定義為：
（5）
其中Lcls是交叉熵?fù)p失，是dice損失和BCE損失的組合，是L1損失和gIoU損失的組合，是Mask-Scoring損失。

4.實驗

4.1實驗設(shè)計

數(shù)據(jù)集。我們在三個數(shù)據(jù)集上評估我們的方法：ScanNetV2 [8]、S3DIS [1] 和 STPLS3D [4]。 ScanNetV2 數(shù)據(jù)集由 1201、312 和 100 個掃描組成，分別具有 18 個對象類，用于訓(xùn)練、驗證和測試。與之前的工作一樣，我們報告了 ScanNetV2 驗證集和測試集的評估結(jié)果。 S3DIS數(shù)據(jù)集包含來自6個區(qū)域、13個類別的271個場景。我們報告了區(qū)域 5 和區(qū)域 6 交叉驗證的評估。 STPLS3D 數(shù)據(jù)集是來自真實世界和合成環(huán)境的航空攝影測量點云數(shù)據(jù)集。它包括25個總面積為6平方公里的城市場景和14個實例類別。繼[5, 34]之后，我們使用場景 5、10、15、20 和 25 進(jìn)行驗證，其余部分進(jìn)行訓(xùn)練。

評估指標(biāo)。采用物體檢測和實例分割任務(wù)常用的平均精度，即AP50和AP25分別是IoU閾值50%和25%時的分?jǐn)?shù)，AP是IoU閾值50%到95%時的平均分?jǐn)?shù)，步長為 5%。 Box AP 表示 3D 軸對齊邊界框預(yù)測的平均精度。此外，還使用平均覆蓋率 (mCov)、平均加權(quán)覆蓋率 (mWCov)、平均精度 (mPrec50) 和平均召回率 (mRec50) 進(jìn)行評估，IoU 閾值為 50%。

實施細(xì)節(jié)。我們使用 PyTorch 深度學(xué)習(xí)框架 [27] 實現(xiàn)我們的模型，并在單個 V100 GPU 上使用 AdamW 優(yōu)化器對其進(jìn)行 320 個時期的訓(xùn)練。批量大小設(shè)置為 16。學(xué)習(xí)率初始化為 0.004，并通過余弦退火進(jìn)行調(diào)度 [41]。根據(jù)[34]，我們將 ScanNetV2 和 S3DIS 的體素大小設(shè)置為 0.02m，將 STPLS3D 的體素大小設(shè)置為 0.3m，因為它的稀疏性和更大的規(guī)模。在訓(xùn)練中，場景被隨機(jī)裁剪，最大數(shù)量為 250,000 個點。在測試中，整個場景都被輸入網(wǎng)絡(luò)而不進(jìn)行裁剪。我們使用與[34]中相同的主干設(shè)計，輸出 32 個通道的特征圖?；诓蓸拥膶嵗兄幋a器中使用了兩層 PA 的堆棧。 τ 設(shè)置為 0.5。我們將這兩層的球查詢半徑 r 設(shè)置為 0.2 和 0.4，并將兩層的鄰居數(shù)量 Q = 32。我們還實現(xiàn)了具有隱藏維度為 32 的兩層的盒感知動態(tài)卷積。γmask 設(shè)置為 5。λbox、λmask 和 λms 分別設(shè)置為 1、5 和 1。在訓(xùn)練中，我們設(shè)置 S = 4 和 K = 256。在推理中，我們設(shè)置 K = 384 并使用非極大值抑制來刪除閾值為 0.2 的冗余掩模預(yù)測。遵循[14,26,38]，我們利用超級點[23,24]來對齊ScanNetV2數(shù)據(jù)集上的最終預(yù)測掩模。

4.2主要結(jié)果

ScanNetV2。我們在表2中報告隱藏測試集的實例分割結(jié)果，在表3中的驗證集上報告了目標(biāo)檢測和實例分割的結(jié)果。 ?在隱藏測試集上，ISBNet 在 AP/AP50 中取得了 55.9/76.6 的成績，在 ScanNetV2 基準(zhǔn)上創(chuàng)下了新的 state-of-the-art 性能。在驗證集上，我們提出的方法以較大的優(yōu)勢超越了第二好的方法，在 AP/AP50/AP25 中為 +3.7/5.5/3.6，在 Box AP50/Box AP25 中為 +2.6/6.5。

表 2. ScanNetV2 隱藏測試集上的 3D 實例分割結(jié)果（以 AP 分?jǐn)?shù)表示）。最好的結(jié)果以粗體顯示，次好的結(jié)果以下劃線顯示。我們提出的方法實現(xiàn)了最高的 AP，優(yōu)于之前最強的方法。

表 3. ScanNetV2 驗證集上的 3D 實例分割和 3D 對象檢測結(jié)果。
S3DIS。表 4 總結(jié)了 S3DIS 數(shù)據(jù)集的 5 區(qū)和 6 倍交叉驗證的結(jié)果。在 Area 5 和交叉驗證評估中，我們提出的方法在幾乎所有指標(biāo)上都大幅超越了最強的方法。在6倍交叉驗證評估中，我們在mCov/mWCov/mRec50中取得了74.9/76.8/77.1，與第二強的方法相比提高了+3.5/2.7/3.1。

表 4. S3DIS 數(shù)據(jù)集上的 3D 實例分割結(jié)果。標(biāo)有 ? 的方法在區(qū)域 5 上進(jìn)行評估，標(biāo)有 ? 的方法在 6 倍交叉驗證中進(jìn)行評估。

STPLS3D。表5顯示了STPLS3D數(shù)據(jù)集的驗證集上的結(jié)果。我們的方法在所有指標(biāo)中實現(xiàn)了最高的性能，并且在 AP/AP50 中超過了第二好的方法 +3.0/2.2。

表 5. STPLS3D 驗證集上的 3D 實例分割結(jié)果。

4.3定性結(jié)果

我們在圖 3 中可視化我們的方法 DyCo3D [16] 和 DKNet [38] 在 ScanNetV2 驗證集上的定性結(jié)果?？梢钥闯觯覀兊姆椒ǔ晒^(qū)分了具有相同語義類的附近實例。由于聚類的限制，DyCo3D [16] 錯誤分割了書架的部分（第 1 行）并合并了附近的沙發(fā)（第 2、3 行）。 DKNet [38] 過度分割了第 2 行中的窗口，并且還錯誤地合并了附近的沙發(fā)和桌子（第 3 行）。

圖 3. ScanNetV2 驗證集的代表性示例。每行顯示一個示例，前三列中包含輸入、語義基本事實和實例基本事實。我們的方法（最后一列）生成更精確的實例掩碼，特別是在具有相同語義標(biāo)簽的多個實例位于在一起的區(qū)域。

4.4消融實驗

我們對 ScanNetV2 數(shù)據(jù)集的驗證集進(jìn)行了一系列消融研究，以研究 ISBNet。

掩模損耗的不同組合的影響如表6所示。值得注意的是，結(jié)合使用二元交叉熵和骰子損失會產(chǎn)生最佳結(jié)果，AP 為 54.5。

表 6. ScanNetV2 驗證集上掩模損失的不同組合的消融研究。

各個組件對整體性能的影響

如表7所示。第 1 行中的 DyCo3D* 是我們對 DyCo3D 的重新實現(xiàn)，其主干與 [5,34,38] 相同，并且使用一對多匹配損失進(jìn)行訓(xùn)練。第 2 行中的基線是具有標(biāo)準(zhǔn)最遠(yuǎn)點采樣 (FPS)、標(biāo)準(zhǔn)動態(tài)卷積（如 [16,17,38] 中所示）且沒有本地聚合層 (LAL) 的模型。可以看出，替換 DyCo3D* 中的聚類和微小 Unet 使 AP 中的性能從 49.4 降低到 47.9。當(dāng)基線中的標(biāo)準(zhǔn) FPS 替換為實例感知最遠(yuǎn)點采樣 (IAFPS) 時，第 3 行的性能提高到 49.7。當(dāng)將 LAL 添加到基線模型時，第 4 行的 AP 分?jǐn)?shù)提高到 50.1，并且優(yōu)于DyCo3D* 的 AP 增加 0.7。只需將標(biāo)準(zhǔn)動態(tài)卷積替換為 Box-aware Dynamic Convolution (BA-DyCo)，第 5 行的 AP 即可獲得 +0.7。特別是，結(jié)合 IA-FPS 和 PA 可顯著提高性能，AP/AP50 中的 +5.5/+6.8第 6 行。最后，第 7 行的完整方法，ISBNet 在 AP/AP50 中實現(xiàn)了最佳性能 54.5/73.1。

表 7. ISBNet 每個組件對 ScanNetV2 驗證集的影響。 IA-FPS：實例感知最遠(yuǎn)點采樣，LAL：本地聚合層，BA-DyCo：盒子感知動態(tài)卷積。 *：我們的 DyCo3D 改進(jìn)版本 [16]。

軸對齊邊界框回歸的影響

如表 8所示。在不使用邊界框作為輔助監(jiān)督（Aux.）的情況下，我們的方法在 AP/AP50 中達(dá)到了 52.8/71.6。在訓(xùn)練過程中添加邊界框損失可以使 AP 提高 0.6。特別是，當(dāng)在動態(tài)卷積中使用邊界框作為額外的幾何線索（Geo.Cue）時，AP/AP50 中的結(jié)果顯著增加到 54.5/73.1。這證明了我們的主張，即 3D 邊界框是區(qū)分3D 點云中的實例的關(guān)鍵幾何線索。

表 8. 3D 軸對齊邊界框回歸的影響。

點聚合器 (PA) 塊數(shù)量的影響

如表 9所示。使用單塊 PA，我們的方法在 AP/AP50 中達(dá)到 53.2/72.5。堆疊兩個 PA 塊可在這些指標(biāo)中帶來 1.3/0.6 的增益。然而，當(dāng)我們添加更多塊時，AP/AP50 中的結(jié)果略有下降至 54.3/73.0。

表 9. 點聚合器 (PA) 塊的數(shù)量。

動態(tài)卷積不同設(shè)計的影響

如表 10 所示。這里，使用兩層具有 32 個隱藏通道的動態(tài)卷積給出了最好的結(jié)果。僅使用單層動態(tài)卷積會導(dǎo)致性能顯著下降。另一方面，添加太多層（即三層）會產(chǎn)生更差的結(jié)果。減少隱藏通道的數(shù)量會稍微降低性能。由于額外的幾何線索，即使只有 216 個動態(tài)卷積參數(shù)，我們的模型也可以在 AP/AP50 中達(dá)到 53.6/72.1，證明了盒子感知動態(tài)卷積的魯棒性。這里也推薦「3D視覺工坊」新課程《三維點云處理：算法與實戰(zhàn)匯總》。

表 10. Box-aware 動態(tài)卷積的消融。

IA-FPS 塊大小的消融。我們研究了表 11 中推理中 IA-FPS 采樣塊大小的不同設(shè)計。 11. 前三行顯示我們一次對 K 個候選樣本進(jìn)行采樣時的結(jié)果。將樣本數(shù)量從 256 增加到 384 會稍微提高整體性能，但在樣本數(shù)為 512 時，AP 結(jié)果下降到 53.6。當(dāng)將 K 分割為較小的大小塊 (192,128,64) 并根據(jù)式(192,128,64)采樣點時： (1)，最后一行的AP/AP50性能進(jìn)一步提升至54.5/73.1。

表 11. 迭代采樣的樣本塊大小的消融。

運行時分析。

圖 4 報告了同一 Titan X GPU 上 ISBNet 的組件和總運行時間以及 3DIS 的 5 種最新方法。所有方法都可以大致分為三個主要階段：主干、實例抽象器和掩碼解碼器。我們的方法是最快的方法，總運行時間僅為 237 毫秒，主干/實例抽象器/掩碼解碼器階段為 152/53/32 毫秒。與PointGroup [21]、DyCo3D [16]和SoftGroup [34]中基于聚類的實例抽象器相比，我們基于Point Aggregator的實例抽象器顯著減少了運行時間。我們的掩模解碼器是通過動態(tài)卷積實現(xiàn)的，是這些方法中第二快的。這證明了我們提出的方法的有效性。

圖 4. 組件和總運行時間（以毫秒為單位）以及之前五種方法的 AP 和 ScanNetV2 驗證集上的 ISBNet 的結(jié)果。

5.結(jié)論

在這項工作中，我們引入了 ISBNet，一種簡潔的基于動態(tài)卷積的方法來解決 3D 點云實例分割的任務(wù)?？紤]到實例分割模型的性能依賴于候選查詢的召回，我們提出了實例感知最遠(yuǎn)點采樣和點聚合器來有效地對 3D 點云中的候選進(jìn)行采樣。此外，利用 3D 邊界框作為輔助監(jiān)督和動態(tài)卷積的幾何提示進(jìn)一步提高了模型的準(zhǔn)確性。在 ScanNetV2、S3DIS 和 STPLS3D 數(shù)據(jù)集上進(jìn)行的大量實驗表明，我們的方法在所有數(shù)據(jù)集上都實現(xiàn)了穩(wěn)健且顯著的性能提升，大幅超越了 3D 實例分割中最先進(jìn)的方法，即 +2.7、+2.4、+ 3.0 在 ScanNetV2、S3DIS 和 STPLS3D 上的 AP 中。
我們的方法并非沒有局限性。例如，我們的實例感知 FPS 不能保證覆蓋所有實例，因為它依賴于當(dāng)前實例預(yù)測來做出點采樣決策。我們提出的軸對齊邊界框可能無法緊密貼合復(fù)雜實例的形狀。圖 5 顯示了一個硬箱，其中冰箱以柜臺為界。我們的模型無法區(qū)分這些點，因為它們共享相似的邊界框。解決這些限制可能會導(dǎo)致未來工作的改進(jìn)。此外，通過利用對象的幾何結(jié)構(gòu)（例如形狀和大?。﹣砀倪M(jìn)動態(tài)卷積的新研究將是一個有趣的研究課題。