作者：Young ?| 來源：?半杯茶的小酒杯

為了實(shí)現(xiàn)多傳感器數(shù)據(jù)的統(tǒng)一表達(dá)(Unified Representation)，以前常規(guī)的方法：

1）Lidar-To-Camera: 將激光雷達(dá)點(diǎn)云投影到圖像上，使用2D CNN算法來完成數(shù)據(jù)處理。它會(huì)造成嚴(yán)重的幾何扭曲(如下圖a)，影響3D Object Recognition等Geometric-Oriented任務(wù)的效果。

2）Camera-To-Lidar: 用Semantic Labels、CNN特征等信息增強(qiáng)點(diǎn)云，然后使用LiDAR-based Detector來預(yù)測(cè)3D Bounding Boxes。這種Point-Level Fusion的方法丟失了語義信息，在Semantic-Oriented任務(wù)中表現(xiàn)不佳(如下圖b)。

BEV Fusion Method

BEVFusion在BEV空間實(shí)現(xiàn)了統(tǒng)一的多模態(tài)特征表達(dá)，同時(shí)保留幾何結(jié)構(gòu)和語義信息。

BEVFusion對(duì)不同模態(tài)的輸入采取不同的編碼器(Encodes)來提取Features，這種方法既保留了幾何信息，又保留了語義特征信息；然后使用Fully-Convolutional BEV Encoder融合多模態(tài)的Features，緩解不用特征之間的局部偏準(zhǔn)(Local Misalignment)；最后添加一些特定Head來支持不同的3D場(chǎng)景理解。

BEVFusion優(yōu)化后的BEV Pooling實(shí)現(xiàn)了40x的速度提升；它比Camera-Only的模型實(shí)現(xiàn)了6%的mIOU提升，比Lidar-Only的模型實(shí)現(xiàn)了13.6%的mIOU的提升。

Camera-to-BEV Transformation

Camera-to-BEV的變換首先要解決每個(gè)像素的Depth問題，文中采用了與論文LSS(Lift, Splat, Shoot)的方法來預(yù)測(cè)每個(gè)像素的離散深度分布。

如下圖所示，對(duì)每個(gè)Feature Pixel沿射線假設(shè)D個(gè)離散點(diǎn)(每個(gè)像素對(duì)應(yīng)D個(gè)空間位置)，每個(gè)離散點(diǎn)的可能性對(duì)應(yīng)一個(gè)歸一化的概率。

所有的Camera特征組合在一起，形成NHWD的Camera Feature點(diǎn)云，N是Camera的個(gè)數(shù)，HW是每個(gè)Camera Feature Map的大小。

沿著x，y兩個(gè)方向，按照rxr的BEV網(wǎng)格，使用BEV Pooling對(duì)Camera Feature點(diǎn)云進(jìn)行聚合量化。

最后，沿z軸Flatten這些特征。

這個(gè)過程中的BEV Pooling耗時(shí)嚴(yán)重，作者提出了Precomputation和Interval Reduction解決這個(gè)問題。

Precomputation

相機(jī)的外參是固定的，內(nèi)參也是固定的，相機(jī)的射線上采樣的D個(gè)離散點(diǎn)的采樣間隔也是已知的，因此Camera Feature點(diǎn)云的每個(gè)點(diǎn)的x和y坐標(biāo)是固定的，每個(gè)點(diǎn)在哪個(gè)BEV Grid中也是不變的。因此可以通過預(yù)計(jì)算的方式提前計(jì)算好，之后直接用即可。

Interval Reduction

LSS使用Prefix Sum計(jì)算每個(gè)BEV Grid的聚合結(jié)果。

如上圖所示，index是網(wǎng)格的編號(hào)，BEV Pooling的目標(biāo)是將相同index的Value加起來，即將同一個(gè)網(wǎng)格內(nèi)的特征聚合在一起。

Pref.sum是一個(gè)累加和。1=1，4=1+3，11=1+3+7，10=1+3+7+(-1)，…

Pref.sum只是一個(gè)中間結(jié)果，用來輔助計(jì)算最終的聚合值。在Index變化時(shí)，減去前一個(gè)index的Pref.sum值，得到聚合結(jié)果result。

LSS的Prefix Sum可以看做是單線程的計(jì)算過程，本文直接使用Specialized GPU Kernel對(duì)多個(gè)BEV Grid獨(dú)立并發(fā)計(jì)算，沒有計(jì)算和存儲(chǔ)前綴和的開銷，大大加速了計(jì)算過程。

優(yōu)化后的BEV Pooling將Camera-To-BEV Transformation提升了40倍，Latency從500+ms降低到12ms。

Fully-Convolutional Fusion

Lidar和Camera的BEV Features可以簡單的用Elementwise Operator(比如Concatenation)來做Fusion。

由于Depth估計(jì)的誤差，Lidar BEV Features和Camera BEV Features可能會(huì)存在Spatially Misaligned的問題，因此需要Convolution-based BEV Encoder來解決這類問題。

class ConvFuser(nn.Sequential):
    def __init__(self, in_channels: int, out_channels: int) -> None:
        self.in_channels = in_channels
        self.out_channels = out_channels
        super().__init__(
            nn.Conv2d(sum(in_channels), out_channels, 3, padding=1, bias=False),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(True),
        )

    def forward(self, inputs: List[torch.Tensor]) -> torch.Tensor:
        return super().forward(torch.cat(inputs, dim=1))

效果測(cè)試

C是camera模態(tài)，L是LiDAR模態(tài)，MACs用于評(píng)估計(jì)算量，Latency是延時(shí)，BEVFusion結(jié)合了Camera模態(tài)和LiDAR模態(tài)，達(dá)到了SOTA，并且計(jì)算量和Latency也比較低。

在nuScenes的BEV Map Segmentation中，BEVFusion達(dá)到了SOTA，并且對(duì)不同的地圖元素的Segmentation Performance都有提升。

在晴天、雨天、白天、夜晚場(chǎng)景下，BEVFusion都有不錯(cuò)的表現(xiàn)。

BEVFusion對(duì)于大物體、小物體、遠(yuǎn)處的物體、近處的物體的Performance都有提升；并且它在稀疏的Lidar波束上仍有不錯(cuò)的表現(xiàn)。

編輯：黃飛