對抗機器學(xué)習(xí)的最新研究開始關(guān)注自主駕駛中的視覺感知，并研究了目標(biāo)檢測模型的對抗示例。然而在視覺感知管道中，在被稱為多目標(biāo)跟蹤的過程中，檢測到的目標(biāo)必須被跟蹤，以建立周圍障礙物的移動軌跡。由于多目標(biāo)跟蹤被設(shè)計為對目標(biāo)檢測中的錯誤具有魯棒性，它對現(xiàn)有的盲目針對目標(biāo)檢測的攻擊技術(shù)提出了挑戰(zhàn):我們發(fā)現(xiàn)攻擊方需要超過98%的成功率來實際影響跟蹤結(jié)果，這是任何現(xiàn)有的攻擊技術(shù)都無法達(dá)到的。本文首次研究了自主駕駛中對抗式機器學(xué)習(xí)對完全視覺感知管道的攻擊，并發(fā)現(xiàn)了一種新的攻擊技術(shù)——軌跡劫持，該技術(shù)可以有效地使用目標(biāo)檢測的對抗示例欺騙多目標(biāo)跟蹤。使用我們的技術(shù)，僅在一個幀上成功的對抗示例就可以將現(xiàn)有物體移入或移出自駕車輛的行駛區(qū)域，從而造成潛在的安全危險。我們使用Berkeley Deep Drive數(shù)據(jù)集進(jìn)行評估，發(fā)現(xiàn)平均而言，當(dāng)3幀受到攻擊時，我們的攻擊可以有接近100%的成功率，而盲目針對目標(biāo)檢測的攻擊只有25%的成功率。

01

背景

自從Eykholt等人發(fā)現(xiàn)第一個針對交通標(biāo)志圖像分類的對抗示例以來，對抗式機器學(xué)習(xí)中的若干研究工作開始關(guān)注自動駕駛中的視覺感知，并研究物體檢測模型上的對抗示例。例如，Eykholt等人和鐘等人針對YOLO物體探測器研究了停車標(biāo)志或前車背面的貼紙形式的對抗示例, 并進(jìn)行室內(nèi)實驗，以證明攻擊在現(xiàn)實世界中的可行性。在這些工作的基礎(chǔ)上，最近趙等人利用圖像變換技術(shù)來提高戶外環(huán)境中這種對抗式貼紙攻擊的魯棒性，并且能夠在真實道路上以30 km/h的恒定速度行駛的汽車上實現(xiàn)72%的攻擊成功率。雖然之前研究的結(jié)果令人擔(dān)憂，但在自動駕駛或一般的機器人系統(tǒng)中，目標(biāo)檢測實際上只是視覺感知管道的前半部分——在后半部分，在一個稱為多目標(biāo)跟蹤的過程中，必須跟蹤檢測到的目標(biāo)，以建立周圍障礙物的移動軌跡。這對于隨后的駕駛決策過程是必需的，該過程需要構(gòu)建的軌跡來預(yù)測這些障礙物的未來移動軌跡，然后相應(yīng)地規(guī)劃駕駛路徑以避免與它們碰撞。為了確保目標(biāo)檢測中的高跟蹤精度和對錯誤的魯棒性，在多目標(biāo)跟蹤中，只有在多個幀中具有足夠一致性和穩(wěn)定性的檢測結(jié)果可以包括在跟蹤結(jié)果中，并且實際上影響駕駛決策。因此，自動駕駛視覺感知中的多目標(biāo)跟蹤對現(xiàn)有的盲目針對目標(biāo)檢測的攻擊技術(shù)提出了新的挑戰(zhàn)。例如，正如我們稍后在第3節(jié)中的分析所示，對目標(biāo)檢測的攻擊需要連續(xù)成功至少60幀才能欺騙典型的多目標(biāo)跟蹤過程，這需要至少98%的攻擊成功率。據(jù)我們所知，沒有現(xiàn)有的針對目標(biāo)檢測的攻擊能夠達(dá)到如此高的成功率。在本文中，我們首次研究了自動駕駛中考慮完全視覺感知管道的對抗性機器學(xué)習(xí)攻擊，即目標(biāo)檢測和目標(biāo)跟蹤，并發(fā)現(xiàn)了一種新的攻擊技術(shù)，稱為跟蹤器劫持，它可以用在目標(biāo)檢測上的對抗示例有效地欺騙多目標(biāo)跟蹤過程。我們的關(guān)鍵見解是，雖然很難直接為假對象創(chuàng)建軌跡或刪除現(xiàn)有對象的軌跡，但我們可以仔細(xì)設(shè)計對抗示例來攻擊多目標(biāo)跟蹤中的跟蹤誤差減少過程，以使現(xiàn)有對象的跟蹤結(jié)果偏離攻擊者希望的移動方向。這種過程旨在提高跟蹤結(jié)果的魯棒性和準(zhǔn)確性，但諷刺的是，我們發(fā)現(xiàn)攻擊者可以利用它來大大改變跟蹤結(jié)果。利用這種攻擊技術(shù)，少至一幀的對抗示例足以將現(xiàn)有物體移入或移出自主車輛的行駛區(qū)域，從而導(dǎo)致潛在的安全危險。我們從Berkeley Deep Drive數(shù)據(jù)集隨機抽樣的100個視頻片段中選擇20個進(jìn)行評估。在推薦的多目標(biāo)檢測配置和正常測量噪聲水平下，我們發(fā)現(xiàn)我們的攻擊可以在少至一幀和平均2到3個連續(xù)幀的對抗示例中成功。我們重復(fù)并比較了之前盲目針對目標(biāo)檢測的攻擊，發(fā)現(xiàn)當(dāng)攻擊連續(xù)3幀時，我們的攻擊成功率接近100%，而盲目針對對象檢測攻擊的成功率只有25%。

圖表 1自動駕駛中的完整視覺感知管道，即目標(biāo)檢測和多目標(biāo)跟蹤

本文貢獻(xiàn)

考慮到自動駕駛中完整的視覺感知管道，即目標(biāo)檢測和運動檢測，我們首次研究了對抗性機器學(xué)習(xí)攻擊。我們發(fā)現(xiàn)，在不考慮多目標(biāo)跟蹤的情況下，盲目針對目標(biāo)檢測的攻擊至少需要98%的成功率才能真正影響自動駕駛中的完整視覺感知管道，這是任何現(xiàn)有攻擊技術(shù)都無法達(dá)到的?！の覀儼l(fā)現(xiàn)了一種新的攻擊技術(shù)——軌跡劫持，它可以有效地利用物體檢測中的對抗示例來欺騙移動終端。這種技術(shù)利用了多目標(biāo)跟蹤中的跟蹤誤差減少過程，并且可以使僅在一幀內(nèi)成功的對抗示例將現(xiàn)有物體移入或移出自主車輛的行駛距離，從而導(dǎo)致潛在的安全危險?！な褂肂erkeley Deep Drive數(shù)據(jù)集進(jìn)行的攻擊評估表明，我們的攻擊可以在少至一幀、平均只有2到3個連續(xù)幀的情況下獲得成功，當(dāng)3個連續(xù)幀受到攻擊時，我們的攻擊成功率接近100%，而盲目針對目標(biāo)檢測的攻擊成功率僅為25%。

多目標(biāo)跟蹤

多目標(biāo)跟蹤的目的是識別視頻幀序列中的物體及其運動軌跡。隨著物體檢測的進(jìn)步，通過檢測進(jìn)行跟蹤已經(jīng)成為多目標(biāo)跟蹤的范例，其中檢測步驟識別圖像中的物體，跟蹤步驟將物體鏈接到軌跡(即軌跡)。如圖1所示，在時間t檢測到的每個物體將與動態(tài)模型(例如，位置、速度)相關(guān)聯(lián)，動態(tài)模型表示物體的過去軌跡(track| t1)。，每一條軌跡都用卡爾曼濾波器來維護(hù)狀態(tài)模型，其以預(yù)測-更新循環(huán)運行:預(yù)測步驟根據(jù)運動模型估計當(dāng)前對象狀態(tài)，更新步驟采用檢測結(jié)果detc|t 作為測量值來更新其狀態(tài)估計結(jié)果track|t。檢測到的物體與現(xiàn)有跟蹤器之間的關(guān)聯(lián)被公式化為二分匹配問題, 基于軌跡和被檢測對象之間的成對相似性損失，最常用的相似性度量是基于空間的損失，它測量邊界框或bbox之間的重疊量。為了減少這種關(guān)聯(lián)中的誤差，在卡爾曼濾波預(yù)測中需要精確的速度估計。由于攝像機幀的離散性，卡爾曼濾波器使用速度模型來估計下一幀中被跟蹤對象的位置，以補償幀間對象的運動。然而，如后面第3節(jié)中所述，這種錯誤減少過程意外地使得進(jìn)行跟蹤者劫持成為可能。多目標(biāo)跟蹤通過兩個閾值管理軌跡的創(chuàng)建和刪除。具體來說，只有當(dāng)對象被持續(xù)檢測到一定數(shù)量的幀時，才會創(chuàng)建一個新的軌跡，該閾值將被稱為命中數(shù)，或用H指代，這有助于過濾掉物體檢測器偶爾產(chǎn)生的誤報。另一方面，如果在R幀的持續(xù)時間（或者稱為保留時間）內(nèi)沒有對象與軌跡相關(guān)聯(lián)，軌跡將被刪除。它可以防止軌跡由于物體檢測器罕見的假陰性而被意外刪除。R和H的配置通常既取決于檢測模型的精度，也取決于幀速率(fps)。先前的研究提出了R = 2幀/秒和H = 0.2幀/秒的配置，對于普通的30幀/秒視覺感知系統(tǒng)給出了R = 60幀和H = 6幀。第3節(jié)的評估將表明，一個盲目地以目標(biāo)檢測為目標(biāo)的攻擊需要不斷地欺騙至少60幀(R)來擦除一個對象，而我們提出的軌跡劫持攻擊可以通過少到一幀，平均只有2~3幀的攻擊，來偽造持續(xù)R幀的對象，或在跟蹤結(jié)果中抹除H幀的目標(biāo)對象。

02

軌道劫持攻擊

多目標(biāo)跟蹤可以選擇包括一個或多個相似性度量來匹配跨幀的對象。常見的度量包括邊界框重疊、對象外觀、視覺表示和其他統(tǒng)計度量。作為多目標(biāo)跟蹤對抗威脅的首次研究，我們選擇了基于并集的交集(IoU)的匈牙利匹配作為我們的目標(biāo)算法，因為它是最廣泛采用和標(biāo)準(zhǔn)化的相似性度量，不僅是最近的研究，兩個真實世界的自動駕駛系統(tǒng)，百度阿波羅和Autoware也采用了這一度量 ，這確保了我們工作的代表性和實際意義。

圖表 2描述軌跡劫持攻擊流程(a)，以及兩種不同的攻擊場景:對象移入(b)和移出(c)，其中軌跡劫持可能導(dǎo)致嚴(yán)重的安全后果，包括急停和追尾。

圖2a展示了本文發(fā)現(xiàn)的軌跡劫持攻擊，其中用于對象檢測的對抗示例(例如，前車上的對抗補丁)可以欺騙檢測結(jié)果，只用一幀就極大地偏離多目標(biāo)跟蹤中目標(biāo)對象(例如，前車)的軌跡。如圖所示，目標(biāo)汽車最初在t0時被跟蹤到以預(yù)測的速度向左。攻擊開始于時間t1，在汽車后部貼上對抗的補丁。該補丁是精心生成的，以兩個對立的目標(biāo)欺騙目標(biāo)檢測器:(1)從檢測結(jié)果中刪除目標(biāo)對象的邊界框；(2)制作一個類似形狀的邊界框，但稍微向攻擊者指定的方向移動。所構(gòu)造的邊界框(t1處檢測結(jié)果中的紅色邊界框)將與跟蹤結(jié)果中的目標(biāo)對象的原始軌跡相關(guān)聯(lián)，我們稱之為軌跡劫持，并且因此將向軌跡給出朝向攻擊者期望的方向的假速度。圖2a中所示的軌跡劫持僅持續(xù)一幀，但其對抗效果可能持續(xù)數(shù)十幀，這取決于MOT參數(shù)R和H(在第2節(jié)中介紹)。例如，在攻擊后的時間t2，所有的檢測邊界框都恢復(fù)正常，但是，兩個不利影響持續(xù)存在: (1)目標(biāo)對象雖然在檢測結(jié)果中被恢復(fù)，但是將不會被跟蹤，直到達(dá)到命中計數(shù)(H)，并且在此之前，該對象在跟蹤結(jié)果中仍然丟失；(2)受攻擊者誘導(dǎo)速度劫持的軌跡將不會被刪除，直到一個保留時間(R)過去。然而，值得注意的是，我們的攻擊在實踐中并不總是成功的，因為如果軌跡在短時間的攻擊期間沒有偏離對象的真實位置足夠遠(yuǎn)，恢復(fù)的對象可能仍然與其原始軌跡相關(guān)聯(lián)。我們的實驗結(jié)果表明，當(dāng)使用對抗示例成功攻擊3個連續(xù)幀時，我們的攻擊通常達(dá)到接近100%的成功率。這種持續(xù)的不良效應(yīng)可能會在自動駕駛場景中造成嚴(yán)重的安全后果。我們強調(diào)兩種可能導(dǎo)致緊急停車甚至追尾事故的攻擊場景:

攻擊場景1: 目標(biāo)物體移入

如圖2b所示，可以在路邊物體(例如停放的車輛)上放置對抗貼片，以欺騙經(jīng)過的自駕車輛的視覺感知。在檢測結(jié)果中，生成對抗補丁以導(dǎo)致目標(biāo)邊緣框向道路中心平移，并且被劫持的軌跡將在受害車輛的感知中表現(xiàn)為在前方加塞的移動車輛。如果按照朱等人的建議將R配置為2 fps，該跟蹤器將持續(xù)2秒鐘，并且這種情況下的軌跡劫持可能導(dǎo)致緊急停止和潛在的追尾碰撞。

攻擊場景2:目標(biāo)物體移出

同樣，軌跡劫持攻擊也可以使受害自駕車輛前方的物體偏離道路，導(dǎo)致撞車，如圖2c所示。如果H使用0.2 fps的推薦配置，則應(yīng)用于前車后部的對抗貼片可能會欺騙后面的自動車輛的多目標(biāo)跟蹤器相信物體正在偏離其路線，并且前車將在200ms的持續(xù)時間內(nèi)從跟蹤結(jié)果中消失，這可能會導(dǎo)致受害者的自動駕駛汽車撞上前車。

我們的攻擊目標(biāo)是一階卡爾曼濾波器，它預(yù)測一個狀態(tài)向量，包含檢測到的對象與時間相關(guān)的位置和速度。對于數(shù)據(jù)關(guān)聯(lián)，我們采用最廣泛使用的并集的交集(IoU)作為相似性度量，通過匈牙利匹配算法計算邊緣框之間的IoU，以解決將連續(xù)幀中檢測到的邊緣框與現(xiàn)有軌跡關(guān)聯(lián)的二分匹配問題。多目標(biāo)跟蹤中的這種算法組合在以前的研究和現(xiàn)實世界中是最常見的?，F(xiàn)在描述我們的方法，即生成一個敵對補丁，操縱檢測結(jié)果劫持軌跡。詳見Alg.1，給定一個目標(biāo)視頻圖像序列，攻擊迭代地找到成功劫持所需的最少干擾幀，并為這些幀生成對抗補丁。在每次攻擊迭代中，對原始視頻剪輯中的一個圖像幀進(jìn)行處理，給定目標(biāo)對象的索引K，該算法通過求解等式1找到放置對抗邊緣框的最佳位置pos，以劫持目標(biāo)對象的軌跡。然后，攻擊使用對抗補丁構(gòu)建針對目標(biāo)檢測模型的對抗幀，使用等式2作為損失函數(shù)，擦除目標(biāo)對象的原始邊緣框，并在給定位置構(gòu)建對抗邊緣框。軌跡隨后被偏離其原始方向的對抗幀更新，如果下一幀中的目標(biāo)對象沒有通過多目標(biāo)跟蹤算法與其原始跟蹤器相關(guān)聯(lián)，則攻擊成功；否則，對下一幀重復(fù)該過程。我們下面討論這個算法中的兩個關(guān)鍵步驟。

圖表 3現(xiàn)有的目標(biāo)檢測攻擊和我們的軌跡劫持攻擊的比較。簡單擦除bbox的攻擊對跟蹤輸出沒有影響(b)，而利用精心選擇的位置偽造bbox的軌跡劫持攻擊成功地將軌跡重定向到攻擊者指定的方向(c)。

尋找對抗包圍盒的最佳位置

為了偏離目標(biāo)對象K的跟蹤器，除了移除其原始邊界框detc|t[K] 之外，攻擊還需要制造一個向指定方向移動δ的對抗框。這就變成了優(yōu)化問題(Eq.1)，即找到使檢測框和現(xiàn)有跟蹤器之間的匈牙利匹配(M())的損失最大化的平移向量δ，使得邊界框仍然與其原始跟蹤器相關(guān)聯(lián)(M ≤ λ)，但是偏移足夠大，以給軌跡提供對抗速度。請注意，我們還將移動的邊界框限制為與補丁重疊，以方便對抗示例的生成，因為敵對擾動通常更容易影響其附近的預(yù)測結(jié)果，尤其是在物理環(huán)境中。

生成對抗目標(biāo)檢測的補丁

類似于現(xiàn)有的針對目標(biāo)檢測模型的對抗性攻擊，我們還將對抗性補丁生成公式化為等式2中所示的優(yōu)化問題?，F(xiàn)有的不考慮多目標(biāo)跟蹤的攻擊直接將目標(biāo)類(如停止標(biāo)志) 的概率降到最低從而在檢測結(jié)果中抹去對象。然而，如圖3b所示，這種對抗示例在欺騙多目標(biāo)跟蹤方面非常無效，因為即使在檢測邊界框被擦除之后，跟蹤器仍將跟蹤R幀。相反，我們的跟蹤器劫持攻擊的損失函數(shù)包含兩個優(yōu)化目標(biāo):(1)最小化目標(biāo)類概率以擦除目標(biāo)對象的邊緣框；(2)在攻擊者想要的位置以特定的形狀偽造對抗邊緣框以劫持軌跡。

03

攻擊評估

評估指標(biāo)

我們將成功的攻擊定義為當(dāng)攻擊停止時，檢測到的目標(biāo)對象的邊界框不再與任何現(xiàn)有的跟蹤器相關(guān)聯(lián)。我們使用物體檢測的對抗示例成功所需的最小幀數(shù)來衡量我們的軌跡劫持攻擊的有效性。攻擊效果高度依賴于原軌跡的方向向量與敵手目標(biāo)的差異。例如，如果選擇對抗方向與其原始方向相反，攻擊者可以在只有一幀的情況下對跟蹤器進(jìn)行大的移動，而如果敵手方向恰好與目標(biāo)的原始方向相同，則很難使跟蹤器偏離其已建立的軌跡。為了控制變量，我們在前面定義的兩種攻擊場景中測量攻擊所需的幀數(shù):即目標(biāo)對象移入和移出。具體來說，在所有的移入場景中，我們選擇沿著道路停放的車輛作為目標(biāo)，攻擊目標(biāo)是將軌跡移動到中心，而在所有的移出場景中，我們選擇向前移動的車輛，攻擊目標(biāo)是將目標(biāo)軌跡移離道路。

數(shù)據(jù)集

我們從Berkeley Deep Drive數(shù)據(jù)集中隨機采樣了100個視頻片段，然后手動選擇10個適合對象移入場景，另外10個適合對象移出場景。對于每個片段，我們手動標(biāo)記一個目標(biāo)車輛，并將補丁區(qū)域標(biāo)注為其后面的一個小區(qū)域，如圖3c所示。所有視頻每秒30幀。

實施細(xì)節(jié)

我們使用Python實現(xiàn)了我們的目標(biāo)視覺感知管道，使用YOLOv3作為目標(biāo)檢測模型，因為它在實時系統(tǒng)中非常受歡迎。對于多目標(biāo)跟蹤實現(xiàn)，我們在sklearn包中使用了稱為線性賦值的匈牙利匹配實現(xiàn)來進(jìn)行數(shù)據(jù)關(guān)聯(lián)，并在OpenCV中使用的基礎(chǔ)上提供了卡爾曼濾波器的參考實現(xiàn)。攻擊的有效性取決于卡爾曼濾波器的配置參數(shù)，稱為測量噪聲協(xié)方差(cov)。cov是對系統(tǒng)中有多少噪聲的估計，當(dāng)更新軌跡時，較低的cov值將使卡爾曼濾波器對在時間t的檢測結(jié)果更有信心，而較高的cov值將使卡爾曼濾波器在時間t 更信任它先前在時間t- 1的預(yù)測。這種測量噪聲協(xié)方差通?；趯嶋H中檢測模型的性能來調(diào)整。如圖4a所示，我們在從非常小(103)到非常大(10)的不同cov配置下評估我們的方法，而在實踐中cov通常設(shè)置在0.01和10之間。

圖表 4 在正常的測量噪聲協(xié)方差范圍(a)中，盡管有(R，H)設(shè)置，我們的軌跡劫持攻擊僅需要對抗示例平均只欺騙2~3個連續(xù)的幀來成功地帶偏目標(biāo)軌跡。我們還比較了在不同的攻擊者能力下，軌跡劫持的成功率與以前對目標(biāo)檢測器的敵對攻擊的成功率，即對抗示例可以可靠地欺騙目標(biāo)檢測器所需的連續(xù)幀的數(shù)量(b)

評估結(jié)果

圖4a表明了在20個視頻剪輯上成功的軌道劫持，物體檢測上的對抗示例需要欺騙的平均幀數(shù)。雖然在fps為30時推薦R = 60、H = 6的配置，我們?nèi)匀粶y試不同的保留時間（R）和命中數(shù)（H）組合，這是因為現(xiàn)實部署通常比較保守，使用較小的R和H。結(jié)果表明，盡管有(R，H)配置，軌跡劫持攻擊僅需要平均在2到3個連續(xù)幀中成功的目標(biāo)檢測對抗示例就能成功。我們還發(fā)現(xiàn)，即使只有一幀成功的對抗示例，當(dāng)cov分別為0.1和0.01時，我們的攻擊仍有50%和30%的成功率。有趣的是，我們發(fā)現(xiàn)對象移入通常比對象移出需要更少的幀。原因是，在駛?cè)雸鼍爸型７诺能囕v(圖2b)相對于自主車輛自然具有駛離速度。因此，與移出攻擊相比，移入攻擊觸發(fā)了攻擊者期望的速度和原始速度之間的較大差異。這使得原始對象一旦恢復(fù)，就更難正確關(guān)聯(lián)，使得劫持更容易。圖4b顯示了我們的攻擊和以前盲目針對目標(biāo)檢測的攻擊(稱為檢測攻擊)的成功率。我們復(fù)制了鐘等人最近針對目標(biāo)檢測的對抗性補丁攻擊，該攻擊針對自動駕駛環(huán)境，并通過真實世界的汽車測試顯示了其有效性。在這種攻擊中，目標(biāo)是從每一幀的檢測結(jié)果中擦除目標(biāo)類。在兩種(R，H)設(shè)置下進(jìn)行評估，我們發(fā)現(xiàn)我們的軌跡劫持攻擊即使只攻擊3幀也能達(dá)到優(yōu)越的攻擊成功率(100%)，而檢測攻擊需要可靠地欺騙至少R個連續(xù)幀。當(dāng)按照30 fps的幀率將R設(shè)置為60時，檢測攻擊需要在受害自駕車行駛的同時對抗性補丁能夠持續(xù)成功至少60幀。這意味著超過98.3% (59/60)的對抗示例成功率，這在以前的研究中從未達(dá)到。請注意，檢測攻擊在R之前仍然可以有高達(dá)約25%的成功率。這是因為檢測攻擊導(dǎo)致對象在某些幀中消失，并且當(dāng)車輛航向在此消失期間發(fā)生變化時，仍然有可能導(dǎo)致原始對象在恢復(fù)時與原始軌跡中的軌跡預(yù)測不匹配。然而，由于我們的攻擊是為了故意誤導(dǎo)多目標(biāo)跟蹤中的軌跡預(yù)測，我們的成功率要高得多(3-4倍)，并且可以在少至3幀的攻擊下達(dá)到100%。

04

討論與總結(jié)

對該領(lǐng)域未來研究的啟示

如今，針對自動駕駛中視覺感知的對抗性機器學(xué)習(xí)研究，無論是攻擊還是防御，都使用目標(biāo)檢測的準(zhǔn)確性作為事實上的評估指標(biāo)。然而，正如在我們的工作中具體顯示的，在不考慮多目標(biāo)跟蹤的情況下，對檢測結(jié)果的成功攻擊并不意味著對多目標(biāo)跟蹤結(jié)果的同等或接近成功的攻擊，多目標(biāo)跟蹤結(jié)果是真實世界自動駕駛中視覺感知任務(wù)的最終輸出。因此，我們認(rèn)為這一領(lǐng)域的未來研究應(yīng)考慮:(1)使用多目標(biāo)跟蹤準(zhǔn)確度作為評估指標(biāo)；(2)不僅僅關(guān)注目標(biāo)檢測，還應(yīng)研究多目標(biāo)跟蹤特有的弱點或多目標(biāo)跟蹤與目標(biāo)檢測之間的相互作用，這是一個目前尚未充分探索的研究領(lǐng)域。這篇論文標(biāo)志著第一次朝兩個方向努力的研究。

實用性提升

我們的評估目前都是用捕獲的視頻幀進(jìn)行數(shù)字處理的，而我們的方法在應(yīng)用于生成物理補丁時應(yīng)該仍然有效。例如，我們提出的對抗補丁生成方法可以自然地與以前工作提出的不同技術(shù)相結(jié)合，以增強物理世界中的可靠性。

通用性提高

雖然在這項工作中，我們側(cè)重于使用基于IoU的數(shù)據(jù)關(guān)聯(lián)的多目標(biāo)跟蹤算法，但我們尋找位置來放置對抗邊界框的方法通常適用于其他關(guān)聯(lián)機制(例如，基于外觀的匹配)。我們針對YOLOv3的對抗示例生成算法也應(yīng)該適用于其他具有適度適應(yīng)性的目標(biāo)檢測模型。我們計劃提供更多真實世界端到端視覺感知管道的參考實現(xiàn)，為未來自動駕駛場景中的對抗學(xué)習(xí)研究鋪平道路。

fqj