在許多人的印象中，自動駕駛的測試是一項有些樸實無華的工作，測試人員坐在車里不停地重復行駛，非常重要但又難以出彩。不過事實并非這樣，實車測試只是測試工作的一個部分，大量有趣的技術和精彩的瞬間其實出現(xiàn)在實車之外。

比如，開發(fā)各種各樣的測試工具，打造自動化的測試流水線，找出萬中無一的特殊場景，等等。而在Nullmax，測試工作還有更多精彩有趣的地方，特別是富有特色的自動駕駛感知測試，堪稱「問題殺手」。

作為Nullmax量產工程的重要一環(huán)，感知測試聚焦于核心的感知層面，將測試的環(huán)節(jié)前移和細化到系統(tǒng)的上游，通過大量的技術手段來更早地發(fā)現(xiàn)問題、解決問題。

以數(shù)據(jù)說話，用技術「找茬兒」

對于感知測試來說，最基礎的工作是針對各項感知任務展開深入細致的測試，結合完善的測評體系和詳細的測試指標進行全面的定量分析，用數(shù)據(jù)和事實發(fā)現(xiàn)問題，改善性能。

比如測試一項感知任務，那么場景既要包括直道也要包括彎道，還要涵蓋和白天和夜間，并且需要考慮不同類型的車輛目標，輸出詳細的測試報告。并非是僅僅告知好或者不好，哪里好或者哪里不好，而是既要有性能的整體評估，還要有各種場景下每項指標的具體數(shù)據(jù)。

除此之外，感知測試還開發(fā)了一整套無監(jiān)督發(fā)現(xiàn)問題的自動化腳本，配合感知的日常開發(fā)。當工程師修改完代碼以后，可以通過這套腳本和高效的自動化數(shù)據(jù)平臺，預先檢查任務效果，發(fā)現(xiàn)潛在的問題。這樣可以將感知測試的環(huán)節(jié)進一步前移，而不是在感知交付后再進行測試。

這套無監(jiān)督發(fā)現(xiàn)問題的方法，可以在沒有“參考答案”的無真值情況下，根據(jù)時序和物理異常值去篩選出問題數(shù)據(jù)。比如，在相機輸入的連續(xù)幀圖片中，障礙物速度的不合理變化，障礙物類型的來回跳變，車身傾角的左右大幅擺動，明顯不合真實世界的運動邏輯，再比如車身尺寸、速度、位置明顯違背物理常識等等，這些異常背后很可能存在一些感知的問題。

有了這些自動化的腳本，這種異常數(shù)據(jù)很容易找出，潛在的問題能夠被輕松發(fā)現(xiàn)，也不需要測試人員進行監(jiān)督，可以極大程度地節(jié)省開發(fā)和測試時間。

感知測試也會「自動駕駛」

實際上，這些無監(jiān)督發(fā)現(xiàn)問題的手段只是Nullmax高效感知測試的一部分。Nullmax在感知層面構建了完整的CI/CD流程，持續(xù)集成、持續(xù)測試、持續(xù)開發(fā)，以大量自動化的工具提升感知環(huán)節(jié)的開發(fā)、測試、集成效率。

比如，在開發(fā)一個功能或者修復某個bug之后，工程師其實既不知道最終的效果，也不清楚這些功能和改動是否會帶來負面的影響。因為有時候代碼會牽一發(fā)而動全身，有一定的概率出現(xiàn)A任務代碼影響B(tài)任務效果的情況。這種情況很少被關注，而且在初期的時候不易發(fā)現(xiàn)，但是一旦暴露在系統(tǒng)層面，就到了偏晚的階段，需要耗費更大的力氣去解決。

但是感知層面有了完整的自動化流程后，通過回歸測試，就可以自動化地驗證問題，避免這類情況。比如，感知軟件解決測距測速不準的問題，那么工程師在修復代碼后可以直接根據(jù)問題的編號找到對應的數(shù)據(jù)，借助數(shù)據(jù)回灌初步評估修復效果，然后再將代碼上傳到軟件倉庫。

在這之后，云端的一整套感知測試環(huán)境，自動化地評估修復的效果，確認是修復了單一具體問題，還是為一系列的類似情況帶來了全面的提升，包括有沒有因為修復帶來其他的問題。這套環(huán)境會根據(jù)當次的提交內容和關聯(lián)的Bug ID，自動化地抽取數(shù)據(jù)庫中對應標簽的大量問題數(shù)據(jù)進行測試。

Nullmax這一整套感知的CI/CD流程不需要任何的手動操作，通過背后高效的自動化數(shù)據(jù)平臺，感知開發(fā)、測試、集成的整套流程可以完全自動化地完成，不僅極大程度降低了人力和時間的需求，同時更加全面、深入地檢測了感知問題的修復效果。

在自動駕駛行業(yè)，部分企業(yè)將CI/CD運用到了系統(tǒng)層面的開發(fā)當中，Nullmax更進一步，將CI/CD深入地運用到感知層面，這使得Nullmax的整體開發(fā)尤為高效。因為感知作為自動駕駛的上游環(huán)節(jié)，存在的問題很容易傳遞到下游的規(guī)控，影響系統(tǒng)的表現(xiàn)，Nullmax將CI/CD深化到感知層面，可以將大部分問題扼殺在搖籃當中。

并且在軟件發(fā)版環(huán)節(jié)，Nullmax為感知部分的集成設置了節(jié)奏差，留出了發(fā)現(xiàn)問題、解決問題的時間。項目的開發(fā)過程當中，自動駕駛的軟件系統(tǒng)會定期發(fā)版，將感知、規(guī)控、通信、中間件等所有內容整合打包。在這之前，Nullmax會將感知部分先行單獨發(fā)版，然后通過自動化工具和測試人員進行測試，輸出具體報告，評估前期問題的修復情況。

如果感知版本符合預期，就可以在之后的系統(tǒng)發(fā)版時直接集成，如果存在問題，那么也還有時間繼續(xù)修改和測試。這樣可以極大程度地避免上游的感知問題影響系統(tǒng)整體，而且更利于問題的定位和系統(tǒng)的改進，將系統(tǒng)發(fā)版和項目開發(fā)的效率大幅提升。

數(shù)據(jù)「在環(huán)」，「雙商」在線

為了更好地支持自動駕駛系統(tǒng)的開發(fā)和落地，Nullmax打造了AI數(shù)據(jù)中樞，一套以視覺為核心、高度自動化的一站式數(shù)據(jù)平臺，涵蓋數(shù)據(jù)采集、挖掘、標注、模型訓練、測試以及軟件的發(fā)版等全部環(huán)節(jié)。

在這當中，感知測試在數(shù)據(jù)管理的部分做了大量的工作，將開發(fā)所需的數(shù)據(jù)采集、管理的工具部署到了平臺之上，使得感知測試的數(shù)據(jù)能夠高效閉環(huán)，不僅可以更好采集數(shù)據(jù)，而且可以更好地利用數(shù)據(jù)。

當感知、系統(tǒng)實車測試的時候，又或者專門的數(shù)據(jù)采集時，這些工具可以在車上自動化地為數(shù)據(jù)打上標簽，并且之后在云端完成更進一步的細致處理，將所有感知的數(shù)據(jù)分門別類，標注各項屬性，包括所屬的問題種類、關聯(lián)的Bug ID等等。

這樣在后續(xù)修復bug的時候，只需要輸入對應的Bug ID，這一類型的所有問題都可以直接關聯(lián)。當工程師上傳修復代碼的時候，同類型、關聯(lián)類型的問題也都可以自動化地測試一遍，確認問題徹底修復。所有前期收集的數(shù)據(jù)，最后都可以直接為功能的開發(fā)、測試和迭代發(fā)揮作用。

實際上，Nullmax的自動駕駛測試，包括感知測試在內，都是技術性很強的重要工作，而且當中的「AI含量」越來越高。不僅在當前的研發(fā)和應用當中，測試工作變得更加智能高效，在大模型技術愈加成熟的今后，測試工作也會更具想象力。

結語

自動駕駛需要通過測試及早全面地發(fā)現(xiàn)問題，快速提升性能，同時也要通過測試來驗證系統(tǒng)安全可靠，功能、性能符合要求。Nullmax將自動駕駛的測試細化、前移到上游的感知層面，不僅讓整個開發(fā)的過程更加高效，也令量產的質量更有保證。

審核編輯：彭菁