來源：本文編譯自semiengineering作者：ANN MUTSCHLER

在汽車設計領域，傳感器融合正變得日益流行且復雜。它將多種類型的傳感器集成到單個芯片或封裝中，并智能地將數(shù)據(jù)路由到所需之處。其主要目標是整合來自攝像頭、雷達、激光雷達和其他傳感器的信息，以全面呈現(xiàn)車輛內外的情況。在最新設計中，傳感器融合常發(fā)生在區(qū)域控制器或中央計算模塊中，這些設備作為中介，收集不同傳感器的數(shù)據(jù)并傳輸?shù)街醒?a target="_blank">處理器。不過，傳感器融合的具體位置以及所融合的傳感器種類，會因車輛架構和制造商的方法而異。

傳感器融合的關鍵是什么？

在車輛中融合傳感器主要有兩種選擇。新思科技（Synopsys）汽車 IP 部門經(jīng)理Ron DiGiuseppe表示：“在區(qū)域電子控制單元（ECU）中可以進行傳感器融合，它就像一個智能篩選開關。另一種選擇是在中央計算模塊上進行傳感器融合，在那里可以進行數(shù)據(jù)提取。” 具體選用哪種方式通常取決于成本。DiGiuseppe指出：“如果在區(qū)域 ECU 中進行融合，該應用是一個具有多個端口的芯片（SoC）。它處理各種不同的數(shù)據(jù)類型，如 CAN、MIPI 等。這些數(shù)據(jù)都通過區(qū)域 ECU，然后傳輸?shù)街醒胩幚砥?，所以可以在區(qū)域 ECU 中完成融合。但通常會傳遞到中央計算模塊，這需要高性能的汽車車內以太網(wǎng)以及長距離 MIPI 端口。大多數(shù) CAN 數(shù)據(jù)會在 ECU 中轉換，CAN 數(shù)據(jù)包會傳輸?shù)絽^(qū)域 ECU 進行提取，然后封裝到以太網(wǎng)中，再傳輸回中央計算模塊?！?/span>

有效的傳感器融合的關鍵推動力是高速車載網(wǎng)絡，汽車以太網(wǎng)是常見選擇。當前量產(chǎn)車輛使用 1 Gbps 以太網(wǎng)，10 Gbps 系統(tǒng)也即將問世。這種高速網(wǎng)絡允許傳感器、區(qū)域控制器和中央處理器之間快速傳輸數(shù)據(jù)。融合過程本身通常涉及專門的硬件和軟件。例如，統(tǒng)一的數(shù)字信號處理器（DSP）可以處理來自不同傳感器類型的數(shù)據(jù)，如雷達、激光雷達和攝像頭。還可能使用額外的加速器來執(zhí)行特定功能，如快速傅里葉變換（FFT）或計算機視覺任務。雖然這比最初的傳感器融合概念更復雜，但也更加成熟。

都有哪些傳感器需要融合

西門子數(shù)字工業(yè)軟件公司（Siemens Digital Industries Software）混合和虛擬系統(tǒng)副總裁David Fritz表示：“就像所有新技術一樣，一開始大家都急于找到解決方案。幾乎可以說，每個解決方案都是全新且獨特的。如今，人們對傳感器融合已經(jīng)有了很好的理解。坦率地說，我們看到更智能的感知堆棧使傳感器融合不再那么令人擔憂。激光雷達、雷達、攝像頭和慣性傳感器相互作用，但傳感的趨勢是傳感器具有更多智能，這使得融合的問題不再那么突出。”

融合的內容因用例而異。Cadence汽車解決方案部門總監(jiān)Robert Schweiger描述了一種場景，其中視覺處理器也處理雷達數(shù)據(jù)以及一些人工智能功能。他說：“我想分析點云，并根據(jù)這些點確定我面前是什么物體。市場上有可用的內核，將雷達和視覺內核的指令集集成在一個內核中。這意味著它可以在這個單一內核中處理激光雷達、雷達和視覺數(shù)據(jù)?！?或者，應用場景可能是一個要求極高的傳感器系統(tǒng)，配備最新的高清傳感器，向處理器傳輸大量數(shù)據(jù)。Schweiger指出：“你可能在其之上有一個加速器來支持 DSP，并加速例如 FFT 功能。如果處理器包含高達 2 TOPS 的人工智能基礎功能，這意味著你擁有了一個非常強大的系統(tǒng)。有些人需要更高的人工智能性能，所以你需要一個神經(jīng)處理單元，一個實例可以擴展到 80 TOPS，在多核系統(tǒng)中組合多個這樣的實例可以擴展到數(shù)百 TOPS 甚至一千 TOPS?！?/span>

芯片上的所有這些處理器也需要連接，這就需要片上網(wǎng)絡（NoC）。Schweiger說：“需要一個 NoC 將我們不同的 IP 連接成一個子系統(tǒng)，最終成為一個Chiplet?！?對于傳感器融合，假設有一個傳感器堆棧。Schweiger說：“你有攝像頭雷達、用于高分辨率的 4D 成像雷達、前置攝像頭，還有側面或后部的另一個攝像頭。這些是不同的傳感器模式，現(xiàn)在你想將所有東西融合在一起。角雷達可能是低端或中端類型的雷達，要求不那么高，但 4D 成像雷達是一種要求非常高的傳感器。它產(chǎn)生大量數(shù)據(jù)，這意味著這里需要大量處理。對于前置攝像頭也是如此。前置的智能攝像頭通常是最強大的攝像頭，它進行大量的行人檢測、圖像分析、過濾等。后部可能還有一個低端攝像頭。那么傳感器融合系統(tǒng)是怎樣的呢？我們的方法是使用統(tǒng)一的 DSP，它可以處理雷達、激光雷達和基礎人工智能?！?/span>

用于雷達的同一實例也可用于攝像頭，無論是前置攝像頭還是后置攝像頭。他指出：“在那里，我們處理視覺飛行時間和人工智能。從上層 DSP，我們生成雷達點云（PCL），為下層生成視覺點云，這樣我們就可以將前置攝像頭和側面攝像頭，或者角落雷達和前置雷達融合在一起。我們在內核中進行融合。如果我們需要更高的性能，可以添加 FFT 作為加速器，或者另一個可以加速 FFT 功能以及計算機視覺功能的加速器?！?/span>

更智能的傳感器

越來越多的傳感器將包含機器學習功能。Imagination Technologies公司質量、功能安全和網(wǎng)絡安全總監(jiān)Andrew Johnston解釋說：“用于實現(xiàn)自動駕駛平臺或高度輔助駕駛功能所需控制精度的傳感器類型，以及它們使用的數(shù)據(jù)類型，本質上比在相鄰領域（如過程工業(yè)或醫(yī)療領域）中可能找到的傳統(tǒng)傳感器測量更加復雜。那些傳感器可能幾十年來一直在進行傳感器融合，并且較少依賴機器學習，可以說機器學習仍在發(fā)展中，但它們使用的傳感器本質上更簡單。所以你可能最終會得到簡單的查找表和交叉參考算法?！?/span>

在汽車領域，最大的變化在于視覺感知和基于運動構建結構。Johnston說：“要做好這一點，你需要一系列不同類型的傳感器。你可以用單一類型的傳感器實現(xiàn)自動駕駛功能，但效果參差不齊。而且因為這些是高完整性功能，即安全關鍵功能，采用冗余和多樣性是件好事。在系統(tǒng)層面，你希望融合來自攝像頭、雷達、激光雷達、超聲波的傳感器數(shù)據(jù)，甚至將其與更傳統(tǒng)的傳感器（如光傳感器或溫度傳感器）結合起來。你這樣做是為了試圖了解操作環(huán)境。問題是這是一個本質上復雜的功能和技術領域，在半導體層面，挑戰(zhàn)更大。在理想情況下，每個半導體供應商都希望嘗試構建一種能夠滿足多種用例的產(chǎn)品。我們盡量不制造特定用例的產(chǎn)品，因為這將具有非常小眾的應用，而且客戶可能不會選擇你的產(chǎn)品。所以 IP 和半導體供應商需要平衡的是，在弄清楚芯片上的晶體管需要做什么之前，系統(tǒng)地評估用例并了解在硬件軟件領域可以做些什么?！?/span>

這在汽車領域意味著大量的機器學習和對機器學習的高帶寬需求。Johnston說：“你希望實時執(zhí)行這些算法，這意味著你要進行大量不同類型的復雜矩陣乘法和數(shù)據(jù)融合，理想情況下你希望在一個單一實體上快速完成。之所以要快速完成，是因為它必須像人類駕駛員一樣在回路中做出基于控制系統(tǒng)的決策。我們自然而然地做到這一點，而且我們的世界是模擬的，所以你試圖在數(shù)字領域中表示模擬世界和模擬控制器。從哲學角度來看，這是一個非常有趣的挑戰(zhàn)?！?/span>

向軟件定義車輛和區(qū)域架構的過渡

隨著汽車行業(yè)向軟件定義車輛和區(qū)域架構過渡，傳感器融合的方法也在不斷發(fā)展。OEM正在努力將這些新系統(tǒng)與現(xiàn)有架構集成，這帶來了重大挑戰(zhàn)。目標是創(chuàng)建一個更集中、可擴展的系統(tǒng)，隨著技術的進步可以輕松更新和擴展。值得注意的是，傳感器融合的具體實現(xiàn)方式在不同制造商之間可能存在顯著差異，有些選擇更集中的方法，而另一些則將處理分布在車輛的多個節(jié)點上。

英飛凌計算和連接產(chǎn)品營銷與應用傳感高級總監(jiān)Ted Karlin表示：“如今，傳感器融合是將來自多個傳感器的數(shù)據(jù)組合起來，以創(chuàng)建對環(huán)境更全面的視圖的過程，通常不基于生成式人工智能和深度機器學習。未來，更多將生成式人工智能和深度機器學習與傳感器融合算法相結合的應用將變得更加智能。借助生成式人工智能，傳感器融合過程將變得更具適應性，因為這些模型可以合成填補數(shù)據(jù)空白，模擬潛在結果，從而實時預測和應對變化。它們還將具有更強的上下文感知能力，因為歷史上下文可以成為算法的一部分，同時結合環(huán)境因素和態(tài)勢感知，以獲得更高質量的傳感器融合輸出。最后，機器學習可以變得更加個性化，因為生成式人工智能可以利用特定人的監(jiān)測或診斷得出個性化結論?！?/span>

其他人也表示認同。Rambus 公司硅 IP 業(yè)務開發(fā)總監(jiān)Adiel Bahrouch說：“將成像雷達與攝像頭融合的力量已得到充分理解。例如，雷達無法讀取標志，你也無法訓練它讀取標志。它無法區(qū)分不同顏色，如紅色、藍色，而攝像頭可以。你可以用人工智能訓練攝像頭識別標志、人物、物體、車道等。當你將這些特性與雷達所能提供的所有優(yōu)點結合起來時，你可以擁有一個非常強大的系統(tǒng)，輕松超越激光雷達。激光雷達是另一種有很多優(yōu)點的技術，但非常非常昂貴。對于非常高的自動駕駛級別，我認為攝像頭無法單獨完成任務，因為在黑暗或惡劣天氣條件下，攝像頭可能會帶來一些安全問題。雷達在分辨率、圖像檢測和模式識別方面不具備攝像頭的能力，但當你將兩者結合起來時，你就擁有了一個非常強大的系統(tǒng)，可以推動自動駕駛的發(fā)展。”

至于這在車輛中的位置，Bahrouch指出E/E架構的演變是一個起點?！皞鹘y(tǒng)車輛有其基于域的架構，所有的 ECU 和傳感器都連接在一起，這意味著融合是一個巨大的挑戰(zhàn)。這種架構不支持這類活動。但隨著向區(qū)域架構的轉變，位于同一角落的傳感器在一個大處理器下組合在一起，區(qū)域處理器有助于收集來自不同傳感器的所有信息，開始進行融合。這意味著信息在本地進行處理，即區(qū)域處理，或者通過高速以太網(wǎng)骨干網(wǎng)從不同角度收集所有信息，并在車輛中央進行集中融合。我不知道哪種將成為主流方法，是在邊緣、區(qū)域 SoC、中央大腦，還是它們的排列組合。在所有信息合并之前會進行預處理嗎？這是一個正在發(fā)展的領域。而且是一個相當新的領域?！?/span>

然而，人們普遍認為，激光雷達、雷達和攝像頭傳感器的持續(xù)集成將使車輛更安全。AMD 汽車部門高級營銷總監(jiān)Wayne Lyons表示：“先進的傳感器將通過提供更準確的數(shù)據(jù)和改進從車道保持輔助到自動泊車和制動等安全操作，對ADAS解決方案產(chǎn)生重大影響。隨著車輛中攝像頭、雷達和激光雷達等傳感器的數(shù)量和類型每年不斷增加，像 Waymo 這樣的先鋒公司已經(jīng)在利用這三種技術的車輛中積累了數(shù)百萬英里的自動駕駛里程。此外，中國新興的電動汽車公司正在利用激光雷達等先進傳感器在競爭激烈的電動汽車市場中突出其安全優(yōu)勢。為了實現(xiàn)實時性能，以便在實際駕駛場景中使用各種傳感器數(shù)據(jù)，開發(fā)人員將需要一個靈活的架構，能夠在單個芯片上提供必要的性能和功能安全?！?/span>

4D 雷達

新思科技的DiGiuseppe表示，向 4D 雷達的轉變將進一步增加需要融合的傳感器數(shù)據(jù)量?！跋?4D 雷達的過渡正在增加 DSP 的數(shù)量，并且它也在進行信道化。不再只是單一反射數(shù)據(jù)，你可以獲得信道化數(shù)據(jù)，所以你可以使用虛擬通道獲得多個雷達反射。這提供了更廣泛的數(shù)據(jù)集，所以不再只是單個雷達回波。由于它是信道化的，它更接近激光雷達的方法。在激光雷達技術中，你得到一個點云，通常會給你更多的數(shù)據(jù)。這是它相對于雷達的優(yōu)勢之一。激光雷達提供更高的分辨率。此外，還有 128 通道和 256 通道的激光雷達。雷達也開始增加信道化，所以雷達數(shù)據(jù)的分辨率越來越高，這使得你可以像使用相機圖像一樣，使用雷達數(shù)據(jù)集識別物體?！?/span>

“可以使用人工智能處理器來識別圖像?！盌iGiuseppe說：“這是一只狗，這是一棵樹，這是一個人。雷達現(xiàn)在也開始具備這種能力，盡管分辨率肯定不如相機系統(tǒng)高，因為這是一個不同的問題需要解決。雖然相機確實有一些局限性，比如在夜間、黑暗中、雨霧或大雪中，并且在物體檢測識別方面仍然存在差距。但是在相機不理想的條件下，雷達現(xiàn)在提供的這些數(shù)據(jù)集是相機的很好補充，所以從這些 4D 雷達中提取的信息對 ADAS 系統(tǒng)更有用?，F(xiàn)在可以使用雷達進行物體檢測，這是新的進展?！?/span>

結論

盡管傳感器融合技術已經(jīng)取得了顯著進展，但其在汽車系統(tǒng)中的實施仍在不斷發(fā)展。趨勢是朝著更智能、分布式處理以及物體數(shù)據(jù)的標準化通信發(fā)展。這些概念看似清晰，但其實現(xiàn)仍在不斷演變。盡管如此，隨著當今正在開發(fā)的車輛越來越接近上路，OEM 應該會透露更多關于這項技術發(fā)展方向的細節(jié)。

原文鏈接：https://semiengineering.com/adas-adds-complexity-to-automotive-sensor-fusion/