簡介

在自動駕駛感知系統(tǒng)中，相機傳感器的應(yīng)用十分廣泛，無論是前視，側(cè)視，環(huán)視甚至車內(nèi)，相機傳感器都發(fā)揮著至關(guān)重要的作用，目前帶有ADAS和自動駕駛功能的汽車，大多配備七八個甚至十幾個相機傳感器。

相機作為車載核心傳感器，優(yōu)點十分明顯。首先，相機傳感器技術(shù)成熟，價格便宜，尤其是相較于市面上動輒上萬的激光傳感器，以相機傳感器作為主感知的方案更利于自動駕駛汽車的量產(chǎn)。其次，相機采集的圖像包含物體色彩，輪廓等信息，這些是激光傳感器，毫米波傳感器無法輸出的，在識別交通標(biāo)識，紅綠燈，車道線等方面具有獨一無二的優(yōu)勢。

在Sim Pro自動駕駛仿真軟件中，結(jié)合基于物理的渲染方法，可以在配置相機各種參數(shù)的前提下進行相機傳感器輸出圖像的仿真。其中的一大難題是相機的鏡頭種類繁多，比如廣角相機，魚眼相機等，它們的鏡頭被設(shè)計成可以折射入射光，以得到比針孔相機更廣的視野，這會讓最終的成像產(chǎn)生畸變效果。本文主要介紹Sim Pro里相機傳感器物理建模中的畸變設(shè)計。

相機傳感器模型

相機傳感器模型主要設(shè)計為兩個部分，其一是每個像素的RGB顏色處理模塊，考慮到相機成像原理中的光電轉(zhuǎn)換過程，可以利用輸入?yún)?shù)中的曝光時間，鏡頭透過率等參數(shù)控制所有像素上的信息。為了體現(xiàn)部分相機可能出現(xiàn)的噪點效果，還可以設(shè)置暗電流噪聲，為了體現(xiàn)過曝和避免色彩丟失，采用了HDR高動態(tài)范圍的渲染數(shù)據(jù)輸入。

除了對像素顏色信息的處理以外，另一部分為畸變效果仿真模塊，需要設(shè)計所有像素對應(yīng)的光線射入向量，由于不同鏡頭的折射效果，導(dǎo)致傳到每個像素的光線并不是沿像素直接射出的（如圖1），將相機傳感器近似為空間中的一個點，此時每個像素上光線射入的方向可以用一個三維向量來表示，從而構(gòu)成畸變表。

圖1：左為針孔相機的光線射入方向簡化圖，右為廣角相機的光線射入方向簡化圖

目前有很多畸變建模使用的是畸變參數(shù)k1，k2表示的畸變公式：

其中(x,y)表示畸變后輸出圖像坐標(biāo)，(x ?,y ?)表示無畸變原始圖像坐標(biāo)，o表示畸變中心，公式表示距離畸變中心越遠，產(chǎn)生的畸變越大，普通的枕形，筒形畸變都可以通過該函數(shù)產(chǎn)生。但是，這個參數(shù)需要配合成像大小才可以正確生效，例如相同的圖像，由于像素大小的變化導(dǎo)致與畸變中心之間的距離變化，用相同參數(shù)會導(dǎo)致畸變效果不同，因此標(biāo)定這個參數(shù)還需要確定像素大小等信息，使用起來比較繁瑣。

此外，使用k1，k2參數(shù)的前提是必須先獲取沒有畸變的原圖像，并且必須比輸出圖像擁有更大的視場角，但是考慮到魚眼相機的觀測角度可能接近甚至超過180度，此時成像需要的無畸變圖像不能顯示在一張平面圖上導(dǎo)致無法使用畸變公式去生成畸變。

Sim Pro采用天空盒的原圖輸入格式，360度無死角儲存環(huán)境信息，針對畸變表或者畸變參數(shù)的輸入都可以做到完美的畸變效果。

畸變模型

像素向量建模：使用畸變參數(shù)的建模前提是獲取到無畸變的平面圖片數(shù)據(jù)，這對于一般廣角相機來說是可以實現(xiàn)的，但是對于魚眼相機，如果要獲取到無畸變的平面圖像，該平面大小會趨近于無窮大，此時不能再通過一張無畸變的圖像去產(chǎn)生畸變。此時通常使用像素向量的數(shù)據(jù)，即事先通過測量標(biāo)定等方法，確認圖像上每個像素點的信息是從哪個方向射入的，獲取該數(shù)據(jù)后，只需要去像素點對應(yīng)向量上去采集數(shù)據(jù)即可。對于畸變明顯，視場角非常大的魚眼相機，通常使用以傳感器為中心的天空盒的數(shù)據(jù)來構(gòu)造畸變，構(gòu)造出每個像素點向量到天空盒位置的映射關(guān)系，從而達到在天空盒上獲取數(shù)據(jù)的目的，由于天空盒包含了傳感器可觀察范圍的全信息，因此這種方法可以適用于任何超大視場角的廣角相機，魚眼相機建模。

首先，在仿真場景中獲取所有方向的天空盒數(shù)據(jù)，這個數(shù)據(jù)可以通過設(shè)置水平，垂直視場角為90度的6個方向獲取的圖片數(shù)據(jù)拼接而來（如圖2），其中以傳感器朝向作為正前方，對于這一步獲取的圖片，盡量獲取更高的分辨率的圖片，對于視場角不超過270度的魚眼相機，也可以只采用前上下左右5個面的數(shù)據(jù)以節(jié)約渲染成本。

對于畸變表中每個像素對應(yīng)的向量，通過簡單的三角形原理，可以知道從包圍盒正方體的中心出發(fā)，該向量所對應(yīng)的天空盒上的像素位置，將該像素點的顏色信息傳入輸出圖像對應(yīng)像素上（如圖3）。

畸變參數(shù)的統(tǒng)一處理

由于使用畸變表的方法也可以應(yīng)用于普通的廣角相機，針對k1，k2畸變參數(shù)輸入的情況，Sim Pro將畸變參數(shù)轉(zhuǎn)化為畸變表之后，再進行上一章節(jié)中介紹的畸變運算，使得仿真中的畸變效果同時適用于畸變表與畸變參數(shù)兩種不同的輸入。

在確定像素大小以及畸變中心o（通常是圖像幾何中心）后，推算每個像素點坐標(biāo)(x,y)所對應(yīng)的無畸變原始圖像中的像素點坐標(biāo)(x ?,y ?),

考慮到相機焦距f,構(gòu)成一個三維向量 (f,x ?,y ?),歸一化后作（x,y）為的向量信息存儲為畸變表。

總結(jié)

魚眼相機，廣角相機在自動駕駛汽車的感知系統(tǒng)中扮演著重要的角色，尤其是魚眼相機的超大探測范圍，廣泛應(yīng)用于汽車環(huán)視感知系統(tǒng)中。魚眼相機輸出的帶有畸變的環(huán)視圖，通過各款相機對應(yīng)的去畸變算法，可以形成近距離的俯視圖，應(yīng)用于自動泊車，交通堵塞輔助等領(lǐng)域，Sim Pro相機傳感器能夠生成帶有準(zhǔn)確畸變的圖像，有助于在仿真端驗證不同種類相機的去畸變算法與感知效果。