安森美（onsemi）推出了AR0830 RGBIR以及AR0544 RGBIR sensor，廣泛應(yīng)用在醫(yī)療，以及IOT智能家居應(yīng)用上，那么我們?cè)趺丛诎采赖腄evWareX上來(lái)進(jìn)行RGBIR的圖像和視頻的抓取呢？

安森美的AR2020是業(yè)界獨(dú)有SmartROI功能的2000萬(wàn)像素的工業(yè)級(jí)sensor，推出以來(lái)獲得了許多客戶的青睞，用戶如何快速的來(lái)獲得所需不同ROI的sensor寄存器設(shè)定呢？別著急，讓我們逐一來(lái)進(jìn)行介紹。

RGB-IR 靜態(tài)捕捉與視頻錄制RGB-IR圖像顯示支持

DevWareX中的RGB-IR顯示功能是為了支持具體RGB-IR CFA（色彩濾光片矩陣）的芯片而實(shí)現(xiàn)的，RGB和紅外（IR）圖像會(huì)分別顯示。

在DevWareX中，當(dāng)使用RGB-IR CFA傳感器（比如AR0544 RGB-IR,AR0830 RGB-IR）進(jìn)行流式傳輸時(shí)，RGB和紅外圖像會(huì)分別在不同的標(biāo)簽頁(yè)中顯示，用戶可以選擇“Windows –>Tile Sub-Windows” 來(lái)并排查看這兩種圖像，如下圖所示：

RGB和紅外圖像是從原始的數(shù)據(jù)中分別插值得到的，原始數(shù)據(jù)包含R,G,B,和紅外像素的組合。

一般當(dāng)DevWareXdetect到sensor是RGB-IR的圖像傳感器的時(shí)候，會(huì)自動(dòng)去load RGB-IR process的參數(shù)，用戶也可以手動(dòng)去打開(kāi)RGB-IR process的Plugin.如下路徑：工具欄? “Plug-ins” ? “RGB-IR Processing Settings”.

打開(kāi)后具體的參數(shù)設(shè)置如下，一般情況下會(huì)按照不同的鏡頭濾光片信息在默認(rèn)設(shè)置里面配置好，如果用戶使用不同的濾光片，請(qǐng)聯(lián)系onsemi FAE 來(lái)獲得正確的RGB-IR processing參數(shù)。

注意：對(duì)于RGB-IR的傳感器預(yù)覽，在未啟用RGB-IR插值處理的情況下，DevWareX中的紅外窗口顯示的是紅外線性插值，是對(duì)紅外像素進(jìn)行“4倍乘法“后的全分辨率效果。

非原始數(shù)據(jù)格式保存的靜態(tài)圖片或者視頻文件（如.BMP 或者AVI）以24位RGB格式保存。對(duì)于近紅外圖像也是一樣的方式，所以紅外圖像的文件大小也是一樣的。

靜態(tài)圖像捕捉

為了在傳感器進(jìn)行流式傳輸時(shí)捕捉靜態(tài)圖像，用戶可以從DevWareX工具欄中選擇“Grab”按鈕。RGB圖像和紅外圖像將以單獨(dú)的文件進(jìn)行捕捉，紅外圖像的文件名將包含”-ir”,如下圖所示。

注: RAW文件格式僅保存1個(gè)文件（RGB和IR沒(méi)有單獨(dú)的文件），使用DevWareX打開(kāi)時(shí)可以同時(shí)顯示兩幅圖像。

視頻錄制

RGB-IR圖像的視頻錄制與靜態(tài)圖像捕捉非常相似，用戶可以選擇“Record”按鈕或者從“Command ?Start Recording” 開(kāi)始錄制視頻。

DevWareX會(huì)將RGB和紅外的視頻分別保存，用戶選擇的視頻格式可以為AVI,WMV或者M(jìn)PEG4格式的文件，并在紅外圖像視頻文件名中增加“_ir”。

保存的視頻文件可以使用DevWareX打開(kāi)，以便在同一視頻中播放RGB和紅外的圖像流。如下所示：

另外，DevWareX中還提供了一個(gè)C++的示例代碼 “RecordRGBIR”（C:Aptina ImagingsamplesRecordRGBIR）,該示例從RGBIR傳感器創(chuàng)建視頻文件，該視頻將交替呈現(xiàn)RGB圖像和紅外圖像。此代碼示例 是使用Apbase和RGBIR4x4pipe庫(kù)的使用例子。

RGBIR4x4pipe與Apbase集成，通過(guò)軟件色彩處理流程對(duì)RGB-IR圖像流進(jìn)行紅外提取，插值，以及常規(guī)的RGB圖像處理。

AR2020 SmartROI 寄存器計(jì)算用戶指南

什么是SmartROI?

從單獨(dú)的一個(gè)圖像傳感器像素矩陣中，生成較小的圖像?？s放的圖像可以獲得完整的視場(chǎng)角，而裁剪的圖像則可以提供所選擇ROI的完整細(xì)節(jié)。然后使用MIPI的不同虛擬通道同時(shí)傳輸兩個(gè)圖像。這樣即保證了全視場(chǎng)角的overview,也獲得原始分辨率的細(xì)節(jié)，同時(shí)大大降低了數(shù)據(jù)傳輸對(duì)于帶寬的需求。

創(chuàng)建此寄存器計(jì)算器是為了計(jì)算和保存用戶所需要的設(shè)置，它是寄存器向?qū)Ш蛶视?jì)算器的直觀替代品，用于保存AR2020寄存器設(shè)置。

以下是此獨(dú)立計(jì)算器的用戶界面：

右半部分包含可以更改以利用SmartROI功能的參數(shù)。左半部分顯示將為當(dāng)前配置生成的傳感器設(shè)置信息。

左側(cè)信息：

任何藍(lán)色的目標(biāo)都跟ROI1有關(guān)，同樣，任何紅色的目標(biāo)都與ROI2有關(guān)。

藍(lán)色邊界框，表示縮放的圖像，為ROI1

紅色邊界框， 表示裁剪的圖像，為ROI2

在邊界框下方顯示邊界框ROI1和ROI2的左上角和右下角的坐標(biāo)。

底部的文本顯示了由于SmartROI帶來(lái)的帶寬減少信息。

右側(cè)可調(diào)參數(shù)：

ROI1—設(shè)置ROI1的輸出分辨率，左側(cè)的藍(lán)色邊界框?qū)?yīng)于ROI1,顯示輸入中覆蓋了多少陣列像素。這是一個(gè)下拉菜單，其中定義了一些預(yù)先存在的分辨率。用戶也可以輸入任何所需要的輸出分辨率。注：輸入的分辨率必須要有效，如果無(wú)效，則會(huì)設(shè)置成最接近的有效分辨率。

Center—此按鈕使ROI1對(duì)于整個(gè)像素陣列居中，基本上這將始終使得ROI1居中。

Single Channel—選擇綠色通道，這是唯一顯示的通道。

Scaler—縮放較小分辨率的圖像以覆蓋整個(gè)視場(chǎng)。用戶可以選擇使用滑塊或者旋鈕盒進(jìn)行縮放，這控制了對(duì)原始分辨率圖像的縮放量，從而獲得較低的分辨率圖像。每個(gè)分辨率的最大縮放量參數(shù)都會(huì)自動(dòng)更新。

◆旋鈕盒，1.00表示覆蓋整個(gè)視場(chǎng)，是最大值表示不進(jìn)行縮放，注意：使用旋鈕盒時(shí)，如果手動(dòng)輸入值，請(qǐng)按ENTER鍵以使其生效。

◆滑塊：用于縮放獲得較小分辨率圖像并覆蓋整個(gè)視場(chǎng)的滑塊，在這里，最左邊表示覆蓋整個(gè)視場(chǎng)角，最右側(cè)表示不應(yīng)用縮放。

X OFFSET和Y OFFSET—ROI1的左上角X和Y的坐標(biāo)，它設(shè)置輸入中的偏移量。

ROI2—與ROI1類(lèi)似，這設(shè)置了ROI2的輸出分辨率。這是一個(gè)下拉菜單，其中定義了一些預(yù)先存在的分辨率。用戶也可以輸入任何所需要的輸出分辨率。注：輸入的分辨率必須要有效，如果無(wú)效，則會(huì)設(shè)置成最接近的有效分辨率。

中心—此按鈕使得ROI2相對(duì)于ROI1居中，將使得ROI2位于ROI1的中心。

X偏移和Y偏移—ROI2的左上角X和Y坐標(biāo)，它設(shè)置輸入中的偏移量。

LANES：用戶可以在允許的MIPI通道數(shù)量（1，2，4，8）之間進(jìn)行更改。

XMCK—時(shí)鐘頻率，注意：執(zhí)行命令” 'apbase.Camera().output_clock_freq = (clock_fq)*1000000',其中clock_fq是所需的時(shí)鐘頻率。

MIPI SPEED—MIPI的運(yùn)行速度，單位為Mbps

FRAME RATE，sensor運(yùn)行的幀率（fps）

SAVE—此按鈕用于保存設(shè)置。

注意：在上述任何小部件中手動(dòng)輸入值以應(yīng)用更改時(shí)，請(qǐng)按ENTER鍵。

具體使用該工具的步驟（用戶需要使用AR2020 評(píng)估頭板）：

讓我們?nèi)邕M(jìn)行如下操作：

使用SmartROI獨(dú)立應(yīng)用程序進(jìn)行SmartROI設(shè)置，點(diǎn)擊“Save”,它將以.ini的格式保存所配置的寄存器值。

打開(kāi)DevWareX并以任何模式(preset)啟動(dòng)，我們以如下模式“5120x3840-15fps_Linear-10_MIPI-4/800Mbps“開(kāi)始：

從工具欄打開(kāi)“Presets”,

使用“Open”打開(kāi)我們保存的.ini文件，我們將看到加載了2個(gè)presets, “Shared settings”和”Smart ROI”.

雙擊“SmartROI”,寄存器設(shè)定將會(huì)應(yīng)用到芯片內(nèi)去。

ROI1

ROI2

我們可以通過(guò) “info” 信息面板來(lái)驗(yàn)證應(yīng)用的setting的設(shè)置。

注意：如果你使用的是自動(dòng)曝光，則可能需要設(shè)置“apbase.setstate("Auto Exposure Minimum FPS", 72)”以獲得更高的幀率。如果需要使用更高的幀率，請(qǐng)將該值增加到120.