1、整體框架

1.1 Tracking 模塊 處理傳感器信息并實時計算當前幀在激活地圖中的姿態(tài)。同時該模塊也決定了是否將當前幀作為關鍵幀。在視覺-慣性模式下，通過在優(yōu)化中加入慣性殘差來估計剛體速度和 IMU 偏差。當追蹤丟失時，tracking 線程會嘗試在 Atlas 地 圖中重定位當前幀。若重定位成功，恢復追蹤，并在需要的時候切換激活地圖。若一段時間后仍未激活成功，該激活地圖會被存儲為未激活地圖，并重新初始化一個新的激活地圖。

1.2 Local mapping 模塊 加入關鍵幀和地圖點到當前激活地圖，刪除冗余幀，并通過對當前幀的附近關鍵幀操作，利用視覺 BA 或視覺-慣性 BA 技術來優(yōu)化地圖。此外，在慣性模式下，mapping 線程會利用最大后驗估計(MAP)技術來初始化和優(yōu)化 IMU 參數(shù)。

1.3 Loop and map merging 模塊 每當加入一個新的關鍵幀，該線程在激活地圖和整個 Atlas 地圖中檢測公共區(qū)域。如果該公共區(qū)域屬于激活地圖，它就會執(zhí)行回環(huán)校正；如果該公共區(qū)域屬 于其他地圖，就會把它們融合為一個地圖，并把這個融合地圖作為新的激活地圖。在回環(huán)校正以后，一個獨立線程就會進行全局 BA，進一步優(yōu)化地圖，同時并不影 響實時性能。

1.4 Atlas 模塊 一個由一系列離散地圖組成的多子圖系統(tǒng)。它會維護一個激活地圖，用于tracking 線程對當前幀的定位，同時 local mapping 線程會利用新的關鍵幀信 息持續(xù)對該地圖優(yōu)化和更新。在 Atlas 中的其它地圖被稱為未激活地圖。該系統(tǒng)基于詞袋模型對關鍵幀信息建立數(shù)據(jù)庫，用于重定位、閉環(huán)檢測和地圖融合。

2、IMU 和 Camera 數(shù)據(jù)融合獲取位姿數(shù)據(jù)的過程

IMU 雖然可以測得角速度和加速度，但這些量都存在明顯的漂移，使得積分 兩次得到的位姿數(shù)據(jù)非常不可靠。但是，短時間內的快速運動，IMU 能夠提供一 些較好的估計，這正是相機的弱點。當運動過快時，相機會出現(xiàn)運動模糊，或者 兩幀之間重疊區(qū)域太少以至于無法進行特征匹配，所以純視覺 SLAM 非常害怕快 速的運動。而有了 IMU，即使在相機數(shù)據(jù)無效的那段時間內，我們也能保持一個較好的位姿估計，這是純視覺 SLAM 無法做到的。相比于 IMU，相機數(shù)據(jù)基本不 會有漂移，所以相機數(shù)據(jù)可以有效的估計并修正 IMU 讀數(shù)中的漂移，使得在慢速運動后的位姿估計依然有效。當圖像發(fā)生變化時，本質上我們沒法知道是相機自 身發(fā)生了運動，還是外界條件發(fā)生了變化，所以純視覺 SLAM 難以處理動態(tài)的障 礙物。而 IMU 能夠感受到自己的運動信息，從某種程度上減輕動態(tài)物體的影響。主要流程如下：

(1) 利用相機和 IMU 分別進行圖像采集和慣性數(shù)據(jù)采集，且 IMU 的采集頻率大于 相機的采集頻率； (2) 提取相機獲取的每一幀圖像的特征點，然后提取特征點的描述子（ORB-SLAM 采用），匹配特征點；此處，還可以采用光流追蹤的方法； (3) 對 IMU 得到的多組 IMU 數(shù)據(jù)進行預積分，計算出兩幀圖像對應的 IMU 位置和 速度；

(4) IMU 初始化（講解 ORB-SLAM3 采用的方法）,這一步的目的是獲取 IMU 參數(shù)較好的初始值：速度、重力以及 Bias。 1> Vision-Only

采用 ORB-SLAM 經(jīng)典框架純視覺初始化流程，按照關鍵幀速率 4Hz 持續(xù)運行2s，然后我們可以得到按比例縮放的地圖，包括 10 個關鍵幀以及上百個地圖點，然后通過 Visual-Only BA 進行優(yōu)化。 2> Inertial-Only

這一步目的是獲得 IMU 參數(shù)最優(yōu)估計。利用前述單目視覺 SLAM 初始化后穩(wěn) 定運行的數(shù)據(jù)，以及這些關鍵幀之間的 IMU 測量，包括：尺度因子、重力方 向、IMU 傳感器偏置參數(shù)、關鍵幀的無尺度速度。這些 IMU 測量放在一起構 成狀態(tài)向量，構建優(yōu)化問題求解。一旦慣性優(yōu)化完成，幀的姿態(tài)、速度以及 3D 地圖點就會以估計的尺度進行縮放，同時旋轉以使 z 軸與估計的重力方向對齊。

3> Visual-Inertial 一旦視覺以及 IMU 有了較好的估計后，進行一個聯(lián)合優(yōu)化進一步對這些參數(shù)進行精化。 (5) 結合上面得到的慣性殘差和視覺殘差，視覺-慣性 SLAM 可以看作是基于關鍵幀的最小化問題。在后期中，基于下式進行計算優(yōu)化。

在 tracking 過程中，只優(yōu)化最后兩幀的位姿，同時保持地圖點固定。在mapping 過程中，為了解決全圖優(yōu)化問題，若圖的規(guī)模比較大就會比較棘手。ORB-SLAM3 采用了滑動窗口思想，把關鍵幀及其地圖點的滑動窗口作為優(yōu)化變量。

3、ORB-SLAM3 的基于特征點的 tracking 模塊的優(yōu)缺點，改善的機會點或方向

首先，ORB-SLAM3 視覺前端做法采用特征點提取+描述子匹配特征點的方式。因為有描述子，所以對地圖的維護很方便（包括重定位、閉環(huán)、全局優(yōu)化）。尤其是對室內環(huán)境，當視覺上共視關系較多的時候，這種方法能很大程度上提高定 位精度和局部穩(wěn)定性。但這種方式也有缺點，每幀圖像都要提取特征點數(shù)量的描述子，比較浪費時間。在 tarcking 過程中，如果運動過快（圖像出現(xiàn)模糊），比較容易 tracking loss。此外，純視覺 ORB-SLAM3 嚴重依賴特征點的提取與匹配 效果，在如紋理缺失的環(huán)境下運行會無法得到足夠多的穩(wěn)定匹配點對，此時光束平差法缺乏足夠多的輸入信息，無法有效地修正位姿偏差。基于這點，有很多人 也有不同的方法，還有一個主流方法是，特征點提取+光流跟蹤的方式。采用這種方式tracking 要魯棒一些，但這種方式不容易構建全局 map，同時在閉環(huán)和重定位階段也需要另外提取特征點和描述子。同時，visual-inertial ORB- SLAM3 通過引入 IMU 來約束和修正特征缺失帶來的偏差，得到尺度信息，在一定程度上解決了過度依賴嚴重依賴特征點問題。

ORB-SLAM3 引入了 Atlas 系統(tǒng)，在 tracking 過程中，如果跟丟了，可以利用當前幀查詢 Atlas DBoW 數(shù)據(jù)庫。這個查詢可以利用所有先驗信息，在所有地圖 中找相似的關鍵幀。一旦有了候選關鍵幀，地圖和匹配的地圖點就可以進行重定位，極大提升性能，增大魯棒性。

個人認為，ORB-SLAM3 此次更新的一大變化就是引入了 Atlas 地圖，相當于 開辟了一條新的方向。當前由于只是第一個版本，所以在這方面的改進空間還有 很大，可以在這個方向做一些研究。同時 IMU 相比于 camera，有很多互補優(yōu)勢， 如何讓 IMU 和 camera 更好的結合，發(fā)揮更好的效果，也是可以研究改進的點。IMU 初始化也有很多不足，采用一個更好的方法進行 IMU 初始化，也是一個可以改進的點。 ?

審核編輯：黃飛

?