一、問題背景

無人機在拍攝視頻時，由于風(fēng)向等影響因素，不可避免會出現(xiàn)位移和旋轉(zhuǎn)，導(dǎo)致拍攝出的畫面存在平移和旋轉(zhuǎn)的幀間變換， 即“抖動” 抖動會改變目標(biāo)物體 (車輛、行人) 的坐標(biāo)，給后續(xù)的檢測、跟蹤任務(wù)引入額外誤差，造成數(shù)據(jù)集不可用。

原效果

目標(biāo)效果

理想的無抖動視頻中，對應(yīng)于真實世界同一位置的背景點在不同幀中的坐標(biāo)應(yīng)保持一致，從而使車輛、行人等目標(biāo)物體的坐標(biāo)變化只由物體本身的運動導(dǎo)致，而不包含相機的運動 抖動可以由不同幀中對應(yīng)背景點的坐標(biāo)變換來描述

二、量化指標(biāo)

抖動可以用相鄰幀之間的 x 方向平移像素 dx，y 方向平移像素 dy，旋轉(zhuǎn)角度 da，縮放比例 s 來描述，分別繪制出 4 個折線圖，根據(jù)折線圖的走勢可以判斷抖動的程度 理想的無抖動視頻中，dx、dy、da 幾乎始終為 0，s 幾乎始終為 1。

三、技術(shù)思路

我們最終實現(xiàn)，將視頻的所有幀都對齊到第一幀，以達(dá)到視頻消抖問題，實現(xiàn)邏輯如下圖所示。

（1）首先對視頻進行抽第一幀與最后一幀，為什么抽取兩幀？這樣做的主要目的是，我們在做幀對齊時，使用幀中靜態(tài)物的關(guān)鍵點做對齊，如果特征點來源于動態(tài)物上，那么對齊后就會產(chǎn)生形變，我們選取第一幀與最后一幀，提取特征點，留下交集部分，則可以得到靜態(tài)特征點我們這里稱為特征模板，然后將特征模板應(yīng)用到每一幀上，這樣可以做有效對齊。

（2）常用特征點檢測器：

SIFT: 04 年提出，廣泛應(yīng)用于各種跟蹤和識別算法，表現(xiàn)能力強，但計算復(fù)雜度高。

SURF: 06 年提出，是 SIFT 的演進版本，保持強表現(xiàn)能力的同時大大減少了計算量。

BRISK: BRIEF 的演進版本，壓縮了特征的表示，提高了匹配速度。ORB: 以速度著稱，是 SURF 的演進版本，多用于實時應(yīng)用。

GFTT: 最早提出的 Harris 角點的改進版本，經(jīng)常合稱為 Harris-Shi-Tomasi 角點。

SimpleBlob: 使用 blob 的概念來抽取圖像中的特征點，相對于角點的一種創(chuàng)新。FAST: 相比其他方法特征點數(shù)量最多，但也容易得到距離過近的點，需要經(jīng)過 NMS。

Star: 最初用于視覺測距，后來也成為一種通用的特征點檢測方法。

我們這里使用的是SURF特征點檢測器

第一幀特特征點提取

最后一幀特征點提取

（3）在上圖中，我們發(fā)現(xiàn)所提取的特征點中部分來自于車身，由于車是運動的，所以我們不能使用，我們用第一幀與最后一幀做靜態(tài)特幀點匹配，生成靜態(tài)特征模板，在下圖中，我們發(fā)現(xiàn)只有所有的特征點只選取在靜態(tài)物上

靜態(tài)特征點模板

（4）靜態(tài)特征模板匹配 ，我們這里使用Flann算法，匹配結(jié)果如下

特征匹配

（5）使用匹配成功的兩組特征點，估計兩幀之間的透視變換 (Perspective Transformation)。估計矩陣 H，其中 (x_i, y_i) 和 (x_i^′, y_i^′) 分別是兩幀的特征點。

第一幀

最后一幀對齊到第一幀

四、實現(xiàn)代碼

代碼基于python實現(xiàn)，如下所示

import cv2import timeimport numpy as npimport os class Stable: # 處理視頻文件路徑 __video_path = None # surf 特征提取 __surf = { # surf算法 'surf': None, # 提取的特征點 'kp': None, # 描述符 'des': None, # 過濾后的特征模板 'template_kp': None } # capture __capture = { # 捕捉器 'cap': None, # 視頻大小 'size': None, # 視頻總幀 'frame_count': None, # 視頻幀率 'fps': None, 'video': None } # 配置 __config = { # 要保留的最佳特征的數(shù)量 'key_point_count': 5000, # Flann特征匹配 'index_params': dict(algorithm=0, trees=5), 'search_params': dict(checks=50), 'ratio': 0.5, 'frame_count': 9999 } # 當(dāng)前處理幀數(shù) __current_frame = 0 # 需要處理幀數(shù) __handle_count = 0 # 處理時間 __handle_timer = { 'init': 0, 'handle': 0, 'read': 0, 'key': 0, 'matrix': 0, 'flann': 0, 'perspective': 0, 'write': 0, 'other': 0, } # 幀隊列 __frame_queue = None # 需要寫入的幀隊列 __write_frame_queue = None # 特征提取列表 __surf_list = [] def __init__(self): pass # 初始化capture def __init_capture(self): self.__capture['cap'] = cv2.VideoCapture(self.__video_path) self.__capture['size'] = (int(self.__capture['cap'].get(cv2.CAP_PROP_FRAME_WIDTH)), int(self.__capture['cap'].get(cv2.CAP_PROP_FRAME_HEIGHT))) self.__capture['fps'] = self.__capture['cap'].get(cv2.CAP_PROP_FPS) self.__capture['video'] = cv2.VideoWriter(self.__video_path.replace('.', '_stable.'), cv2.VideoWriter_fourcc(*"mp4v"), self.__capture['fps'], self.__capture['size']) self.__capture['frame_count'] = int(self.__capture['cap'].get(cv2.CAP_PROP_FRAME_COUNT)) self.__handle_count = min(self.__config['frame_count'], self.__capture['frame_count']) # 初始化surf def __init_surf(self): st = time.time() self.__capture['cap'].set(cv2.CAP_PROP_POS_FRAMES, 0) state, first_frame = self.__capture['cap'].read() self.__capture['cap'].set(cv2.CAP_PROP_POS_FRAMES, self.__capture['frame_count'] - 20) state, last_frame = self.__capture['cap'].read() self.__surf['surf'] = cv2.xfeatures2d.SURF_create(self.__config['key_point_count'], 1, 1, 1, 1) # nfeatures：默認(rèn)為0，要保留的最佳特征的數(shù)量。特征按其分?jǐn)?shù)排名（在SIFT算法中按局部對比度排序） # nOctaveLayers：默認(rèn)為3，金字塔每組(Octave)有多少層。3是D. Lowe紙中使用的值。 # contrastThreshold：默認(rèn)為0.04，對比度閾值，用于濾除半均勻（低對比度）區(qū)域中的弱特征。閾值越大，檢測器產(chǎn)生的特征越少。 # edgeThreshold：默認(rèn)為10，用來過濾邊緣特征的閾值。注意，它的意思與contrastThreshold不同，edgeThreshold越大，濾出的特征越少（保留更多特征）。 # sigma：默認(rèn)為1.6，高斯金字塔中的σ。如果使用帶有軟鏡頭的弱相機拍攝圖像，則可能需要減少數(shù)量。 self.__surf['kp'], self.__surf['des'] = self.__surf['surf'].detectAndCompute(first_frame, None) kp, des = self.__surf['surf'].detectAndCompute(last_frame, None) # 快速臨近匹配 flann = cv2.FlannBasedMatcher(self.__config['index_params'], self.__config['search_params']) matches = flann.knnMatch(self.__surf['des'], des, k=2) good_match = [] for m, n in matches: if m.distance < self.__config['ratio'] * n.distance: good_match.append(m) self.__surf['template_kp'] = [] for f in good_match: self.__surf['template_kp'].append(self.__surf['kp'][f.queryIdx]) self.__capture['cap'].set(cv2.CAP_PROP_POS_FRAMES, 0) self.__handle_timer['init'] = int((time.time() - st) * 1000) print("[INFO] init time:{}ms".format(self.__handle_timer['init'])) # 初始化 隊列 def __init_data(self): pass # 初始化 def __init(self): self.__init_capture() self.__init_surf() self.__init_data() # 處理 def __process(self): self.__current_frame = 1 while True: if self.__current_frame > self.__handle_count: break start_time = time.time() # 抽幀 success, frame = self.__capture['cap'].read() self.__handle_timer['read'] = int((time.time() - start_time) * 1000) if not success: return # 計算 frame = self.detect_compute(frame) # 寫幀 st = time.time() self.__capture['video'].write(frame) self.__handle_timer['write'] = int((time.time() - st) * 1000) self.__handle_timer['handle'] = int((time.time() - start_time) * 1000) self.__current_frame += 1 self.print_handle_time() # 視頻穩(wěn)像 def stable(self, path): self.__video_path = path self.__init() self.__process() # 打印耗時 def print_handle_time(self): print( "[INFO] handle frame:{}/{} time:{}ms(read:{}ms key:{}ms flann:{}ms matrix:{}ms perspective:{}ms write:{}ms)". format(self.__current_frame, self.__handle_count, self.__handle_timer['handle'], self.__handle_timer['read'], self.__handle_timer['key'], self.__handle_timer['flann'], self.__handle_timer['matrix'], self.__handle_timer['perspective'], self.__handle_timer['write'])) # 特征點提取 def detect_compute(self, frame): frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 計算特征點 st = time.time() kp, des = self.__surf['surf'].detectAndCompute(frame_gray, None) self.__handle_timer['key'] = int((time.time() - st) * 1000) # 快速臨近匹配 st = time.time() flann = cv2.FlannBasedMatcher(self.__config['index_params'], self.__config['search_params']) matches = flann.knnMatch(self.__surf['des'], des, k=2) self.__handle_timer['flann'] = int((time.time() - st) * 1000) # 計算單應(yīng)性矩陣 st = time.time() good_match = [] for m, n in matches: if m.distance < self.__config['ratio'] * n.distance: good_match.append(m) p1, p2 = [], [] for f in good_match: # 存在與模板特征點中 if self.__surf['kp'][f.queryIdx] in self.__surf['template_kp']: p1.append(self.__surf['kp'][f.queryIdx].pt) p2.append(kp[f.trainIdx].pt) H, _ = cv2.findHomography(np.float32(p2), np.float32(p1), cv2.RHO) self.__handle_timer['matrix'] = int((time.time() - st) * 1000) # 透視變換 st = time.time() output_frame = cv2.warpPerspective(frame, H, self.__capture['size'], borderMode=cv2.BORDER_REPLICATE) self.__handle_timer['perspective'] = int((time.time() - st) * 1000) return output_frame s = Stable() s.stable('video/test10.mov')

五、效果展示

我們消抖后的視頻道路完全沒有晃動，但是在邊界有馬賽克一樣的東西，那是因為圖片對齊后后出現(xiàn)黑邊，我們采用邊緣點重復(fù)來彌補黑邊。

消抖前

消抖后

六、效率優(yōu)化

目前的處理效率（原視頻尺寸3840*2160），我們可以看出主要時間是花費在特征點(key)提取上。
可以采用異步處理+GPU提高計算效率

處理效率

七、存在問題

目前存在的問題 還不能完全消除視頻中的所有抖動

（1）尤其是對于原來的抖動比較劇烈的視頻，目前只能去除大部分明顯抖動；

（2）由于畫面旋轉(zhuǎn)造成的邊緣畫面缺失，目前采取了復(fù)制邊緣點 (replicate) 的操作，是否會對數(shù)據(jù)集的使用造成影響還需要進行實驗。

改進思路

（1）對于抖動問題，計劃通過調(diào)整關(guān)鍵點檢測器參數(shù)、盡可能過濾掉運動物體的特征點、調(diào)整特征點匹配參數(shù)來解決；

（2）對于邊緣畫面缺失問題，可以使用基于 CNN 的圖像修復(fù)算法，盡可能讓缺失的邊緣表現(xiàn)得更自然 后續(xù)進一步增加運動平滑等算法，實現(xiàn)對整體運動的進一步平滑。

責(zé)任編輯：lq