本文關鍵詞：無人機視頻流影像快速拼接方法研究　出處：《中國礦業(yè)大學(北京)》2017年博士論文　論文類型：學位論文

  更多相關文章： 視頻流拼接 傾斜影像糾正 CUDA ORB 稀疏光束法平差

【摘要】：無人機作為一種新興的航空遙感平臺,具有起航快、操作靈活、成本低的特點,機上搭載的數(shù)碼相機、數(shù)碼攝像機可以獲取高分辨率影像,通過對影像的處理可以滿足絕大多數(shù)用戶在航空拍攝與目標監(jiān)控方面的需求。但是無人機獲取的影像存在航高低、像幅小的特點,無法反應攝區(qū)的整體情況,在應急救災時,往往不能滿足地面對信息的需求和應用,因此,需要利用影像拼接技術來提供攝區(qū)的完整信息。其中由無人機搭載的數(shù)碼相機獲取的影像大多分辨率較高、單幅影像較大,在飛行過程中無法實時下傳,只能等無人機返航以后對影像數(shù)據(jù)進行拼接處理,在應對重大自然災害時,不能迅速獲取災區(qū)的完整信息并采取救急措施。由無人機搭載的數(shù)碼攝像機,可以利用無線傳輸技術將視頻實時下傳,視頻影像具有幀幅小、分辨率低、數(shù)據(jù)量大、冗余度高的特點。因此,為滿足突發(fā)事件和災害發(fā)生時的應急需求,快速獲取拍攝區(qū)域大范圍的影像,研究大范圍長航時的視頻流拼接技術具有重要的現(xiàn)實意義和應用需求。但是無人機機身輕、運動特性復雜,容易受到外界環(huán)境的影響,造成無人機獲取的視頻往往會存在一定的抖動、模糊等情況,因此,一般不能直接利用視頻流進行拼接處理,需要提取既能保證幀間重疊度又能體現(xiàn)圖像信息的視頻幀,并進行幾何糾正、去除噪聲等預處理。此外,為了擴大視野,無人機獲取的視頻一般都是傾斜拍攝,直接利用視頻流影像進行拼接會導致同一航帶的拼接結(jié)果產(chǎn)生變形,并且這種情況會隨著視頻流影像數(shù)量的增多而使累積誤差加劇。而在拍攝不同航帶時,攝像機不同的傾斜方向會導致視頻流影像完全相反的變形,使得很多原本有效的匹配算法其匹配數(shù)量和精度都會出現(xiàn)不同程度的下降,即使有些算法具有較高的魯棒性,利用匹配點對也無法得到正確的幀間模型,直接對航帶進行拼接將嚴重影響拼接質(zhì)量,甚至導致拼接結(jié)果產(chǎn)生劇烈的錯位。本文對國內(nèi)外無人機視頻流影像的拼接技術進行了深入的研究與學習,針對無人機視頻流影像的特性,分析了無人機視頻流影像拼接過程中各關鍵技術的特點,重點對無人機視頻流的自適應關鍵幀提取與影像糾正、無人機視頻流影像快速配準以及無人機視頻流影像拼接誤差分析與優(yōu)化展開研究,主要研究工作及成果總結(jié)如下:(1)為了減小了視頻流拼接的冗余度和計算量,針對無人機視頻流影像幀率高、幀間重疊度大的問題,提出了一種自適應的關鍵幀提取方法,該方法根據(jù)無人機提供的數(shù)據(jù)和攝像機傳感器等數(shù)據(jù),在給定影像重疊度的情況下可以自動調(diào)節(jié)提取關鍵幀的時間間隔。(2)針對傾斜拍攝的無人機視頻流影像旋角大、影像變形嚴重的問題,提出一種基于INS的傾斜影像糾正方法。該方法首先討論了無人機遙感影像處理過程中常用的坐標系統(tǒng),明確圖像坐標系和導航坐標系的變換關系,然后利用無人機獲取的INS姿態(tài)角,恢復傾斜影像拍攝時的真實姿態(tài),并根據(jù)攝像機成像原理與數(shù)學幾何關系計算傾斜影像的糾正模型,最后利用間接法對原始影像重采樣,將傾斜影像快速糾正為近似正攝影像,保證拼接影像的質(zhì)量。(3)針對ORB算法特征點提取過程中存在的特征點坐標精度差,構建特征描述子需要對圖像集合進行機器學習,二進制描述子匹配不具有普適性等不足和缺陷。通過研究構建影像金字塔的尺度因子和降采樣率的關系,確定底層影像的圖像大小與影像尺度,使提取的每個特征點都具有亞像素的精度,并通過實驗分析確定了構建描述子的最佳鄰域范圍和對比時選取的最佳像素個數(shù),最后提出了一種基于查找表的匹配方法,并通過實驗證明了該方法的正確性和有效性。(4)為了減小誤差累積對拼接影像的影響,引入稀疏光束法平差,提出一種局部最優(yōu)的拼接方法。該方法利用Levenberg-Maquardt算法最小化投影誤差的稀疏結(jié)構,針對無人機視頻流拼接的誤差問題,在對視頻流拼接過程中動態(tài)選取基準面,并保證每次變換基準面時已經(jīng)拼接的影像都具有局部最優(yōu)的特性,最后以航帶中間幀作為最終基準面,完成視頻流的拼接,并通過與衛(wèi)星影像疊加對比驗證該方法的正確性與精度。(5)無人機視頻流影像處理的過程包含了關鍵幀提取、傾斜影像糾正、特征提取與匹配、影像融合等步驟,隨著拼接的進行,影像會越來越大,因此,本文利用CUDA技術對上述過程進行并行加速,并在各章節(jié)與CPU串行時間作對比,驗證了GPU對圖像處理加速的有效性和正確性。
[Abstract]:As a new kind of aerial remote sensing platform , the unmanned aerial vehicle has the characteristics of fast navigation , flexible operation and low cost . An adaptive key frame extraction method is presented in this paper . ( 5 ) The process of image processing of UAV video stream includes the steps of key frame extraction , oblique image correction , feature extraction and matching , image fusion and so on . As the splicing proceeds , the image will become more and more large . Therefore , this paper makes parallel acceleration of the above - mentioned process by using the same technique , and compares it with CPU serial time in each section , and verifies the validity and correctness of the GPU to image processing acceleration .

【學位授予單位】：中國礦業(yè)大學(北京)
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP391.41;P237

【相似文獻】

相關期刊論文 前10條

1 鄭宏;;危險理論與影像目標檢測[J];武漢大學學報(信息科學版);2009年07期

2 周麗雅;秦志遠;尚煒;王建榮;;反差一致性保持的影像勻光算法[J];測繪科學技術學報;2011年01期

3 盧漢明;黎恒明;王杰剛;;基于小波融合技術的云噪聲影像修補法[J];測繪技術裝備;2009年04期

4 張廣偉;余海坤;;多通道SAR影像中道路的探測[J];現(xiàn)代測繪;2006年03期

5 徐辛超;徐愛功;蘇麗娟;;基于影像服務的LBS應用研究[J];測繪通報;2012年01期

6 朱曉東;劉思宇;魯鐵定;徐海濤;;集群式影像處理系統(tǒng)的技術研究[J];湖北農(nóng)業(yè)科學;2012年11期

7 王華;韓祖杰;趙文;寧新穩(wěn);;應用不完全分層MRF模型的影像色彩修補方法[J];測繪通報;2012年11期

8 陳鷹;林怡;;基于提升小波的影像變換與匹配[J];測繪學報;2006年01期

9 鐘志農(nóng),景寧,陳犖;基于Web的影像數(shù)據(jù)發(fā)布[J];計算機工程與科學;2004年06期

10 張繼賢,唐新明,曾鈺,商瑤玲,李成名,趙仁亮,燕琴,李曉霞,周曉光,李學友,李英成,汪匯兵,史紹雨;地學影像—大陸間的紐帶——記第二十屆ISPRS大會[J];遙感信息;2005年01期

相關會議論文 前10條

1 徐明景;;高動態(tài)域影像色彩復制之研究[A];傳統(tǒng)色彩與現(xiàn)代應用——海峽兩岸傳統(tǒng)色彩與現(xiàn)代應用學術研討會論文集[C];2010年

2 林卉;趙長勝;景海濤;;高分辨率遙感衛(wèi)星影像的處理技術與解決方案[A];江蘇省測繪學會2007'學術年會論文集[C];2008年

3 高偉;王紅平;;基于MAPGIS的DMC影像直接定向方案[A];第四屆海峽兩岸GIS發(fā)展研討會暨中國GIS協(xié)會第十屆年會論文集[C];2006年

4 陳學才;;實施PACS系統(tǒng)要解決的關鍵問題[A];2002年全國醫(yī)學影像技術學術會議論文匯編[C];2002年

5 趙四海;;淺談數(shù)字減影的影像處理[A];第二屆全國非血管性與血管性介入新技術學術研討會暨第三屆介入放射學新技術提高班論文匯編[C];2005年

6 曾福年;楊清華;;基于高分辨率遙感影像技術的開發(fā)區(qū)用地變化快速監(jiān)測[A];新技術在土地調(diào)查中的應用與土地科學技術發(fā)展-2005年中國土地學會學術年會論文集[C];2005年

7 欒有昆;王沖;;QuickBird影像在水庫淹沒土地利用現(xiàn)狀更新中的應用[A];中國水力發(fā)電工程學會第四屆地質(zhì)及勘探專業(yè)委員會第二次學術交流會論文集[C];2010年

8 徐伯慶;潘小輝;夏佶晟;;血液細胞黏度測試中的影像處理[A];第七屆全國信息獲取與處理學術會議論文集[C];2009年

9 熊德科;;航測DOM影像一致性處理工序[A];中國測繪學會九屆三次理事會暨2007年“信息化測繪論壇”學術年會論文集[C];2007年

10 熊德科;;航測DOM影像一致性處理工序[A];全國測繪科技信息網(wǎng)中南分網(wǎng)第二十一次學術信息交流會論文集[C];2007年

相關重要報紙文章 前10條

1 ;友立音色傳奇 十五載影音之路[N];中國計算機報;2004年

2 郭靜蓉 DigiTimes;奇美電子發(fā)布變色龍及動態(tài)清晰兩大影像處理新技術[N];電子資訊時報;2007年

3 本報記者 張巍巍;影像和GIS的未來走向：簡便易用 真實生動[N];科技日報;2009年

4 本報記者 崔慕麗;1元≥1美元？[N];計算機世界;2001年

5 甲丁;地學領域：重點支持深海航空探測技術裝備研發(fā)[N];地質(zhì)勘查導報;2010年

6 ;新一代影像處理技術“南希”問世[N];人民郵電;2001年

7 何進偉;虹軟尋找拓展與突破的平衡[N];中國計算機報;2003年

8 孫新峰;從數(shù)字影像中看傳統(tǒng)攝影的價值(1)[N];中國攝影報;2005年

9 ;便攜“影像處理工廠”[N];計算機世界;2003年

10 通訊員 陸偉邋記者 崔彥玲;歸國博士“求解”藍藻預警難題[N];常州日報;2007年

相關博士學位論文 前10條

1 薛朝輝;高光譜遙感影像稀疏圖嵌入分類研究[D];南京大學;2015年

2 羅學剛;面向災害應急響應的無人機影像快速處理技術研究[D];成都理工大學;2015年

3 房建武;多源影像下的目標運動分析及應用[D];中國科學院研究生院(西安光學精密機械研究所);2015年

4 王邦松;SAR影像自動配準與鑲嵌方法研究[D];武漢大學;2015年

5 鄭暉;無人機視頻流影像快速拼接方法研究[D];中國礦業(yè)大學(北京);2017年

6 孫曉霞;基于多極化SAR影像的土地利用/土地覆蓋變化檢測方法研究[D];中國礦業(yè)大學;2011年

7 唐敏;序列無人機影像預處理與匹配中的幾個關鍵問題研究[D];西南交通大學;2014年

8 王瀟;三線陣傳感器影像真正射糾正中遮蔽區(qū)域的檢測及補償研究[D];武漢大學;2009年

9 王競雪;移動高程平面約束的多視影像可靠匹配方法[D];遼寧工程技術大學;2010年

10 何鈺;基于月面CCD影像和激光測高數(shù)據(jù)的月球形貌測繪技術研究[D];解放軍信息工程大學;2012年

相關碩士學位論文 前10條

1 趙文怡;基于TM影像對HJ-1 CCD影像幾何校正的AutoGCs軟件的性能評估[D];西南交通大學;2015年

2 李健;基于高分影像城市群路網(wǎng)瓶頸路段判別技術與系統(tǒng)實現(xiàn)[D];湖南工業(yè)大學;2015年

3 陳繼溢;正射影像鑲嵌線快速檢測方法研究[D];中國測繪科學研究院;2015年

4 李陽;基于網(wǎng)絡資源獲取鐵路選線地理信息的方法及實現(xiàn)技術[D];西南交通大學;2015年

5 朱真;歐拉影像放大算法在橋梁風致振動的研究及應用[D];長安大學;2015年

6 熊一;基于自適應濾波處理的無人機攝影測量影像DEM自動生成[D];東華理工大學;2014年

7 孫曉昱;多視立體匹配中的影像擇優(yōu)技術研究[D];解放軍信息工程大學;2015年

8 張振超;多視角傾斜航空影像匹配技術研究[D];解放軍信息工程大學;2015年

9 孫磊;海島（礁）無人機影像快速幾何處理技術研究[D];解放軍信息工程大學;2015年

10 易磊;遙感影像色彩一致性處理技術研究[D];解放軍信息工程大學;2015年

，

本文編號：1356404