本文選題：視頻拼接 + 畸變校正�。� 參考：《中國科學院研究生院(長春光學精密機械與物理研究所)》2016年博士論文

【摘要】：目前視頻拼接技術是將具有重疊區(qū)域的多幅視頻圖像進行拼接,進而可以形成寬視場視頻圖像。與單目視頻圖像相比較,其在展現(xiàn)大尺寸視頻畫面的同時,也可以提供更加豐富的信息。隨著目前多媒體移動設備不斷地普及化以及廉價化,視頻拼接技術顯然已經(jīng)成為圖像處理領域研究的熱點。視頻拼接相對于圖像拼接而言,存在著視頻實時性以及同步性等難點問題。本文采用三路視頻流進行相關實驗,并且采用基于改進的SIFT算法完成對本文視頻拼接技術的研究。本文主要的研究內容:(1)本文首先從圖像拼接的相關理論進行簡單的介紹,主要包括攝像機的成像模型,圖像坐標變換之間的關系,以及攝像機的運動模型,圖像配準的含義,并對常用的配準技術進行了簡單的介紹,為后續(xù)內容作鋪墊。(2)為了權衡攝像頭個數(shù)以及視場之間的關系,本文選用了廣角相機對其進行成像。由于廣角相機所獲得的圖像邊緣會有嚴重的畸變,所以首先必須對畸變進行處理,本文在選用基于直線特征的標定方法基礎上,并且提出了一種彎曲測度指標函數(shù),靠近圖像中心不同距離的曲線給予不同的權重因子,使得畸變校正更加準確。(3)首先對SIFT特征提取算法進行詳細的分析,并且針對視頻拼接的實時性要求對其進行改進。首先對圖像的感興趣區(qū)域進行限制。由于SIFT算法提取的特征點多而且過于密集,不利于后續(xù)特征點的匹配與投影變換矩陣的計算,所以有必要對其進行改進。第一步擴大極值點的搜素范圍,第二步是對提取的特征點進行距離約束。仿真實驗結果表明,改進后的SIFT算法比原算法速度更快,特征點分布也更加的均勻,同時也保持該算法原有的對光照以及旋轉的魯棒性。(4)本文選用了基于次近鄰與最近鄰距離比值的特征點匹配算法對特征點進行粗匹配,并且選用BBF搜索策略搜索最近鄰距離與次近鄰距離特征點,采用RANSAC算法進行特征點的提純,然后使用提純后的特征點進行投影變換矩陣的估計。為了消除配準圖像產(chǎn)生的拼接縫,本文首先對現(xiàn)有的圖像融合算法進行分析與實驗對比,總結得到,加權平均融合算法能夠很好地保留圖像的細節(jié)信息,獲得更高的融合圖像質量,在此選用此種方法對圖像進行融合。(5)由于攝像頭的位置是固定的,在成像過程中攝像機的參數(shù)也是固定不變的,所以只需要對首幀圖像進行特征提取計算出投影變換矩陣,其余視頻幀都利用此投影變換矩陣進行操作,并且采用了OpenMP并行編程來優(yōu)化整個系統(tǒng),提高程序運算效率。為了保持視頻圖像的同步采集,本文采用Directshow技術對視頻圖像進行采集,同時設計了一種對每一路視頻在服務器中開發(fā)一個緩沖區(qū)進行視頻流的存儲機制。
[Abstract]:At present, the technology of video mosaic is to concatenate multiple video images with overlapped regions, which can form wide field of view video images. Compared with monocular video images, it can provide more information while displaying large scale video images. With the popularization and low cost of multimedia mobile devices, video mosaic technology has obviously become a hot spot in the field of image processing. Compared with image stitching, video stitching has many difficulties, such as real-time and synchronism. In this paper, three channels of video streams are used to carry out related experiments, and the improved SIFT algorithm is used to complete the research of the video mosaic technology in this paper. The main research content of this paper is: (1) this paper firstly introduces the theory of image mosaic, including the imaging model of camera, the relationship between image coordinate transformation, the motion model of camera and the meaning of image registration. In order to weigh the relationship between the number of cameras and the field of view, a wide-angle camera is used to image the registration technology. Because the edge of the image obtained by the wide-angle camera will have serious distortion, the distortion must be processed first. In this paper, based on the calibration method based on linear features, a bending measure index function is proposed. The curve near the center of the image gives different weight factors, which makes the distortion correction more accurate. 3) firstly, the SIFT feature extraction algorithm is analyzed in detail, and it is improved to meet the real-time requirements of video stitching. First of all, the region of interest of the image is restricted. Because the feature points extracted by SIFT algorithm are many and too dense, it is unfavorable to the matching of feature points and the calculation of projection transformation matrix, so it is necessary to improve it. The first step is to expand the search range of extremum points, and the second step is to restrict the distance of the extracted feature points. The simulation results show that the improved SIFT algorithm is faster than the original algorithm, and the distribution of the feature points is more uniform. At the same time, it also maintains the robustness of the algorithm to illumination and rotation.) in this paper, the feature point matching algorithm based on the ratio of the distance between the next nearest neighbor and the nearest neighbor is used to match the feature points rough. BBF search strategy is used to search the nearest neighbor distance and the next nearest neighbor distance feature point, RANSAC algorithm is used to purify the feature point, and then the projection transformation matrix is estimated by using the purified feature point. In order to eliminate the stitching produced by the registration image, this paper firstly analyzes and compares the existing image fusion algorithms, and concludes that the weighted average fusion algorithm can preserve the details of the image very well. To achieve higher fusion image quality, this method is used to fuse the image. (5) because the position of the camera is fixed, the camera parameters are also fixed during the imaging process. So we only need to extract the features of the first frame image to calculate the projection transform matrix, and the other video frames are operated by the projection transformation matrix, and the OpenMP parallel programming is used to optimize the whole system and improve the efficiency of the program. In order to maintain the synchronous acquisition of video images, this paper adopts Directshow technology to capture video images, and designs a storage mechanism of video streams in a buffer for each video stream in the server.
【學位授予單位】：中國科學院研究生院(長春光學精密機械與物理研究所)
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前10條

1 桂志國,韓焱,王明泉,潘晉孝;大型構件射線圖像拼接技術[J];系統(tǒng)仿真學報;2001年S2期

2 王俊杰;劉家茂;胡運發(fā);于玉;;圖像拼接技術[J];計算機科學;2003年06期

3 王偉;陸佩忠;;數(shù)字圖像拼接技術[J];小型微型計算機系統(tǒng);2006年07期

4 王琦暉;;基于圖切割的圖像拼接技術[J];電腦知識與技術(學術交流);2007年18期

5 方賢勇;張明敏;潘志庚;羅斌;王鵬;;基于圖切割的圖像拼接技術研究[J];中國圖象圖形學報;2007年12期

6 陳立潮;王榮;陳禮民;;病理切片遠程會診中圖像拼接技術的研究[J];計算機仿真;2012年02期

7 王超;;數(shù)字圖像拼接技術研究初探[J];數(shù)字技術與應用;2012年07期

8 江鐵;朱桂斌;孫奧;;全景圖像拼接技術研究現(xiàn)狀綜述[J];重慶工商大學學報(自然科學版);2012年12期

9 李明兵;張鎖平;張東亮;齊占輝;;圖像拼接技術在海洋環(huán)境監(jiān)測中的應用研究[J];海洋技術;2012年04期

10 馮文昌;張曉亮;;圖像拼接技術在太極動漫創(chuàng)作中的應用[J];河南師范大學學報(自然科學版);2013年03期

相關會議論文 前6條

1 王斌;王偉鋒;段友祥;;一種健壯的圖像拼接技術[A];圖像圖形技術研究與應用2009——第四屆圖像圖形技術與應用學術會議論文集[C];2009年

2 張永杰;王艷峰;孫榮艷;顧軍華;;公路裂縫識別系統(tǒng)中的圖像拼接技術[A];2007年河北省電子學會、河北省計算機學會、河北省自動化學會、河北省人工智能學會、河北省計算機輔助設計研究會、河北省軟件行業(yè)協(xié)會聯(lián)合學術年會論文集[C];2007年

3 湯力琨;龍建忠;;圖像拼接技術在金相分析中的運用[A];中國自動化學會、中國儀器儀表學會2004年西南三省一市自動化與儀器儀表學術年會論文集[C];2004年

4 向陽;羅錫文;熊瑛;吳明亮;;基于感應與圖像標記結合的排種圖像拼接技術[A];中國農(nóng)業(yè)工程學會2011年學術年會論文集[C];2011年

5 孫嘯天;余建明;陳艷;;DR的圖像拼接技術在全脊柱及下肢攝影中的應用研究[A];2010中華醫(yī)學會影像技術分會第十八次全國學術大會論文集[C];2010年

6 阮驥;;DR超長成像及圖像拼接技術的質量控制[A];2010中華醫(yī)學會影像技術分會第十八次全國學術大會論文集[C];2010年

相關博士學位論文 前4條

1 張敏;基于多視域廣角相機視頻圖像拼接技術研究[D];中國科學院研究生院(長春光學精密機械與物理研究所);2016年

2 曾霖;圖像拼接技術的研究、實現(xiàn)與應用[D];武漢大學;2012年

3 方賢勇;圖像拼接技術研究[D];浙江大學;2005年

4 曹芳;自由視角多平面場景圖像拼接技術研究[D];上海大學;2013年

相關碩士學位論文 前10條

1 陳思聰;基于BRISK算法的圖像拼接技術研究[D];中國科學院研究生院(長春光學精密機械與物理研究所);2015年

2 余讓明;基于特征的全景圖像拼接技術研究[D];西南交通大學;2015年

3 羅亮;高清視頻編解碼電路設計[D];西安工業(yè)大學;2015年

4 韓魯;基于運動平臺的圖像匹配拼接技術的研究[D];南京理工大學;2015年

5 陳德勇;大幅面CIS掃描儀的自動圖像拼接技術研究[D];電子科技大學;2015年

6 任維;基于車載環(huán)視系統(tǒng)的圖像拼接技術研究[D];北京工業(yè)大學;2015年

7 林小平;面向區(qū)域監(jiān)控的全景圖像拼接技術研究[D];國防科學技術大學;2013年

8 王頒法;大視域圖像拼接技術在橋梁工程監(jiān)測中的應用[D];河南工業(yè)大學;2015年

9 趙斯曼;基于特征點的圖像拼接技術研究[D];重慶大學;2015年

10 易波;基于Harris特征的圖像拼接技術研究[D];四川農(nóng)業(yè)大學;2014年

，

本文編號：1811311