本文選題：立體視覺 + 金字塔+圖分割��； 參考：《中國科學(xué)院大學(xué)(中國科學(xué)院上海技術(shù)物理研究所)》2017年博士論文

【摘要】：隨著紅外成像探測系統(tǒng)的應(yīng)用越來越廣泛,需要進(jìn)行大量的系統(tǒng)性能測試和評估,由于高昂的時間、人力、財力成本,外場試驗(yàn)次數(shù)有限且不全面,紅外場景仿真系統(tǒng)可以模擬外場試驗(yàn)數(shù)據(jù),大大縮短研發(fā)周期,因此得到了大力發(fā)展。本文基于增強(qiáng)現(xiàn)實(shí)技術(shù),通過雙目紅外立體視覺系統(tǒng)對真實(shí)紅外場景中顯著景物進(jìn)行3D建模,根據(jù)紅外成像原理及計算機(jī)圖形學(xué),建立虛擬目標(biāo)仿真模型,研發(fā)紅外場景渲染引擎,完成虛擬目標(biāo)和真實(shí)場景的無縫融合,在保證仿真系統(tǒng)實(shí)時性的基礎(chǔ)上,提高仿真圖像的真實(shí)度。本文的主要的研究工作如下:1、研究了雙目立體視覺的相關(guān)理論和技術(shù)實(shí)現(xiàn),從立體匹配算法理論入手,在可見光領(lǐng)域主流匹配算法的基礎(chǔ)上,針對紅外圖像紋理細(xì)節(jié)不明顯及邊緣模糊的問題,設(shè)計了基于金字塔+圖分割的立體匹配算法,融合Census和TAD的多特征計算初始匹配代價,在高斯金字塔算法得到的多尺度圖像上,使用圖分割算法加權(quán)聚合匹配代價,實(shí)現(xiàn)紅外場景的稠密視差計算;根據(jù)分割塊的視差一致性,計算視差平面參數(shù),估計由于遮擋、弱紋理等導(dǎo)致的誤匹配點(diǎn)的視差,優(yōu)化處理視差圖;通過對室內(nèi)和室外紅外場景進(jìn)行評估測試,本文設(shè)計的算法可有效獲取場景視差圖,景物輪廓較顯著,誤匹配區(qū)域較少,算法實(shí)時性較好。2、研究建立了紅外虛擬目標(biāo)的幾何模型、運(yùn)動模型和輻射模型,根據(jù)增強(qiáng)現(xiàn)實(shí)的思想,研制紅外場景仿真實(shí)時渲染引擎,使用立體包圍盒方法剔除不可見面元,快速實(shí)現(xiàn)幾何一致性渲染,結(jié)合輻射定標(biāo)實(shí)現(xiàn)紅外輻射一致性渲染,完成三角面元光柵化渲染的算法實(shí)現(xiàn);根據(jù)探測器的角分辨率,設(shè)置精細(xì)采樣平面,多倍采樣像素灰度值,基于場景深度信息,完成虛擬目標(biāo)與真實(shí)場景之間的相互遮擋處理,生成虛實(shí)融合的紅外場景仿真圖像。實(shí)驗(yàn)結(jié)果表明,虛擬目標(biāo)和真實(shí)場景可以無縫平滑地融合,真實(shí)感較高。3、設(shè)計和研制了基于增強(qiáng)現(xiàn)實(shí)的動態(tài)紅外場景仿真系統(tǒng)的實(shí)驗(yàn)樣機(jī),搭建短波紅外雙目立體視覺系統(tǒng)的硬件平臺,完成雙目圖像的高速采集、預(yù)處理,以及立體視覺的軟件開發(fā),優(yōu)化軟件算法實(shí)時性;使用立體視覺獲取紅外場景中顯著景物的深度信息;利用紅外場景實(shí)時渲染引擎,完成仿真圖像中的虛實(shí)遮擋融合;測試表明,實(shí)驗(yàn)樣機(jī)能夠?qū)崿F(xiàn)紅外場景三維建模和紅外場景仿真功能,輸出實(shí)時動態(tài)的紅外場景仿真圖像,系統(tǒng)實(shí)時性可達(dá)15幀/秒。系統(tǒng)通用性較好,可靈活進(jìn)行功能擴(kuò)展和應(yīng)用推廣。
[Abstract]:With the more and more extensive application of infrared imaging detection system, a large number of system performance tests and evaluations are required. Due to the high time, manpower and financial costs, the number of field tests is limited and incomplete. The infrared scene simulation system can simulate the field test data and shorten the R & D cycle greatly, so the infrared scene simulation system has been greatly developed. In this paper, based on augmented reality technology, 3D modeling of visible scene in real infrared scene is carried out through binocular infrared stereo vision system. According to infrared imaging principle and computer graphics, virtual target simulation model is established. The infrared scene rendering engine is developed to achieve the seamless fusion of virtual object and real scene. On the basis of ensuring the real-time performance of the simulation system, the reality of the simulation image can be improved. The main research work of this paper is as follows: 1. The related theory and technical realization of binocular stereo vision are studied. Based on the theory of stereo matching algorithm and the mainstream matching algorithm in visible light field, Aiming at the problem that the texture details of infrared image are not obvious and the edges are blurred, a stereo matching algorithm based on pyramid image segmentation is designed. The multi-feature fusion of Census and TAD is used to calculate the initial matching cost. In the multi-scale image obtained by Gao Si's pyramid algorithm, weighted aggregate matching cost is used to calculate dense parallax of infrared scene, and the parallax plane parameter is calculated according to the parallax consistency of partition block, and the parameter of parallax plane is estimated to be due to occlusion. Through the evaluation and test of indoor and outdoor infrared scene, the algorithm designed in this paper can obtain scene disparity map effectively, the contour of scene is obvious, and the area of mismatch is less. The algorithm is better in real time. Secondly, the geometric model, motion model and radiation model of infrared virtual target are established. According to the idea of augmented reality, the real-time rendering engine of infrared scene simulation is developed, and the method of stereo bounding box is used to eliminate the unseen element. Fast geometric consistent rendering, infrared radiation consistent rendering combined with radiation calibration, complete triangular panel rasterization rendering algorithm, according to the angular resolution of the detector, set the fine sampling plane, multiple sampling pixel gray value, Based on the depth information of the scene, the mutual occlusion between the virtual target and the real scene is completed, and the virtual and real fusion infrared scene simulation image is generated. The experimental results show that the virtual object and real scene can be seamlessly and smoothly fused, and the realistic sense is high. The experimental prototype of dynamic infrared scene simulation system based on augmented reality is designed and developed. Build the hardware platform of the short wave infrared binocular stereo vision system, complete the high-speed acquisition of binocular images, preprocessing, stereo vision software development, optimize the real-time software algorithm; Using stereo vision to obtain the depth information of the visible scene in infrared scene; using the real-time rendering engine of infrared scene to complete the virtual and real occlusion fusion in the simulation image; the test results show that, The experimental prototype can realize the function of infrared scene 3D modeling and infrared scene simulation, and output real-time dynamic infrared scene simulation image. The real-time performance of the system can reach 15 frames / s. The system has good versatility and can be extended and applied flexibly.
【學(xué)位授予單位】：中國科學(xué)院大學(xué)(中國科學(xué)院上海技術(shù)物理研究所)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 申凱;戴青;費(fèi)曉飛;劉振;;戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù)研究[J];微計算機(jī)信息;2006年27期

2 林P;楊珂;王涌天;劉越;;移動增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù)研究[J];中國圖象圖形學(xué)報;2009年03期

3 徐超;;增強(qiáng)現(xiàn)實(shí),3G的潛在“殺手”應(yīng)用?[J];通信世界;2010年10期

4 ;蘋果兩項(xiàng)新專利解讀:增強(qiáng)現(xiàn)實(shí)與半透明屏幕[J];硅谷;2011年15期

5 蔡蘇;宋倩;唐瑤;;增強(qiáng)現(xiàn)實(shí)學(xué)習(xí)環(huán)境的架構(gòu)與實(shí)踐[J];中國電化教育;2011年08期

6 ;移動增強(qiáng)現(xiàn)實(shí)國家重大專項(xiàng)正式啟動[J];信息技術(shù)與標(biāo)準(zhǔn)化;2012年03期

7 趙越;;基于移動增強(qiáng)現(xiàn)實(shí)的學(xué)習(xí)形式研究[J];科技資訊;2013年06期

8 張健;蔡新元;;“增強(qiáng)現(xiàn)實(shí)”在傳統(tǒng)出版領(lǐng)域中的應(yīng)用探索[J];科技與出版;2013年10期

9 裴燕;;“增強(qiáng)現(xiàn)實(shí)”的革命[J];IT經(jīng)理世界;2013年24期

10 陳靖,王涌天,閆達(dá)遠(yuǎn);增強(qiáng)現(xiàn)實(shí)系統(tǒng)及其應(yīng)用[J];計算機(jī)工程與應(yīng)用;2001年15期

相關(guān)會議論文 前10條

1 劉越;王涌天;閆達(dá)遠(yuǎn);;增強(qiáng)現(xiàn)實(shí)系統(tǒng)顯示技術(shù)研究[A];第三屆全國數(shù)字成像技術(shù)及相關(guān)材料發(fā)展與應(yīng)用學(xué)術(shù)研討會論文摘要集[C];2004年

2 張旭光;閻鎮(zhèn);;面向遙科學(xué)實(shí)驗(yàn)的增強(qiáng)現(xiàn)實(shí)應(yīng)用研究[A];第二十三屆全國空間探測學(xué)術(shù)交流會論文摘要集[C];2010年

3 王倩;高長城;徐大衛(wèi);;基于虛實(shí)像結(jié)合的增強(qiáng)現(xiàn)實(shí)研究[A];圖像圖形技術(shù)研究與應(yīng)用2009——第四屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2009年

4 李丹;黃有群;;增強(qiáng)現(xiàn)實(shí)交互技術(shù)的研究[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

5 葛瑩;;基于視頻影像的地理數(shù)據(jù)增強(qiáng)現(xiàn)實(shí)可視化研究[A];中國地理學(xué)會百年慶典學(xué)術(shù)論文摘要集[C];2009年

6 錢雪軍;郎誠廉;;機(jī)車多媒體教學(xué)仿真系統(tǒng)的研究[A];二○○一年中國系統(tǒng)仿真學(xué)會學(xué)術(shù)年會論文集[C];2001年

7 徐享忠;王精業(yè);馬亞龍;;略論仿真科學(xué)與技術(shù)學(xué)科的仿真系統(tǒng)理論[A];第十屆中國科協(xié)年會論文集（一）[C];2008年

8 葛學(xué)東;;增強(qiáng)現(xiàn)實(shí)一致光照技術(shù)研究[A];第十三屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2006年

9 李新洪;曾國強(qiáng);王兆魁;;分布式衛(wèi)星編隊(duì)仿真系統(tǒng)[A];’2004系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會論文集[C];2004年

10 郭蓮英;黃希發(fā);;體育活動仿真系統(tǒng)及涉及技術(shù)淺議[A];2006年全國體育儀器器材與體育系統(tǒng)仿真學(xué)術(shù)報告會論文集[C];2006年

相關(guān)重要報紙文章 前10條

1 本報記者 逄丹;“增強(qiáng)現(xiàn)實(shí)”用虛擬美化現(xiàn)實(shí)[N];通信產(chǎn)業(yè)報;2010年

2 中國移動研究院業(yè)務(wù)研究所 陳志剛;“增強(qiáng)現(xiàn)實(shí)”適宜后向收費(fèi)[N];通信產(chǎn)業(yè)報;2010年

3 本報記者 鄒大斌;增強(qiáng)現(xiàn)實(shí):互聯(lián)網(wǎng)應(yīng)用的新熱點(diǎn)[N];計算機(jī)世界;2011年

4 ;移動增強(qiáng)現(xiàn)實(shí)：是炒作還是下一件大事?[N];網(wǎng)絡(luò)世界;2010年

5 ;AR：更深刻的現(xiàn)實(shí)[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2002年

6 本報記者 劉霞;2020年的可能和不可能[N];科技日報;2011年

7 特約作者 蘇馳;真亦假時假亦真[N];電腦報;2010年

8 華凌;NASA為商業(yè)飛行員開發(fā)增強(qiáng)現(xiàn)實(shí)設(shè)備[N];科技日報;2012年

9 記者 胡曉峰;便攜式移動仿真系統(tǒng)問世[N];中國船舶報;2008年

10 通訊員 海曉濤　記者 張逸飛;高鐵牽引變仿真系統(tǒng)研發(fā)成功[N];國家電網(wǎng)報;2011年

相關(guān)博士學(xué)位論文 前10條

1 祝清瑞;基于增強(qiáng)現(xiàn)實(shí)的動態(tài)紅外場景仿真系統(tǒng)的設(shè)計研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院上海技術(shù)物理研究所);2017年

2 林一;基于上下文感知的移動增強(qiáng)現(xiàn)實(shí)瀏覽器構(gòu)建及優(yōu)化方法研究[D];北京理工大學(xué);2015年

3 趙越;實(shí)時增強(qiáng)現(xiàn)實(shí)中運(yùn)動目標(biāo)及場景的跟蹤注冊關(guān)鍵問題研究[D];東北大學(xué);2015年

4 陸平;移動增強(qiáng)現(xiàn)實(shí)中的圖像處理關(guān)鍵技術(shù)研究及應(yīng)用[D];東南大學(xué);2015年

5 魏小東;面向教育應(yīng)用的增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵問題研究[D];北京理工大學(xué);2015年

6 趙守偉;增強(qiáng)現(xiàn)實(shí)輔助維修關(guān)鍵技術(shù)研究[D];河北工業(yè)大學(xué);2016年

7 趙新燦;增強(qiáng)現(xiàn)實(shí)維修誘導(dǎo)系統(tǒng)關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2007年

8 姚遠(yuǎn);增強(qiáng)現(xiàn)實(shí)應(yīng)用技術(shù)研究[D];浙江大學(xué);2006年

9 董子龍;面向增強(qiáng)現(xiàn)實(shí)的實(shí)時三維跟蹤[D];浙江大學(xué);2010年

10 馮曉偉;增強(qiáng)現(xiàn)實(shí)工業(yè)培訓(xùn)系統(tǒng)研究[D];華東師范大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 徐靈;增強(qiáng)現(xiàn)實(shí)廣告技術(shù)的創(chuàng)新擴(kuò)散研究[D];湖南大學(xué);2012年

2 Pp冬慧;基于增強(qiáng)現(xiàn)實(shí)的手部康復(fù)訓(xùn)練系統(tǒng)的研究[D];南京信息工程大學(xué);2015年

3 夏德芳;移動增強(qiáng)現(xiàn)實(shí)中位姿計算與靜態(tài)手勢識別交互研究[D];南京理工大學(xué);2015年

4 李潔;基于Android平臺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)研究與應(yīng)用[D];河北農(nóng)業(yè)大學(xué);2015年

5 張愷夫;基于增強(qiáng)現(xiàn)實(shí)的交通安全公益廣告設(shè)計及其效果研究[D];哈爾濱工業(yè)大學(xué);2015年

6 康磊;地標(biāo)性建筑的增強(qiáng)現(xiàn)實(shí)系統(tǒng)設(shè)計研究[D];哈爾濱工業(yè)大學(xué);2015年

7 趙王軍;面向信息物理Web的增強(qiáng)現(xiàn)實(shí)瀏覽器設(shè)計與實(shí)現(xiàn)[D];浙江大學(xué);2015年

8 彭雪;基于傳感器的增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)研究[D];上海大學(xué);2015年

9 田遠(yuǎn)霞;增強(qiáng)現(xiàn)實(shí)下多通道交互模型研究與實(shí)現(xiàn)[D];浙江大學(xué);2015年

10 嚴(yán)玉若;增強(qiáng)現(xiàn)實(shí)中視覺反饋關(guān)鍵技術(shù)研究[D];上海大學(xué);2015年

，

本文編號：1840856