本文選題：立體視覺 + 金字塔+圖分割　； 參考：《中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院上海技術(shù)物理研究所)》2017年博士論文

【摘要】：隨著紅外成像探測(cè)系統(tǒng)的應(yīng)用越來越廣泛,需要進(jìn)行大量的系統(tǒng)性能測(cè)試和評(píng)估,由于高昂的時(shí)間、人力、財(cái)力成本,外場(chǎng)試驗(yàn)次數(shù)有限且不全面,紅外場(chǎng)景仿真系統(tǒng)可以模擬外場(chǎng)試驗(yàn)數(shù)據(jù),大大縮短研發(fā)周期,因此得到了大力發(fā)展。本文基于增強(qiáng)現(xiàn)實(shí)技術(shù),通過雙目紅外立體視覺系統(tǒng)對(duì)真實(shí)紅外場(chǎng)景中顯著景物進(jìn)行3D建模,根據(jù)紅外成像原理及計(jì)算機(jī)圖形學(xué),建立虛擬目標(biāo)仿真模型,研發(fā)紅外場(chǎng)景渲染引擎,完成虛擬目標(biāo)和真實(shí)場(chǎng)景的無縫融合,在保證仿真系統(tǒng)實(shí)時(shí)性的基礎(chǔ)上,提高仿真圖像的真實(shí)度。本文的主要的研究工作如下:1、研究了雙目立體視覺的相關(guān)理論和技術(shù)實(shí)現(xiàn),從立體匹配算法理論入手,在可見光領(lǐng)域主流匹配算法的基礎(chǔ)上,針對(duì)紅外圖像紋理細(xì)節(jié)不明顯及邊緣模糊的問題,設(shè)計(jì)了基于金字塔+圖分割的立體匹配算法,融合Census和TAD的多特征計(jì)算初始匹配代價(jià),在高斯金字塔算法得到的多尺度圖像上,使用圖分割算法加權(quán)聚合匹配代價(jià),實(shí)現(xiàn)紅外場(chǎng)景的稠密視差計(jì)算;根據(jù)分割塊的視差一致性,計(jì)算視差平面參數(shù),估計(jì)由于遮擋、弱紋理等導(dǎo)致的誤匹配點(diǎn)的視差,優(yōu)化處理視差圖;通過對(duì)室內(nèi)和室外紅外場(chǎng)景進(jìn)行評(píng)估測(cè)試,本文設(shè)計(jì)的算法可有效獲取場(chǎng)景視差圖,景物輪廓較顯著,誤匹配區(qū)域較少,算法實(shí)時(shí)性較好。2、研究建立了紅外虛擬目標(biāo)的幾何模型、運(yùn)動(dòng)模型和輻射模型,根據(jù)增強(qiáng)現(xiàn)實(shí)的思想,研制紅外場(chǎng)景仿真實(shí)時(shí)渲染引擎,使用立體包圍盒方法剔除不可見面元,快速實(shí)現(xiàn)幾何一致性渲染,結(jié)合輻射定標(biāo)實(shí)現(xiàn)紅外輻射一致性渲染,完成三角面元光柵化渲染的算法實(shí)現(xiàn);根據(jù)探測(cè)器的角分辨率,設(shè)置精細(xì)采樣平面,多倍采樣像素灰度值,基于場(chǎng)景深度信息,完成虛擬目標(biāo)與真實(shí)場(chǎng)景之間的相互遮擋處理,生成虛實(shí)融合的紅外場(chǎng)景仿真圖像。實(shí)驗(yàn)結(jié)果表明,虛擬目標(biāo)和真實(shí)場(chǎng)景可以無縫平滑地融合,真實(shí)感較高。3、設(shè)計(jì)和研制了基于增強(qiáng)現(xiàn)實(shí)的動(dòng)態(tài)紅外場(chǎng)景仿真系統(tǒng)的實(shí)驗(yàn)樣機(jī),搭建短波紅外雙目立體視覺系統(tǒng)的硬件平臺(tái),完成雙目圖像的高速采集、預(yù)處理,以及立體視覺的軟件開發(fā),優(yōu)化軟件算法實(shí)時(shí)性;使用立體視覺獲取紅外場(chǎng)景中顯著景物的深度信息;利用紅外場(chǎng)景實(shí)時(shí)渲染引擎,完成仿真圖像中的虛實(shí)遮擋融合;測(cè)試表明,實(shí)驗(yàn)樣機(jī)能夠?qū)崿F(xiàn)紅外場(chǎng)景三維建模和紅外場(chǎng)景仿真功能,輸出實(shí)時(shí)動(dòng)態(tài)的紅外場(chǎng)景仿真圖像,系統(tǒng)實(shí)時(shí)性可達(dá)15幀/秒。系統(tǒng)通用性較好,可靈活進(jìn)行功能擴(kuò)展和應(yīng)用推廣。
[Abstract]:With the more and more extensive application of infrared imaging detection system, a large number of system performance tests and evaluations are required. Due to the high time, manpower and financial costs, the number of field tests is limited and incomplete. The infrared scene simulation system can simulate the field test data and shorten the R & D cycle greatly, so the infrared scene simulation system has been greatly developed. In this paper, based on augmented reality technology, 3D modeling of visible scene in real infrared scene is carried out through binocular infrared stereo vision system. According to infrared imaging principle and computer graphics, virtual target simulation model is established. The infrared scene rendering engine is developed to achieve the seamless fusion of virtual object and real scene. On the basis of ensuring the real-time performance of the simulation system, the reality of the simulation image can be improved. The main research work of this paper is as follows: 1. The related theory and technical realization of binocular stereo vision are studied. Based on the theory of stereo matching algorithm and the mainstream matching algorithm in visible light field, Aiming at the problem that the texture details of infrared image are not obvious and the edges are blurred, a stereo matching algorithm based on pyramid image segmentation is designed. The multi-feature fusion of Census and TAD is used to calculate the initial matching cost. In the multi-scale image obtained by Gao Si's pyramid algorithm, weighted aggregate matching cost is used to calculate dense parallax of infrared scene, and the parallax plane parameter is calculated according to the parallax consistency of partition block, and the parameter of parallax plane is estimated to be due to occlusion. Through the evaluation and test of indoor and outdoor infrared scene, the algorithm designed in this paper can obtain scene disparity map effectively, the contour of scene is obvious, and the area of mismatch is less. The algorithm is better in real time. Secondly, the geometric model, motion model and radiation model of infrared virtual target are established. According to the idea of augmented reality, the real-time rendering engine of infrared scene simulation is developed, and the method of stereo bounding box is used to eliminate the unseen element. Fast geometric consistent rendering, infrared radiation consistent rendering combined with radiation calibration, complete triangular panel rasterization rendering algorithm, according to the angular resolution of the detector, set the fine sampling plane, multiple sampling pixel gray value, Based on the depth information of the scene, the mutual occlusion between the virtual target and the real scene is completed, and the virtual and real fusion infrared scene simulation image is generated. The experimental results show that the virtual object and real scene can be seamlessly and smoothly fused, and the realistic sense is high. The experimental prototype of dynamic infrared scene simulation system based on augmented reality is designed and developed. Build the hardware platform of the short wave infrared binocular stereo vision system, complete the high-speed acquisition of binocular images, preprocessing, stereo vision software development, optimize the real-time software algorithm; Using stereo vision to obtain the depth information of the visible scene in infrared scene; using the real-time rendering engine of infrared scene to complete the virtual and real occlusion fusion in the simulation image; the test results show that, The experimental prototype can realize the function of infrared scene 3D modeling and infrared scene simulation, and output real-time dynamic infrared scene simulation image. The real-time performance of the system can reach 15 frames / s. The system has good versatility and can be extended and applied flexibly.
【學(xué)位授予單位】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院上海技術(shù)物理研究所)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 申凱;戴青;費(fèi)曉飛;劉振;;戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù)研究[J];微計(jì)算機(jī)信息;2006年27期

2 林P;楊珂;王涌天;劉越;;移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù)研究[J];中國(guó)圖象圖形學(xué)報(bào);2009年03期

3 徐超;;增強(qiáng)現(xiàn)實(shí),3G的潛在“殺手”應(yīng)用?[J];通信世界;2010年10期

4 ;蘋果兩項(xiàng)新專利解讀:增強(qiáng)現(xiàn)實(shí)與半透明屏幕[J];硅谷;2011年15期

5 蔡蘇;宋倩;唐瑤;;增強(qiáng)現(xiàn)實(shí)學(xué)習(xí)環(huán)境的架構(gòu)與實(shí)踐[J];中國(guó)電化教育;2011年08期

6 ;移動(dòng)增強(qiáng)現(xiàn)實(shí)國(guó)家重大專項(xiàng)正式啟動(dòng)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2012年03期

7 趙越;;基于移動(dòng)增強(qiáng)現(xiàn)實(shí)的學(xué)習(xí)形式研究[J];科技資訊;2013年06期

8 張健;蔡新元;;“增強(qiáng)現(xiàn)實(shí)”在傳統(tǒng)出版領(lǐng)域中的應(yīng)用探索[J];科技與出版;2013年10期

9 裴燕;;“增強(qiáng)現(xiàn)實(shí)”的革命[J];IT經(jīng)理世界;2013年24期

10 陳靖,王涌天,閆達(dá)遠(yuǎn);增強(qiáng)現(xiàn)實(shí)系統(tǒng)及其應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2001年15期

相關(guān)會(huì)議論文 前10條

1 劉越;王涌天;閆達(dá)遠(yuǎn);;增強(qiáng)現(xiàn)實(shí)系統(tǒng)顯示技術(shù)研究[A];第三屆全國(guó)數(shù)字成像技術(shù)及相關(guān)材料發(fā)展與應(yīng)用學(xué)術(shù)研討會(huì)論文摘要集[C];2004年

2 張旭光;閻鎮(zhèn);;面向遙科學(xué)實(shí)驗(yàn)的增強(qiáng)現(xiàn)實(shí)應(yīng)用研究[A];第二十三屆全國(guó)空間探測(cè)學(xué)術(shù)交流會(huì)論文摘要集[C];2010年

3 王倩;高長(zhǎng)城;徐大衛(wèi);;基于虛實(shí)像結(jié)合的增強(qiáng)現(xiàn)實(shí)研究[A];圖像圖形技術(shù)研究與應(yīng)用2009——第四屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 李丹;黃有群;;增強(qiáng)現(xiàn)實(shí)交互技術(shù)的研究[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)通信與信息技術(shù)會(huì)議論文集（上冊(cè)）[C];2008年

5 葛瑩;;基于視頻影像的地理數(shù)據(jù)增強(qiáng)現(xiàn)實(shí)可視化研究[A];中國(guó)地理學(xué)會(huì)百年慶典學(xué)術(shù)論文摘要集[C];2009年

6 錢雪軍;郎誠(chéng)廉;;機(jī)車多媒體教學(xué)仿真系統(tǒng)的研究[A];二○○一年中國(guó)系統(tǒng)仿真學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2001年

7 徐享忠;王精業(yè);馬亞龍;;略論仿真科學(xué)與技術(shù)學(xué)科的仿真系統(tǒng)理論[A];第十屆中國(guó)科協(xié)年會(huì)論文集（一）[C];2008年

8 葛學(xué)東;;增強(qiáng)現(xiàn)實(shí)一致光照技術(shù)研究[A];第十三屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2006年

9 李新洪;曾國(guó)強(qiáng);王兆魁;;分布式衛(wèi)星編隊(duì)仿真系統(tǒng)[A];’2004系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2004年

10 郭蓮英;黃希發(fā);;體育活動(dòng)仿真系統(tǒng)及涉及技術(shù)淺議[A];2006年全國(guó)體育儀器器材與體育系統(tǒng)仿真學(xué)術(shù)報(bào)告會(huì)論文集[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 逄丹;“增強(qiáng)現(xiàn)實(shí)”用虛擬美化現(xiàn)實(shí)[N];通信產(chǎn)業(yè)報(bào);2010年

2 中國(guó)移動(dòng)研究院業(yè)務(wù)研究所 陳志剛;“增強(qiáng)現(xiàn)實(shí)”適宜后向收費(fèi)[N];通信產(chǎn)業(yè)報(bào);2010年

3 本報(bào)記者 鄒大斌;增強(qiáng)現(xiàn)實(shí):互聯(lián)網(wǎng)應(yīng)用的新熱點(diǎn)[N];計(jì)算機(jī)世界;2011年

4 ;移動(dòng)增強(qiáng)現(xiàn)實(shí)：是炒作還是下一件大事?[N];網(wǎng)絡(luò)世界;2010年

5 ;AR：更深刻的現(xiàn)實(shí)[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2002年

6 本報(bào)記者 劉霞;2020年的可能和不可能[N];科技日?qǐng)?bào);2011年

7 特約作者 蘇馳;真亦假時(shí)假亦真[N];電腦報(bào);2010年

8 華凌;NASA為商業(yè)飛行員開發(fā)增強(qiáng)現(xiàn)實(shí)設(shè)備[N];科技日?qǐng)?bào);2012年

9 記者 胡曉峰;便攜式移動(dòng)仿真系統(tǒng)問世[N];中國(guó)船舶報(bào);2008年

10 通訊員 海曉濤　記者 張逸飛;高鐵牽引變仿真系統(tǒng)研發(fā)成功[N];國(guó)家電網(wǎng)報(bào);2011年

相關(guān)博士學(xué)位論文 前10條

1 祝清瑞;基于增強(qiáng)現(xiàn)實(shí)的動(dòng)態(tài)紅外場(chǎng)景仿真系統(tǒng)的設(shè)計(jì)研究[D];中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院上海技術(shù)物理研究所);2017年

2 林一;基于上下文感知的移動(dòng)增強(qiáng)現(xiàn)實(shí)瀏覽器構(gòu)建及優(yōu)化方法研究[D];北京理工大學(xué);2015年

3 趙越;實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)中運(yùn)動(dòng)目標(biāo)及場(chǎng)景的跟蹤注冊(cè)關(guān)鍵問題研究[D];東北大學(xué);2015年

4 陸平;移動(dòng)增強(qiáng)現(xiàn)實(shí)中的圖像處理關(guān)鍵技術(shù)研究及應(yīng)用[D];東南大學(xué);2015年

5 魏小東;面向教育應(yīng)用的增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵問題研究[D];北京理工大學(xué);2015年

6 趙守偉;增強(qiáng)現(xiàn)實(shí)輔助維修關(guān)鍵技術(shù)研究[D];河北工業(yè)大學(xué);2016年

7 趙新燦;增強(qiáng)現(xiàn)實(shí)維修誘導(dǎo)系統(tǒng)關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2007年

8 姚遠(yuǎn);增強(qiáng)現(xiàn)實(shí)應(yīng)用技術(shù)研究[D];浙江大學(xué);2006年

9 董子龍;面向增強(qiáng)現(xiàn)實(shí)的實(shí)時(shí)三維跟蹤[D];浙江大學(xué);2010年

10 馮曉偉;增強(qiáng)現(xiàn)實(shí)工業(yè)培訓(xùn)系統(tǒng)研究[D];華東師范大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 徐靈;增強(qiáng)現(xiàn)實(shí)廣告技術(shù)的創(chuàng)新擴(kuò)散研究[D];湖南大學(xué);2012年

2 Pp冬慧;基于增強(qiáng)現(xiàn)實(shí)的手部康復(fù)訓(xùn)練系統(tǒng)的研究[D];南京信息工程大學(xué);2015年

3 夏德芳;移動(dòng)增強(qiáng)現(xiàn)實(shí)中位姿計(jì)算與靜態(tài)手勢(shì)識(shí)別交互研究[D];南京理工大學(xué);2015年

4 李潔;基于Android平臺(tái)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)研究與應(yīng)用[D];河北農(nóng)業(yè)大學(xué);2015年

5 張愷夫;基于增強(qiáng)現(xiàn)實(shí)的交通安全公益廣告設(shè)計(jì)及其效果研究[D];哈爾濱工業(yè)大學(xué);2015年

6 康磊;地標(biāo)性建筑的增強(qiáng)現(xiàn)實(shí)系統(tǒng)設(shè)計(jì)研究[D];哈爾濱工業(yè)大學(xué);2015年

7 趙王軍;面向信息物理Web的增強(qiáng)現(xiàn)實(shí)瀏覽器設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2015年

8 彭雪;基于傳感器的增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)研究[D];上海大學(xué);2015年

9 田遠(yuǎn)霞;增強(qiáng)現(xiàn)實(shí)下多通道交互模型研究與實(shí)現(xiàn)[D];浙江大學(xué);2015年

10 嚴(yán)玉若;增強(qiáng)現(xiàn)實(shí)中視覺反饋關(guān)鍵技術(shù)研究[D];上海大學(xué);2015年

，

本文編號(hào)：1840856