本文選題：立體視覺系統(tǒng) + 半全局匹配��； 參考：《中國科學技術大學》2017年碩士論文

【摘要】：作為計算機視覺的重要分支,立體視覺廣泛應用于生物醫(yī)學、自動駕駛、人機交互等嵌入式應用。通常,立體視覺系統(tǒng)包含攝像機標定、圖像校正、立體匹配和三維重建四個部分。立體視覺系統(tǒng)根據雙目攝像機從不同角度拍攝的兩幅圖像,經過一系列處理,恢復出物體深度信息。由于拍攝場景受到光照、噪聲、反光、透視失真、遮擋、重復和低紋理的影響,立體匹配成了整個系統(tǒng)最重要和最困難的部分,匹配精度直接影響了三維重建的效果。另外,在保證匹配精度的前提下,對高分辨率圖像的實時處理是實際應用的基本需求。本文提出了一種基于加權半全局聚合的高精度、高吞吐率的視差并行、行并行的全流水線架構,并搭建了基于FPGA的硬件架構和驗證模型。主要貢獻如下:(1)提出了一種基于半全局立體匹配的高精度、高吞吐的硬件架構。整個架構包含64個視差并行計算、相鄰兩行像素并行計算和五條路徑代價并行計算。采用乒乓緩存和分時復用的特定結構,來實現(xiàn)半全局聚合模塊的全流水線設計,提升整個架構的吞吐率。(2)通常的半全局算法軟件實現(xiàn)選取8或16條路徑來進行代價聚合,但是由于部分路徑不符合數(shù)據流向,需要消耗大量的資源來存儲中間數(shù)據,現(xiàn)有的半全局硬件實現(xiàn)以降低精度為代價將路徑數(shù)目降為4條。本文在不使用外部存儲器的情況下,提出了基于五條路徑聚合的自適應路徑加權的半全局硬件架構,實驗結果表明,視差圖精度提高了 3.69%。(3)為了提高視差不連續(xù)區(qū)域的精度,本文在平滑約束的懲罰因子計算中,對參考圖像進行拉普拉斯邊緣增強。另外,在視差優(yōu)化階段,增加了碎片去除模塊來消除視差圖中的異常值,并采用修正的等角插值方法進行亞像素插值,提高三維重建的精度。(4)完成了該架構基于FPGA的硬件驗證,采用Middlebury測試平臺提供的圖像對進行匹配精度測試,平均錯誤率為6.03%。該架構在Altera公司StratixV FPGA上的最大工作頻率為156MHz,最大視差范圍為64,吞吐率為1280 × 960/197fps(幀/秒)。在Xilinx公司的VC707開發(fā)板上工作頻率為100MHz,吞吐率為1280 × 960/126fps。但是由于特制的乒乓緩存結構,消耗了大量的片上存儲資源進行數(shù)據緩存。綜上所述,該架構完全滿足嵌入式應用高精度、實時性要求。
[Abstract]:As an important branch of computer vision, stereo vision is widely used in biomedical, autopilot, human-computer interaction and other embedded applications.Usually, stereo vision system includes four parts: camera calibration, image correction, stereo matching and 3D reconstruction.Stereo vision system based on binocular camera from different angles of two images, after a series of processing to restore the depth of the object information.Due to the influence of illumination, noise, reflection, perspective distortion, occlusion, repetition and low texture, stereo matching becomes the most important and difficult part of the whole system, and the matching accuracy directly affects the effect of 3D reconstruction.In addition, real-time processing of high-resolution images is the basic requirement of practical applications on the premise of matching accuracy.In this paper, a high precision, high throughput parallax parallel and line parallel all- architecture based on weighted semi-global aggregation is proposed, and the hardware architecture and verification model based on FPGA are built.The main contributions are as follows: (1) A high precision and high throughput hardware architecture based on semi-global stereo matching is proposed.The architecture consists of 64 parallax parallel computation, two adjacent pixels parallel computation and five path cost parallel computation.A special structure of ping-pong cache and time-sharing multiplexing is used to realize the all- design of semi-global aggregation module, which can improve the throughput of the whole architecture. (2) the usual semi-global algorithm software selects 8 or 16 paths to aggregate the cost.However, because some paths do not conform to the data flow direction, the existing semi-global hardware implementation reduces the number of paths to 4 at the cost of reducing the precision because a lot of resources are consumed to store the intermediate data.In this paper, a semi-global hardware architecture based on adaptive path aggregation is proposed without external memory. The experimental results show that the accuracy of parallax graph is improved by 3.69cm) in order to improve the accuracy of parallax discontinuous region.In this paper, Laplace edge enhancement is applied to the reference image in the calculation of penalty factor of smoothing constraint.In addition, in the parallax optimization stage, a fragment removal module is added to eliminate the outliers in the parallax map, and the modified isometric interpolation method is used to carry out sub-pixel interpolation to improve the accuracy of 3D reconstruction.) the hardware verification of the architecture based on FPGA is completed.The matching accuracy of image pairs provided by Middlebury test platform is tested, and the average error rate is 6.03.The maximum operating frequency of the architecture on Altera StratixV FPGA is 156 MHz, the maximum parallax range is 64, and the throughput is 1280 脳 960R 197fps( frame / sec).The frequency of working on the VC707 development board of Xilinx is 100MHz, and the throughput is 1280 脳 960R / 126fps.However, due to the special ping-pong cache structure, a large number of on-chip storage resources are consumed for data cache.To sum up, the architecture can meet the requirements of high precision and real-time of embedded application.
【學位授予單位】：中國科學技術大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前10條

1 Jeremy Curtis;智能型手機研發(fā):先進的信息接口[J];電子與電腦;2004年05期

2 陳雯菁;;淺析下一代防火墻硬件架構[J];江西通信科技;2012年02期

3 趙翠;張誠;李紅濱;潘偉濤;邱智亮;;HINOC系統(tǒng)硬件架構和實現(xiàn)方法[J];廣播與電視技術;2011年10期

4 趙維;黃開臣;羅永紅;;Hummingbird加密算法的硬件架構設計[J];電子科技;2013年06期

5 ;Blackmagic Design推出支持4K的Thunderbolt設備Ultra Studio 4K[J];影視制作;2012年10期

6 隋春明;陳述;;GIS硬件平臺建設實踐[J];吉林電力;2009年01期

7 劉振興;;雙向預測幀率變換算法及硬件架構研究[J];電子與封裝;2010年06期

8 李劍峰;張江鑫;;基于GM8180的車載DVR硬件架構的設計[J];杭州電子科技大學學報;2012年05期

9 楊鴻駿;;防火墻硬件架構發(fā)展漫談[J];計算機安全;2010年08期

10 萬世豪;PXI技術發(fā)展與近況[J];現(xiàn)代制造;2003年14期

相關會議論文 前1條

1 李劍峰;張江鑫;;基于GM8180的車載DVR硬件架構的設計[A];浙江省電子學會2012學術年會論文集[C];2012年

相關重要報紙文章 前6條

1 本報記者 甘露;DP xFabric 迪普的變革[N];計算機世界;2014年

2 米笑;從硬件架構著手[N];中國計算機報;2004年

3 程武;3G盛宴仍難品嘗[N];中華工商時報;2004年

4 陳翔;羅切斯特城堡的新故事[N];中國計算機報;2008年

5 本報記者 趙艷秋;4G基站硬件架構隨“需”應變[N];中國電子報;2010年

6 海濤;脫胎換骨[N];電腦報;2004年

相關碩士學位論文 前9條

1 王榮華;面向C-RAN系統(tǒng)的研究與測試[D];南京理工大學;2015年

2 琚歆;HEVC中的DCT硬件架構設計與HLS實現(xiàn)研究[D];西安電子科技大學;2014年

3 邊育心;一種支持OpenCL的異構多核可重構片上系統(tǒng)硬件架構研究與設計[D];深圳大學;2016年

4 李艷;雙目視覺中半全局匹配算法的硬件架構研究[D];中國科學技術大學;2017年

5 劉學毅;基于嵌入式SoC硬件架構的視線估計算法實現(xiàn)研究[D];天津大學;2012年

6 孫小明;惡劣環(huán)境下視頻增強算法硬件架構與FPGA驗證[D];長春理工大學;2014年

7 李廣濤;SAN存儲設備的軟/硬件架構設計與實現(xiàn)[D];電子科技大學;2009年

8 藺守河;USB加密卡的硬件架構研究與設計[D];解放軍信息工程大學;2006年

9 王宇;嵌入式眼控鼠標系統(tǒng)的硬件架構設計[D];天津大學;2009年

，

本文編號：1755925