基于FPGA的雙目立體視覺系統(tǒng)設(shè)計與實現(xiàn)

發(fā)布時間：2020-07-17 05:51

【摘要】：近年來,立體視覺已經(jīng)被廣泛應(yīng)用到自動駕駛、機器人導(dǎo)航、手勢識別、三維重建、智能攝像頭、增強現(xiàn)實等領(lǐng)域。立體匹配算法通常具有計算復(fù)雜性高、數(shù)據(jù)量大的特點,基于通用處理器來實現(xiàn),很多時候難以滿足嵌入式應(yīng)用的實時性、功耗與體積的要求,這極大地限制了其在實踐中的應(yīng)用�；诂F(xiàn)場可編程門陣列(Field Programmable Gate Array,FPGA)的圖像處理實現(xiàn)可以有效提高算法的運行速度,但傳統(tǒng)的使用硬件描述語言進行算法設(shè)計難度較大。高層次綜合(High Level Synthesis,HLS)技術(shù)的出現(xiàn),使得一些復(fù)雜的算法設(shè)計變得更加容易。基于這一技術(shù)現(xiàn)狀,本文對雙目立體視覺算法在FPGA上的設(shè)計與實現(xiàn)展開了研究,完成了基于HLS的Census立體視覺算法硬件加速系統(tǒng)的設(shè)計與驗證,硬件系統(tǒng)的設(shè)計以IP核為基礎(chǔ)。主要工作包括以下幾個方面:(1)在認真分析Census立體匹配算法流程的基礎(chǔ)上,完成了基于HLS技術(shù)的Census雙目立體匹配IP核設(shè)計。IP核的設(shè)計包括Census變換、漢明距離計算、視差值計算、視差優(yōu)化等部分的代碼編寫與優(yōu)化。為將高級語言編寫的算法改寫為HLS可綜合的代碼,在設(shè)計中對圖像數(shù)據(jù)流進行緩存并對像素點進行并行處理。另外,通過中值濾波來減少視差圖中的噪聲信息,同時還設(shè)計了 IP核的外部接口,以便IP核與FPGA的其他模塊連接。(2)基于Xilinx的Miz702N FPGA硬件平臺,完成了 Census雙目立體匹配算法核心模塊設(shè)計,并實現(xiàn)了完整的雙目立體視覺系統(tǒng)的硬件系統(tǒng)。所有的硬件系統(tǒng)除立體匹配模塊外,還包括ARM處理器、VDMA(Video Direct Memory Access)、AXI互聯(lián)、VTC(Video Timing Controller)、時鐘設(shè)置、數(shù)據(jù)格式轉(zhuǎn)換以及HDMI顯示控制等模塊。基于軟硬件協(xié)同設(shè)計的思想,軟件部分負責系統(tǒng)各硬件模塊間的數(shù)據(jù)處理流程控制,采用Vivado SDK(Vivado Software Development Kit)工具完成了嵌入式軟件程序的編寫及調(diào)試。(3)用公共數(shù)據(jù)集Middleburry對所設(shè)計的立體視覺系統(tǒng)的性能進行了測試。實驗表明所設(shè)計的立體匹配算法硬件加速系統(tǒng)在圖像對尺寸不同、視差搜索長度不同的情況下的處理幀率為24～85FPS(Frames Per Second),能夠滿足功能實現(xiàn)穩(wěn)定性強、實時性好、硬件資源占用少的要求。圖58幅,表20個,參考文獻38篇。
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.41;TN791
【圖文】：