發(fā)布時(shí)間：2021-06-25 03:48

　　深度信息在車(chē)輛自動(dòng)駕駛系統(tǒng)、機(jī)器人導(dǎo)航、三維重建等計(jì)算機(jī)視覺(jué)任務(wù)中發(fā)揮著非常重要的作用。立體匹配是一種經(jīng)濟(jì)便捷的從多個(gè)視圖中獲取深度信息的技術(shù)。高精度的匹配算法往往會(huì)消耗大量的計(jì)算資源和較長(zhǎng)的運(yùn)行時(shí)間。為了在資源有限的硬件平臺(tái)上實(shí)現(xiàn)實(shí)時(shí)的立體視覺(jué)系統(tǒng),設(shè)計(jì)硬件友好的高精度匹配算法具有重要意義。本文針對(duì)實(shí)時(shí)的高精度立體匹配算法開(kāi)展研究,主要工作如下:（1）面向基于半全局匹配的深度信息估計(jì)算法,本文設(shè)計(jì)了一種兩周期分時(shí)復(fù)用的資源高效的流水線硬件架構(gòu)。其中對(duì)輸入圖像進(jìn)行降采樣處理來(lái)提升系統(tǒng)吞吐率,跳列、代價(jià)量化等策略來(lái)減少硬件資源消耗,并提出加權(quán)路徑代價(jià)聚合來(lái)提升算法精度。基于Zynq-7 FPGA對(duì)所提出的架構(gòu)進(jìn)行了性能評(píng)估,在200MHz頻率和128視差范圍下系統(tǒng)的吞吐率可達(dá)到1280×960@1 16Hz,MDE/s 為 18245。（2）基于卷積神經(jīng)網(wǎng)絡(luò),設(shè)計(jì)了一種端到端的立體匹配網(wǎng)絡(luò),FPN（Feature Pyramid Network）-Net。在網(wǎng)絡(luò)中引入ResNet網(wǎng)絡(luò)來(lái)提取特征,并利用特征金字塔網(wǎng)絡(luò)進(jìn)行多尺度信息的融合。為了更加充分學(xué)習(xí)上下文信息,設(shè)計(jì)了具有編解碼架構(gòu)的沙... 

【文章來(lái)源】：中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：83 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．１立體視覺(jué)系統(tǒng)的構(gòu)成??由于大多數(shù)稠密的立體匹配算法對(duì)計(jì)算的需求很高，需要使用大的計(jì)算平臺(tái)??作支撐

，并在計(jì)算理論層面給出了三維重建的定義。從２０世??紀(jì)８０年代開(kāi)始，有關(guān)于立體視覺(jué)系統(tǒng)的技術(shù)已經(jīng)成為計(jì)算機(jī)視覺(jué)的研宄熱點(diǎn)。??其中，立體匹配作為立體視覺(jué)系統(tǒng)中的核心模塊，研宄人員開(kāi)發(fā)了很多立體匹配??的算法，并且在各種硬件平臺(tái)上開(kāi)展了諸多實(shí)驗(yàn)，取得了很多寶貴的研宄成果。??Ｔｉｐｐｅｔｓ�。保担輰�(duì)立體匹配算法進(jìn)行了全面的回顧，并強(qiáng)調(diào)了實(shí)時(shí)性能，以識(shí)別適??合資源有限的系統(tǒng)的算法。立體視覺(jué)的準(zhǔn)確性受丟失信息的影響，這些丟失的信??息常見(jiàn)于遮擋、傾斜的表面以及無(wú)紋理或低紋理的病態(tài)區(qū)域（如圖１．２所示）。??此外在獲取圖像時(shí)受到光照條件、噪聲等影響，立體匹配在這些病態(tài)區(qū)域的匹配??效果并不理想，往往與真實(shí)視差存在很大的偏差。因此，Ｓｃｈａｒｓｔｅｉｎ等人提供??了一個(gè)專(zhuān)用于量化評(píng)估立體匹配算法的Ｍｉｄｄｌｅｂｕｒｙ測(cè)試平臺(tái)，并提供了相關(guān)的??圖像數(shù)據(jù)集。之后，Ｇｅｉｇｅｒ等人提拱了?ＫＩＴＴＩ２０１２［Ｉ７Ｉ和ＫＩＴＴＩ２０１５Ｗ１兩個(gè)街景路??況的圖像數(shù)據(jù)集。這些數(shù)據(jù)集都經(jīng)過(guò)了圖像校正處理，并且提供了包含真實(shí)地面??視差圖的訓(xùn)練集和不含真實(shí)視差圖的測(cè)試集。??ＨＤ國(guó)麗??（ａ）圯學(xué)失真和噪聲?（Ｗ鏡面反射??，公矣＞、．??ｍＨ??ｌｉｑ?ｆＭｉＢｓ??（Ｃ）低紋理?（ｃｉ）？Ｅ紋埋??圖１．２立體匹配病態(tài)區(qū)??根據(jù)尋找匹配代價(jià)成本的方法，可將立體匹配的算法分為局部算法和全局能??量最小化方法ｎ９］。局部算法通常使用局部約束，計(jì)算復(fù)雜度較低，是一種非常高??效的立體匹配算法。局部匹配通常利用基于像素的信息（如灰度、梯度、顏色等??信息）來(lái)計(jì)算初始匹配代價(jià)，比如ＳＡＤ（ｓｕｍｏｆａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅ

?第２章雙目立體視覺(jué)系統(tǒng)概述???第２章雙目立體視覺(jué)系統(tǒng)概述??雙目立體視覺(jué)系統(tǒng)是利用雙目攝像機(jī)同時(shí)采集左右圖像進(jìn)行處理并實(shí)時(shí)輸??出高分辨率視差圖的一個(gè)視覺(jué)處理系統(tǒng)。在獲取左右圖像后首先會(huì)進(jìn)行相機(jī)標(biāo)定??和圖像校正，再送入立體匹配環(huán)節(jié)，輸出高精度的稠密視差圖。本章將簡(jiǎn)要概述??雙目立體視覺(jué)系統(tǒng)的組成，分別就相機(jī)的成像模型，常見(jiàn)的相機(jī)標(biāo)定算法和圖像??校正原理展開(kāi)說(shuō)明，最后針對(duì)立體匹配的兩大類(lèi)算法作相關(guān)的闡述。??２．１相機(jī)成像模型??２．１．１空間坐標(biāo)系??在現(xiàn)代計(jì)算機(jī)的視覺(jué)成像系統(tǒng)中，光學(xué)中的成像過(guò)程通常涉及到以下四種空??間坐標(biāo)系的轉(zhuǎn)換［１３］。如圖２．１所示。??圖像像素坐標(biāo)系：指代的是三維空間中的點(diǎn)Ｐ在二維圖像平面上的投影，圖??像平面左上方一點(diǎn)對(duì)應(yīng)像素坐標(biāo)系的原點(diǎn)，ｗ軸平行于該圖像平面水平向右，ｖ??軸與ｗ軸垂直，方向朝下，像素點(diǎn)的具體坐標(biāo)可以用來(lái)表示，代表第》行??第ｖ列。??圖像物理坐標(biāo)系：圖像平面中心㈨⑴叫）對(duì)應(yīng)該坐標(biāo)系的原點(diǎn)，ｘ軸與像素坐??標(biāo)系的《軸平行，軸平行于Ｖ軸。??相機(jī)坐標(biāo)系：坐標(biāo)系原點(diǎn)仏是相機(jī)的光心，Ｘ軸和Ｙ軸分別與物理坐標(biāo)系ＪＣ??軸、７軸平行，Ｚ軸代表相機(jī)的光軸，用（ＸｄＺｃ）表示場(chǎng)景點(diǎn)的坐標(biāo)。??世界坐標(biāo)系：即絕對(duì)坐標(biāo)系，可以用（ｘｗ，ｙｗ，ｚｗ）來(lái)表示場(chǎng)景點(diǎn)所對(duì)應(yīng)的絕對(duì)??坐標(biāo)，該坐標(biāo)不隨相機(jī)位置改變而改變。??〇０??Ｐ（Ｘｃ，Ｙｃ，Ｚｃ）??°?？?Ｚｃ?Ｙｗ??／??Ｘｃ?ｙＺ，．??ｃ?＾Ｘｗ??圖２．１參考坐標(biāo)系??２．１．２針孔模型??９??


本文編號(hào)：3248431