第 1 章 緒論

在計(jì)算機(jī)領(lǐng)域種種新技術(shù)的飛速發(fā)展下，人們更希望能夠突破二維顯示器的約束而以一種更加自然和諧的方式與計(jì)算機(jī)進(jìn)行交流，在人們無法接觸的真實(shí)環(huán)境下，通過將使用計(jì)算機(jī)構(gòu)造的虛擬物體融入到真實(shí)場(chǎng)景中，并用顯示設(shè)備顯示給用戶，實(shí)現(xiàn)虛實(shí)融合，實(shí)時(shí)交互，為人們更好地認(rèn)識(shí)世界提供幫助。人類通過視覺認(rèn)識(shí)、觀察世界，而三維的現(xiàn)實(shí)世界經(jīng)過成像設(shè)備后，因很多信息被隱藏而成為了二維的圖像。通過計(jì)算機(jī)技術(shù)來獲取圖像中被隱藏的信息，恢復(fù)現(xiàn)實(shí)世界中的三維信息進(jìn)而根據(jù)三維信息將虛擬物體注冊(cè)到真實(shí)場(chǎng)景有助于人們更全面地感知、識(shí)別和理解客觀世界。當(dāng)前恢復(fù)真實(shí)場(chǎng)景中目標(biāo)的三維信息多采用精密的硬件儀器設(shè)備，，價(jià)格昂貴，操作復(fù)雜，不利于現(xiàn)實(shí)生活中的普及，而使用普通攝像機(jī)實(shí)時(shí)拍攝和利用匹配算法計(jì)算出目標(biāo)的三維信息，不受硬件設(shè)備及環(huán)境的限制，成本低廉，使用方便，但對(duì)算法的性能有很高的要求，探索能夠自動(dòng)捕捉真實(shí)環(huán)境中的目標(biāo)并獲取目標(biāo)三維信息的方法對(duì)保證虛實(shí)融合的實(shí)時(shí)與準(zhǔn)確至關(guān)重要。

.........

第 2 章 自然特征目標(biāo)檢測(cè)跟蹤技術(shù)的研究

2.1 檢測(cè)模塊

提取出檢測(cè)過程中的目標(biāo)特征能夠確保 AdaBoost 算法高效地計(jì)算目標(biāo)圖像特征， Haar 特征提取算法計(jì)算速度較快，它利用黑色與白色矩形在子窗口圖像中對(duì)應(yīng)部分的像素灰度值之和描述這個(gè)區(qū)域部分的特征，這種將計(jì)算特定區(qū)域內(nèi)像素灰度值之和轉(zhuǎn)化為計(jì)算積分圖像中的四個(gè)頂點(diǎn)會(huì)大大簡(jiǎn)化了算法的運(yùn)算。利用人臉特征分布不同可以得到不同的 Haar 特征，計(jì)算黑白矩形框的像素值總和的差并標(biāo)記數(shù)值大的 Haar 特征。如圖 2.4 中右下兩幅圖像分別代表眼角和眉毛的 Haar 特征。

2.2 跟蹤模塊 

與檢測(cè)不同的是跟蹤針對(duì)的為視頻序列，在連續(xù)的視頻幀中檢測(cè)出跟蹤目標(biāo)是否存在，并連續(xù)跟蹤定位已檢測(cè)出的目標(biāo)。每一幀之前和之后有很大的關(guān)聯(lián)性，有靜態(tài)圖像的特性，還有目標(biāo)運(yùn)動(dòng)方向的預(yù)測(cè)，之前的參照系等很多信息。綜合使用這些信息，能夠最大限度地簡(jiǎn)化算法的繁瑣度，提升整體性能。隨機(jī)蕨的分門別類設(shè)計(jì)特點(diǎn)能夠區(qū)分復(fù)雜的特征，并用模式分類的方法來取代特征提取和匹配，從而提升運(yùn)算速度以及魯棒性，這個(gè)部分主要采用在線隨機(jī)蕨算法[25]，再用 SURF 特征匹配準(zhǔn)確地定位到目標(biāo)[26]。跟蹤系統(tǒng)采用隨機(jī)蕨訓(xùn)練獲取圖像模板和跟蹤訓(xùn)練樣本集，但是傳統(tǒng)的隨機(jī)蕨算法在訓(xùn)練的過程中需要很長(zhǎng)時(shí)間。所以將隨機(jī)蕨算法進(jìn)行改進(jìn)得到在線隨機(jī)蕨算法，在線訓(xùn)練使用檢測(cè)到的目標(biāo)作為訓(xùn)練樣本。目標(biāo)樣本庫(kù)由經(jīng)過初始化獲取的目標(biāo)作仿射變換得到，檢測(cè)目標(biāo)時(shí)會(huì)自動(dòng)更新樣本庫(kù)。這個(gè)算法使用在線更新樣本的方法減少了訓(xùn)練的樣本數(shù)，既降低所需的內(nèi)存也可滿足系統(tǒng)的實(shí)時(shí)性要求。

第 3 章 三維深度信息的計(jì)算 .................. 18

3.1  攝像機(jī)模型 ........... 18
3.2  攝像機(jī)標(biāo)定 ............................ 20

第 4 章 試驗(yàn)系統(tǒng)實(shí)現(xiàn)........29

4.1  系統(tǒng)框架設(shè)計(jì) ................ 36 

4.2  圖像采集模塊 ......... 37 
4.3  檢測(cè)跟蹤模塊 ................ 38 
4.4 系統(tǒng)校正模塊 ......................... 39 
4.5  三維信息獲取模塊 ................. 43 
4.6 虛實(shí)融合模塊 ....................... 43 
4.7  系統(tǒng)運(yùn)行測(cè)試 .............. 45 
4.8 小結(jié) ........................ 46
第 5 章 結(jié)論 ................ 18

第 4 章 試驗(yàn)系統(tǒng)實(shí)現(xiàn)

4.1 系統(tǒng)框架設(shè)計(jì)

系統(tǒng)的檢測(cè)跟蹤模塊采用了目標(biāo)的自動(dòng)檢測(cè)和跟蹤閉環(huán)系統(tǒng)。既可有效地減少檢測(cè)模塊在構(gòu)建大量的正負(fù)樣本庫(kù)和構(gòu)建復(fù)雜級(jí)聯(lián)分類器的工作量，又可以解決跟蹤模塊長(zhǎng)時(shí)間跟蹤目標(biāo)產(chǎn)生的誤差聚積導(dǎo)致目標(biāo)跟蹤失敗的問題。系統(tǒng)的雙目攝像機(jī)校準(zhǔn)采用了兩種模式：一種是自動(dòng)校準(zhǔn)，另一種為手動(dòng)校準(zhǔn)。自動(dòng)校準(zhǔn)可以在很少的人為交互下完成整個(gè)校準(zhǔn)過程，但是校準(zhǔn)精度有限，會(huì)影響后期的三維重建過程的精度。而手動(dòng)校正需要大量的人為交互，但是其計(jì)算過程可以受到控制，可以進(jìn)行迭代校準(zhǔn)，得到更高精確度的校準(zhǔn)結(jié)果。在三維重建過程中，視差圖的計(jì)算采用積分圖像等輔助方法加速計(jì)算過程，使得視差圖的計(jì)算能滿足實(shí)時(shí)系統(tǒng)的要求。然后通過獲取的視差信息完成場(chǎng)景中物體的三維信息的獲取，并將真實(shí)場(chǎng)景中的虛擬物體進(jìn)行渲染后顯示到用戶終端。 

4.2 圖像采集模塊

由于網(wǎng)絡(luò)攝像頭受到環(huán)境因素的影響較大，根據(jù)環(huán)境因素的實(shí)際情況可以對(duì)圖像進(jìn)行預(yù)處理。例如當(dāng)環(huán)境的光照不均勻時(shí)，可以通過直方圖的均衡化方法進(jìn)行預(yù)處理，來降低光照對(duì)成像質(zhì)量的干擾；當(dāng)攝像頭采集的圖像存在大量的噪聲時(shí)，可以使用均值濾波等技術(shù)進(jìn)行圖像的平滑處理。經(jīng)過預(yù)處理后會(huì)得到一組比較理想的圖像，其流程如圖 4.3 所示。采集到圖像后要檢測(cè)跟蹤目標(biāo)。為了提升系統(tǒng)的智能性，減少使用者的交互，本文在檢測(cè)目標(biāo)時(shí)設(shè)計(jì)了自動(dòng)檢測(cè)功能。在系統(tǒng)中目標(biāo)為使用者在視頻中出現(xiàn)的臉部。通過智能檢測(cè)出人臉以后，會(huì)通過跟蹤部分進(jìn)行跟蹤，其原理在第 2 章已經(jīng)介紹。檢測(cè)跟蹤部分由四個(gè)子模塊組成，具體有離線的分類器訓(xùn)練，目標(biāo)檢測(cè)，目標(biāo)跟蹤和系統(tǒng)控制子模塊，如圖 4.4 所示。離線訓(xùn)練模塊主要通過構(gòu)建樣本庫(kù)后，不同樣本經(jīng)過系統(tǒng)的訓(xùn)練得到一個(gè)級(jí)聯(lián)的分類器，樣本庫(kù)包含正樣本和負(fù)樣本兩個(gè)子集。其中正樣本的作用是為檢測(cè)目標(biāo)提供依據(jù)，所有的正樣本應(yīng)該是和目標(biāo)樣本相似或者是由目標(biāo)樣本在不同情況下形成的樣本組成；負(fù)樣本包括其余的任何圖片，其作用是消除目標(biāo)檢測(cè)的干擾，樣本庫(kù)構(gòu)建成功后就可以通過提取樣本的特征并訓(xùn)練從而得到分類器。 
....

第 5 章 結(jié)論 

增強(qiáng)現(xiàn)實(shí)技術(shù)的廣泛應(yīng)用領(lǐng)域使其成為眾多學(xué)科中的研究熱點(diǎn)。增強(qiáng)現(xiàn)實(shí)中基于自然特征的虛實(shí)融合技術(shù)是增強(qiáng)現(xiàn)實(shí)方面研究的熱門方向之一。通過分析當(dāng)前虛實(shí)融合的發(fā)展趨勢(shì)并根據(jù)課題研究的實(shí)際情況，結(jié)合對(duì)國(guó)內(nèi)外大量文獻(xiàn)的閱讀和分析，本文主要研究了基于自然特征的虛實(shí)融合技術(shù)。首先設(shè)計(jì)了一種基于自然特征的檢測(cè)跟蹤方法。采用 AdaBoost 級(jí)聯(lián)分類器作為目標(biāo)的自動(dòng)檢測(cè)算法。跟蹤方法則是以在線隨機(jī)蕨為核心對(duì)目標(biāo)進(jìn)行定位，為了提高系統(tǒng)的實(shí)時(shí)性采用 2BitBP 描述特征，采用 P-N 學(xué)習(xí)方法快速定位目標(biāo)。同時(shí)設(shè)計(jì)控制模塊解決相似目標(biāo)干擾和目標(biāo)跳變的問題，通過協(xié)調(diào)系統(tǒng)對(duì)目標(biāo)的檢測(cè)和跟蹤，解決了因長(zhǎng)時(shí)間運(yùn)行帶來的跟蹤誤差累積和跟蹤失敗后系統(tǒng)無法自動(dòng)恢復(fù)等問題。針對(duì)立體匹配算法運(yùn)行速度較慢的問題設(shè)計(jì)了視差計(jì)算的加速方法，用積分圖像計(jì)算求解移動(dòng)窗體內(nèi)匹配代價(jià)，并通過實(shí)驗(yàn)證明加速后的立體匹配算法在整體計(jì)算性能有較大的提升。由立體匹配得到視差信息，再通過三維反投影計(jì)算得到目標(biāo)物體的三維信息，最后進(jìn)行三維場(chǎng)景重建的工作。

........

參考文獻(xiàn)（略）

本文編號(hào)：76001