第一章 緒論

1.1 課題背景及研究意義
圖像拼接技術(shù)在現(xiàn)在軍事和工業(yè)中越來越多地得到應(yīng)用和開發(fā)。圖像拼接技術(shù)是首先在國外提出來的，它主要是為了滿足攝影愛好者對當(dāng)時的攝像器材要求不斷提高，采用普通的相機(jī)進(jìn)行圖像拍攝時，由于相機(jī)的視場角比較小，無法完全捕捉到全部的場景。一般普通攝像機(jī)的視場角都是有限制的，在水平和垂直方向視角都一般在 70-90 度范圍以下。但是，通常我們?nèi)搜鄣乃揭暯窃?90 度左右，垂直視角大概為 70 度，若眼球在小范圍活動，那么視場感知范圍會遠(yuǎn)大于這個范圍，幾乎接近覆蓋正面 180 度的球面。假如采用普通相機(jī)獲取寬視場照片，就必須增大焦距，但增大焦距就帶來了圖像嚴(yán)重畸變和圖像分辨率快速下降，對于在平時使用中，這種低分辨率和嚴(yán)重畸變圖像是無法滿足人們對高質(zhì)量圖像的需求，不過圖像拼接技術(shù)能夠很好地解決了視場角和圖像質(zhì)量之間的矛盾。圖像拼接的目的是為了將兩幅或者多幅相互之間具有一定重疊區(qū)域的圖像序列拼接成一幅具有寬視場角和高分辨率的高質(zhì)量圖像，并且保證得到的圖像保留原始圖像序列的細(xì)節(jié)信息。伴隨著計算機(jī)、電子技術(shù)的迅速發(fā)展，整個處理器計算速度和存儲量都有飛速增加，可以滿足計算機(jī)視覺技術(shù)實現(xiàn)。圖像拼接技術(shù)作為圖像處理、計算機(jī)視覺的一個重要研究方向，已廣泛應(yīng)用于無人機(jī)軍事偵查、機(jī)器人視覺系統(tǒng)、醫(yī)學(xué)圖像處理、監(jiān)控視頻等領(lǐng)域。圖像拼接技術(shù)的幾個重大的優(yōu)勢主要體現(xiàn)在：1）、增大光學(xué)系統(tǒng)的視場角（FOV）；2）、方便圖像的分析和編輯；3）、提高視頻圖像的分辨率；4）、虛擬現(xiàn)實[1]。2006 年德國軍用無人機(jī)公司 EMT 開發(fā)和生產(chǎn)了一款新的 LUNA 小型無人機(jī)，在這個無人機(jī)攝像頭上，它集成了自動圖像拼接功能，可以把由單目攝像機(jī)拍攝的圖像序列拼接生成立體的拼接圖像，并根據(jù)拼接圖像之間的視差構(gòu)建深度圖像，來實時獲得地面地理信息[2]。2007 年，Wu Jun 等在無人機(jī)上根據(jù)采集到的地理圖像信息來拼接得到動態(tài)的全景圖像[3]，并把這項功能用到火災(zāi)和救援中，加快了救援速度和減少財產(chǎn)的損失。
.......

1.2 圖像拼接技術(shù)國內(nèi)外研究現(xiàn)狀
數(shù)字圖像拼接技術(shù)的發(fā)展從 20 世紀(jì) 70 年代開始深入，現(xiàn)在經(jīng)過幾十年的研究，已經(jīng)開始慢慢趨于成熟，它在計算機(jī)視覺上一直是一個比較火的研究方向。在國內(nèi)，王小睿[6]等人在 1997 年提出了根據(jù)圖像之間互相關(guān)性確定它們之間匹配的平移量，然后對圖像在水平或者垂直方向進(jìn)行相應(yīng)平移達(dá)到匹配后的效果。2001 年，清華大學(xué)的漆馳[7]等人提出了通過攝像機(jī)繞垂直軸旋轉(zhuǎn)采集圖像，對采集得到的圖像序列拼接得到圓柱面的全景圖像，該算法無需校準(zhǔn)攝像機(jī)和轉(zhuǎn)角。2005 年，候舒維、郭寶龍對經(jīng)典的灰度級配準(zhǔn)算法進(jìn)行了改進(jìn)，提出了一種新的圖像配準(zhǔn)的算法，然后對圖像進(jìn)行拼接和融合，該算法在特征塊選擇方面，通過對圖像進(jìn)行分割提取其邊緣信息，在特征塊搜索匹配策略，采用分層搜索，在圖像拼接的速度和精度上達(dá)到平衡[8]。2006 年，朱云芳等提出了一種對視頻序列進(jìn)行全景圖拼接的算法，本算法主要指利用特征點匹配的算法計算攝像機(jī)運動的仿射變換的各個參數(shù)，同時對誤匹配的特征點采用隨機(jī)抽樣一致性（RANSAC）不斷更新模型中內(nèi)點和外點，最后只保留內(nèi)點達(dá)到對匹配結(jié)果的提純，然后根據(jù)運動參數(shù)模型進(jìn)行重新投影，最后她利用不同視頻幀估計運動物體的位置，最后得到高質(zhì)量的全景圖像[9]。2007 年，楊占龍、郭寶龍針對特征匹配的傳統(tǒng)圖像拼接方法對旋轉(zhuǎn)和噪聲敏感的問題，提出了基于興趣點偽澤尼克矩的圖像自動拼接技術(shù)，該算法先檢測出圖像中的 Harris 角點，然后計算興趣點鄰域偽澤尼克矩歐式距離進(jìn)行特征點匹配，再進(jìn)行特征點提純，然后采用幾何變換對圖像進(jìn)行變換和圖像融合得到最終的拼接后的圖像，該方法對平移、任意角度的旋轉(zhuǎn)以及噪聲均具有魯棒性[10]。2011 年牟聰翀在其論文提到一種基于顯著圖提取的 sift 配準(zhǔn)和 surf 配準(zhǔn)算法，其在配準(zhǔn)精度和速度都有很大的提升。
........

第二章 多攝像機(jī)全景拼接系統(tǒng)的平臺設(shè)計和攝像機(jī)標(biāo)定

2.1 多攝像機(jī)全景拼接的平臺設(shè)計
對于 360 度全景視頻拼接來說，必須考慮攝像機(jī)的個數(shù)和相鄰兩個攝像機(jī)的重合區(qū)的大小。在進(jìn)行多攝像頭的拼接時，為了保證圖像配準(zhǔn)更加的穩(wěn)定和可靠，必須設(shè)計兩個攝像機(jī)的重合區(qū)大小為圖像的大小的 1/3 以上（對于我們的多攝像機(jī)系統(tǒng)，為了簡化系統(tǒng)的配準(zhǔn)的復(fù)雜度，設(shè)計所有的攝像機(jī)在同一個水平面上，所以實際上為圖像寬度大小的 1/3 以上）。在保證重合區(qū)的要求下，采用普通的沒有圖像畸變的 web camera 的視角范圍為 30-60 度的攝像機(jī)，那么就需要 10 個以上攝像機(jī)，這對于圖像拼接是比較大的工程和復(fù)雜度；采用有圖像畸變的視角范圍為 120 度以上的攝像機(jī)，那么只需要 4-5個攝像機(jī)，這樣大大地減少了圖像拼接的算法實現(xiàn)。同時，我們設(shè)計成 5 個攝像機(jī)安裝在正五邊形對應(yīng)的面上，這樣可以保證相鄰兩個攝像機(jī)的基線的長度保持在很小的范圍（基本可以認(rèn)為相機(jī)之間是純旋轉(zhuǎn)模型），從而可以假設(shè)利用純旋轉(zhuǎn)的運動模型來建立相鄰相機(jī)的變換關(guān)系，減少整個系統(tǒng)的復(fù)雜度。不過實際攝像機(jī)之間還是存在平移，所以拍攝的圖像之間還是存在視差。但是本系統(tǒng)可以把視差固定在很小的范圍內(nèi)，在后期的圖像配準(zhǔn)和融合中消除視差。我們最后設(shè)計的硬件平臺如圖 2-1 所示。
.......

2.2 圖像的畸變矯正
畸變矯正算法經(jīng)過幾十年的研究，已經(jīng)基本趨于穩(wěn)定。目前用的比較多的兩種方法，一種是基于畸變模型進(jìn)行畸變矯正，一種是利用非線性迭代求出最優(yōu)解的方法。兩種算法都有優(yōu)缺點，畸變模型的畸變矯正，，算法簡單，操作方便，但是畸變矯正的效果受固定的畸變模型的影響，對一些特殊圖像或者不符合畸變模型的畸變圖像的效果不是很明顯。非線性迭代算法卻可以解決這一矯正效果不理想的情況，其矯正結(jié)果不受圖像的影響，但是其比較突出的缺點是迭代的過程時間比較長且有些時候無法收斂，這對于視頻處理情況下是絕對不允許的。所以本文采用基于模型的畸變矯正算法。目前基于模型的畸變矯正算法主要涉及模型確定和畸變系數(shù)求取兩個步驟。其中，畸變模型有高階多項式模型[20]、除法模型[21]、魚眼模型[22]和比例函數(shù)模型[23]。其中，高階多項式模型是目前比較成熟，計算速度比較快的算法模型，本文主要是基于上述模型進(jìn)行的圖像畸變矯正，并且在圖像畸變矯正時，一般切向畸變影響比較小，可以忽略，只考慮徑向畸變。在計算圖像的半徑的時候，一般都利用到畸變中心（即光心）。但是在有些文章中直接把圖像中心作為畸變中心，這是不準(zhǔn)確的，它必須根據(jù)實際情況進(jìn)行計算。在本文中提到一種利用圖像幾何原理計算光心的快速計算方法，并且實驗效果很好。在求取畸變系數(shù)算法常用直線擬合、非線性迭代等算法。本文采用更加準(zhǔn)確的非線性迭代來（LM 迭代算法）來計算畸變系數(shù)。計算出畸變模型后還需生成映射坐標(biāo)，然后利用映射坐標(biāo)，采用雙線性插值或者雙三次插值得到畸變矯正以后的圖像。
......

第三章 基于多攝像機(jī)系統(tǒng)的配準(zhǔn)問題......... 16
3.1 圖像配準(zhǔn)的基礎(chǔ)知識 ...... 16
3.2 直接基于像素圖像匹配 ........ 20
3.3 基于特征點的圖像匹配 ........ 23
3.4 利用改進(jìn)的圖像配準(zhǔn)方法 .... 31
3.5 本章總結(jié) ........ 32
第四章 基于多攝像機(jī)系統(tǒng)的圖像融合問題....... 33
4.1 圖像預(yù)處理 .... 33
4.1.1 曝光補(bǔ)償 ...... 33
4.1.2 暗角校正 ...... 34
4.2 基于多頻段的最佳接縫的圖像融合 ...... 36
4.3 最佳接縫算法進(jìn)行圖像融合 ...... 38
4.4 多頻段圖像融合 ........ 39
4.5 多頻段和最佳接縫結(jié)合的圖像融合 ...... 41
4.6 本章總結(jié) ........ 42
第五章 基于多攝像機(jī)系統(tǒng)的全景拼接系統(tǒng)的實現(xiàn)....... 43
5.1 全景拼接系統(tǒng)前圖像調(diào)整 .... 43
5.2 多攝像頭全景拼接系統(tǒng)方案和實驗結(jié)果 .... 47
5.3 本章總結(jié) ........ 53

第五章 基于多攝像機(jī)系統(tǒng)的全景拼接系統(tǒng)的實現(xiàn)

5.1 全景拼接系統(tǒng)前圖像調(diào)整
本文的前面章節(jié)對全景圖像拼接的各個模塊進(jìn)行了研究，提出了一些新的解決拼接中遇到的問題。本章主要介紹在多攝像頭視頻全景拼接時，整個系統(tǒng)構(gòu)建的解決方案。本節(jié)內(nèi)容就全景圖像拼接的投影模型進(jìn)行了簡要介紹。對圖像進(jìn)行拼接以后，需要把圖像投影到一個比較合適的面上，適應(yīng)不同的需求。常用的投影模型有平面投影、柱面投影[42]、球面投影[43]及極坐標(biāo)投影等模型。在本文中，采用的是共軸的五個攝像機(jī)拍攝的視頻進(jìn)行全景拼接，所以適合采用柱面投影的模型，下文重點講柱面投影在本系統(tǒng)的實現(xiàn)過程。柱面投影的建模過程是將一幅 sensor 平面的圖像投影到柱面上的過程。在前面的引用文獻(xiàn)中，已經(jīng)對柱面投影進(jìn)行了詳細(xì)的介紹。但是由于本系統(tǒng)有畸變存在，所以下本主要對如何在畸變的情況進(jìn)行柱面投影過程。如圖 5-1 所示。以圓柱體的中心和高度 H/2 為坐標(biāo)原點，以水平向右為 X 軸正方向，圓柱體的高方向向上為 Y 軸正方向，和 X 軸垂直的方向為 Z 軸方向建立世界坐標(biāo)系 O。同時，以世界坐標(biāo)系 Y 軸為對應(yīng)的'Y ，以柱面的弧面為'X 坐標(biāo)方向，建立柱面二維坐標(biāo)系。

總結(jié)

全景圖像拼接是計算機(jī)視覺領(lǐng)域一個研究比較成熟的課題，現(xiàn)在很多商業(yè)軟件已經(jīng)集成了全景拼接功能，最新的手機(jī)、無人機(jī)上也推出了全景拍攝。在全景拼接越來越流行的今天，其實還是有很多的缺陷，首先這些拼接只有在高質(zhì)量的視差比較小的場景，其全景圖像質(zhì)量才比較理想。其次這些商業(yè)軟件進(jìn)行全景拼接都需要消耗很長時間，一般只能對于離線的圖片進(jìn)行拼接，而且需要圖像的分辨率比較高，對于比較惡劣的條件，很多情況是無法拼接的。因此，對于實時的 360 度全景視頻拼接系統(tǒng)仍然是一個非常值得深入研究且具有挑戰(zhàn)性的課題。本文是在前面師兄已有系統(tǒng)平臺進(jìn)行全景拼接算法上進(jìn)行研究和實現(xiàn)，原有的已經(jīng)完成整個系統(tǒng)的搭建，能夠拍攝出全景圖像。但是有很多地方不是很理想。在此基礎(chǔ)上，我重新進(jìn)一步完成了一些新的工作：
1、本文分析了四攝像機(jī)系統(tǒng)的情況，發(fā)現(xiàn)四鏡頭系統(tǒng)很難保證相鄰兩幅圖的重合區(qū)的大小，如果采用超廣角鏡頭，圖像的畸變會很嚴(yán)重，進(jìn)行畸變校正后雖然可能校正成好，但是邊界重合區(qū)的信息會丟失比較多，不利于后面圖像配準(zhǔn)。所以考慮了上述的不利因素，本文重新增加了一個攝像機(jī)，采用五攝像機(jī)系統(tǒng)。
2、在畸變校正模塊，對原有的兩步校正算法進(jìn)行了改進(jìn)，模仿對極幾何算法計算畸變中心和無畸變圖像直線性質(zhì)計算畸變系數(shù)，最后采用擬合畸變比率算法擬合計算出映射表，替換了原來的手工調(diào)節(jié)畸變系數(shù)和畸變中心步驟，加快映射表生成時間和準(zhǔn)確性。
............
參考文獻(xiàn)（略）