第1章 緒論

1.1課題研究背景及意義
近年來，無人機(jī)光電成像系統(tǒng)借助自身高分辨率、高實(shí)時(shí)性、機(jī)動靈活、成本低、研制周期短、風(fēng)險(xiǎn)小等優(yōu)勢受到了廣泛的關(guān)注，不僅在空中偵察與打擊一體化、反恐維穩(wěn)、國土安全、邊境巡邏、地雷探測等軍用領(lǐng)域發(fā)展勢頭強(qiáng)勁，也在地質(zhì)勘測、植被研究、土壤調(diào)查、精細(xì)農(nóng)業(yè)、森林防火、林業(yè)普查、大氣探測、石油管道監(jiān)測、交通監(jiān)控、城市規(guī)劃、災(zāi)害預(yù)警、應(yīng)急響應(yīng)、野外搜救等民用領(lǐng)域得到了廣泛應(yīng)用[1-20]，如圖 1.1（c），（d）所示。

在軍用領(lǐng)域，無人機(jī)光電成像設(shè)備主要用于航空偵察、情報(bào)收集、作戰(zhàn)評估、目標(biāo)捕獲、跟蹤和定位、輔助激光制導(dǎo)、察打一體化等，其中分辨率和視場角是機(jī)載光電成像設(shè)備的兩個(gè)關(guān)鍵技術(shù)指標(biāo)，并且視場與分辨率之間存在相互制約的關(guān)系[1-7]。一般無人機(jī)飛行高度較低，，搭載的攝像機(jī)視場范圍有限，為同時(shí)滿足航空偵察任務(wù)大視場、高分辨率、高實(shí)時(shí)性的要求，機(jī)載光電成像設(shè)備應(yīng)在不同時(shí)刻、以不同角度對地?cái)z影成像，然后通過圖像拼接技術(shù)將獲取的多時(shí)相、多傾角航空圖像序列合成一幅等效的寬視場、高分辨率圖像。

同時(shí)，為提高裝備生存能力，現(xiàn)代航空光電偵察設(shè)備向著高空斜視、遠(yuǎn)距離目標(biāo)拍攝方向發(fā)展。與垂直攝影得到的正射投影圖像相比，多角度斜視航空圖像存在更為復(fù)雜的幾何變形（主要表現(xiàn)為旋轉(zhuǎn)，縮放，梯形失真和地形起伏引起的幾何變形等），對原始圖像直接進(jìn)行拼接，可能會出現(xiàn)重疊區(qū)域像元錯(cuò)位導(dǎo)致某些目標(biāo)完全拼接不上的問題[18,19]，如圖1.2（a）中橢圓內(nèi)部折線標(biāo)記的區(qū)域所示，經(jīng)幾何校正后拼接，則解決了目標(biāo)拼接不上的問題，如圖1.2（b）所示。

同時(shí)，航空圖像的斜視失真還會導(dǎo)致拼接圖像中出現(xiàn)目標(biāo)尺度和分辨率不一致問題[11,12]，例如對某林業(yè)普查作業(yè)拍攝的原始航空視頻圖像直接進(jìn)行拼接，隨著拼接圖像數(shù)量的增加，得到的拼接圖像中出現(xiàn)景物尺度越來越小、分辨率越來越低的問題，如圖 1.3（a）所示；經(jīng)幾何校正后拼接，則有效地消除了拼接圖像中的尺度畸變問題，保證了拼接圖像中目標(biāo)分辨率一致性和尺度正確性，如圖1.3（b）所示。因此，必須對圖像進(jìn)行幾何校正以保證拼接圖像的質(zhì)量。

......

1.2航空圖像幾何校正與拼接技術(shù)研究概述
本文題目為機(jī)載光電成像精確幾何校正與魯棒拼接技術(shù)研究，實(shí)際上幾何校正是圖像拼接的前提條件，是屬于圖像拼接技術(shù)流程中的重要組成部分，因此本文的研究內(nèi)容將以圖像拼接為主線進(jìn)行論述。
1.2.1航空圖像拼接技術(shù)的研究內(nèi)容與技術(shù)流程
（1）航空圖像預(yù)處理：主要包括幾何校正和輻射校正兩個(gè)環(huán)節(jié)。
（a）幾何校正：一般無人機(jī)飛行條件復(fù)雜，受氣流影響較大，飛行姿態(tài)不穩(wěn)定，其輸出的圖像像幅較小、數(shù)量多、分辨率高、傾斜角大、旋轉(zhuǎn)角大、尺度變化大、重疊不規(guī)則、背景復(fù)雜，存在由于攝像機(jī)鏡頭畸變、高空大斜視工作模式、不穩(wěn)定的飛行條件和目標(biāo)區(qū)域地形起伏引起的大量復(fù)雜幾何失真[3-10]，因此必須對原始圖像的幾何形變進(jìn)行校正處理，包括對航空斜視圖像的梯形失真進(jìn)行校正、對攝像機(jī)鏡頭的非線性畸變進(jìn)行校正等，如果不進(jìn)行圖像幾何校正直接進(jìn)行拼接，可能會出現(xiàn)圖1.2（a），圖1.3（a）所示的拼接圖像重疊區(qū)域像元錯(cuò)位和圖像尺度不一致的問題。
（b）輻射校正：對輻射退化導(dǎo)致的圖像亮度失真進(jìn)行校正處理，包括大氣校正、地形校正（去陰影）、色彩校正（白平衡）、圖像對比度拉伸變換、直方圖均衡化、直方圖匹配、圖像去噪、圖像增強(qiáng)等[30-33]，一般不同天氣條件下拍攝的圖像亮度差異較大，如果不進(jìn)行輻射校正處理，可能會出現(xiàn)圖像拼接邊界處亮度跳變不連續(xù)的現(xiàn)象和明顯的拼接縫隙問題。

（2）圖像配準(zhǔn)：建立圖像重疊區(qū)域中同名特征之間的對應(yīng)關(guān)系，代入投影變換模型或仿射變換模型等圖像變換模型中，求解出圖像之間的空間變換關(guān)系。對于視頻圖像序列拼接，在求解出相鄰兩幅圖像之間的變換矩陣關(guān)系后，還需要求解出各圖像相對某參考圖像（例如第1幀圖像）的變換矩陣，將所有圖像變換到同一參考坐標(biāo)系下，并通過光束法平差、捆綁調(diào)整等技術(shù)減小拼接過程中的誤差累積，實(shí)現(xiàn)多幅圖像的精準(zhǔn)拼接。

......

第2章 圖像拼接的基礎(chǔ)理論研究

圖像變換模型是圖像配準(zhǔn)和拼接技術(shù)的理論基礎(chǔ)，本章將從攝像機(jī)成像幾何原理出發(fā)，對攝像機(jī)鏡頭畸變和投影失真的機(jī)理和特點(diǎn)進(jìn)行分析，研究了攝像機(jī)運(yùn)動和圖像的空間變換模型兩者之間的關(guān)系，闡述了圖像八參數(shù)投影變換模型的存在條件和用六參數(shù)仿射變換模型來近似的相關(guān)條件。由于圖像拼接是一個(gè)系統(tǒng)性的工程問題，涉及很多技術(shù)理論和數(shù)學(xué)模型，本章重點(diǎn)對與本文研究內(nèi)容相關(guān)的一些理論和模型進(jìn)行了分析和討論。

2.1攝像機(jī)的針孔成像模型
當(dāng)不考慮攝像機(jī)鏡頭畸變時(shí)，一般攝像機(jī)成像過程可用理想針孔成像模型進(jìn)行建模[128,129]，該模型為線性模型，如圖 2.1 所示。

從表 2.1 中可以看出，當(dāng)攝像機(jī)的運(yùn)動方式是平移、縮放和旋轉(zhuǎn)運(yùn)動的組合時(shí)，場景平面與攝像機(jī)像平面保持平行的關(guān)系，圖像不存在形變的情況，如圖2.4（a）所示；當(dāng)攝像機(jī)發(fā)生水平掃動或垂直掃動（此時(shí)攝像機(jī)光軸與場景平面不垂直，即對目標(biāo)場景進(jìn)行傾斜拍攝）時(shí)，會出現(xiàn)透視投影失真現(xiàn)象，具體可分為兩類：一類是攝像機(jī)水平掃動引起的梯形畸變，即現(xiàn)實(shí) 3 維場景中平行的直線在圖像中會相交的現(xiàn)象，如圖 2.4（b）所示；另一類是攝像機(jī)垂直掃動引起的線性調(diào)頻現(xiàn)象，即圖像的空間頻率隨場景空間位置的遠(yuǎn)近變化而增大或減小的現(xiàn)象，會導(dǎo)致場景圖像內(nèi)部出現(xiàn)物體尺度不一致的問題，如圖 2.4（c）所示，使相鄰圖像重疊區(qū)域目標(biāo)物體的尺度差異變大從而增大了圖像拼接的難度，為保證拼接圖像中目標(biāo)尺度的一致性和正確性，也需要對其進(jìn)行校正。線性調(diào)頻也可視為場景空間遠(yuǎn)近方向的梯形失真，為方便討論和闡述，本文將梯形畸變和線性調(diào)頻統(tǒng)稱為梯形失真。

......

2.2攝像機(jī)鏡頭畸變機(jī)理分析與建模
上述針孔成像模型是在不考慮攝像機(jī)鏡頭畸變的前提下建立的，實(shí)際上由于成像系統(tǒng)本身的設(shè)計(jì)、加工、裝調(diào)和環(huán)控等原因會使圖像產(chǎn)生一定的非線性畸變，根據(jù)不同的畸變原因主要分為徑向畸變、偏心畸變以及薄棱鏡畸變?nèi)N類型[130,131]。
（1）徑向畸變。徑向畸變是由視場的實(shí)際垂軸放大倍率與光學(xué)系統(tǒng)的理想垂軸放大倍率不一致引起的，不同視場的實(shí)際垂軸放大倍率不同，畸變也不同，根據(jù)變形量的正負(fù)可分為枕形畸變和桶形畸變，如圖2.2所示。
對于變焦距鏡頭，其徑向畸變隨焦距變化而變化，當(dāng)處于短焦?fàn)顟B(tài)時(shí)，圖像表現(xiàn)為桶形畸變，當(dāng)處于長焦?fàn)顟B(tài)時(shí)，圖像表現(xiàn)為枕形畸變，如圖 2.3 所示。
從表 2.2 中可以看出，三參數(shù)歐氏變換模型可以描述攝像機(jī)的旋轉(zhuǎn)和平移運(yùn)動，四參數(shù)相似變換模型和六參數(shù)仿射變換模型可以描述攝像機(jī)的旋轉(zhuǎn)、平移和變焦運(yùn)動，八參數(shù)投影變換模型可以描述攝像機(jī)的旋轉(zhuǎn)、平移、變焦、水平掃動和垂直掃動運(yùn)動，可反映圖像的梯形失真現(xiàn)象，它們均為全局變換和線性變換。而非線性變換模型包括多項(xiàng)式變換，指數(shù)變換，樣條函數(shù)變換等模型，該類模型的自由度根據(jù)具體模型而定，部分非線性變換為局部變換，其中以多項(xiàng)式變換模型為典型，除了描述圖像的各種線性變換外，還可以反映攝像機(jī)鏡頭的復(fù)雜非線性形變現(xiàn)象。
本文研究的圖像配準(zhǔn)與拼接算法，主要采用以投影變換模型為代表的全局線性變換模型來描述圖像間的變換關(guān)系，但是理論上用八參數(shù)投影變換矩陣來描述圖像間的坐標(biāo)變換關(guān)系，是在特定場景環(huán)境條件下或者攝像機(jī)運(yùn)動滿足某種約束條件下才成立的[139-143]，具體來說有以下兩種情況：

（1）靜止 3 維場景：如圖 2.6（a）所示，拍攝的場景為 3 維靜止場景，攝像機(jī)繞其光學(xué)投影中心旋轉(zhuǎn)拍攝，可進(jìn)行除平移之外的旋轉(zhuǎn)、變焦、水平掃動和垂直掃動等運(yùn)動，例如將攝像機(jī)固定在一點(diǎn)對場景進(jìn)行拍攝時(shí)，就可以視為靜止3 維場景的情況。（2）平面場景：如圖 2.6（b）所示，攝像機(jī)拍攝的場景為平面場景，并且場景中的物體均靜止，此時(shí)攝像機(jī)的運(yùn)動形式不受限制。

......

第3章 航空變焦距鏡頭非線性畸變快速校正方法研究...................47
3.1 引言.........................................................47
3.2 航空變焦距光學(xué)系統(tǒng)的理想成像模型............................48
第4章 變焦距航空面陣CCD攝像機(jī)斜視成像幾何畸變校正算法研究........75
4.1 引言.........................................................75
4.2 航空變焦距斜視成像幾何畸變校正算法...........................76
第5章 機(jī)載光電系統(tǒng)多目標(biāo)自主定位技術(shù)研究........................107
5.1 引言.......................................................107

5.2 機(jī)載光電平臺多目標(biāo)自主定位系統(tǒng)的構(gòu)成及其工作原理............108

第7章 大視場圖像拼接與地理信息融合技術(shù)研究

7.1引言
圖像在經(jīng)過配準(zhǔn)以后，為了進(jìn)一步得到拼接合成圖像，還需要利用圖像映射和插值技術(shù)，將待配準(zhǔn)圖像映射變換到參考圖像坐標(biāo)系中實(shí)現(xiàn)圖像拼接。對于視頻序列圖像的拼接，通常是選定其中一幅圖像的左上角作為參考坐標(biāo)系原點(diǎn)，依次將其它所有圖像變換到選定的參考坐標(biāo)系上，實(shí)現(xiàn)序列圖像的拼接，這種傳統(tǒng)的逐幀（frame-to-frame）配準(zhǔn)拼接方法存在圖像拼接誤差隨圖像數(shù)量的增加而累積變大的問題，采用光束法平差、捆綁調(diào)整、直接稀疏 Cholesky 分解方法、支持向量機(jī)、卡爾曼濾波方法等全局最優(yōu)配準(zhǔn)方法來獲得最優(yōu)變換矩陣[120-122]，可以在一定程度上減小多幀圖像拼接時(shí)的累積誤差，但在一些實(shí)際應(yīng)用場合（如航空偵察與應(yīng)急災(zāi)害），采用全局配準(zhǔn)方法又無法滿足實(shí)時(shí)性要求。由圖像配準(zhǔn)誤差導(dǎo)致重疊區(qū)域未完全對齊，會出現(xiàn)拼接縫隙問題；不同天氣和光照條件下拍攝的圖像存在較大的亮度差異，以及圖像幾何校正中的亮度重采樣誤差，會導(dǎo)致在拼接邊界處出現(xiàn)圖像亮度跳變的現(xiàn)象，也會出現(xiàn)明顯的拼接縫隙問題。因此，需要采用圖像融合技術(shù)對圖像重疊區(qū)域進(jìn)行處理，以減小或消除配準(zhǔn)誤差和圖像亮度差異對拼接結(jié)果的影響。
本章針對上述問題進(jìn)行研究，首先分析了幾種經(jīng)典的圖像融合方法的優(yōu)缺點(diǎn)，然后結(jié)合航空圖像拼接的特點(diǎn)選擇漸入漸出法進(jìn)行圖像融合；針對序列圖像拼接誤差累積變大問題，提出兩種方法來解決：

（1）先對圖像進(jìn)行幾何校正預(yù)處理，根據(jù)GPS/IMU系統(tǒng)提供的位置姿態(tài)數(shù)據(jù)，利用機(jī)載光電系統(tǒng)目標(biāo)定位算法得到圖像4個(gè)頂點(diǎn)的地理坐標(biāo)，確定圖像拼接次序和重疊區(qū)域，對校正后的圖像進(jìn)行粗配準(zhǔn)，然后再利用圖像配準(zhǔn)算法對重疊區(qū)域圖像進(jìn)行精配準(zhǔn)，最后采用圖像融合技術(shù)對重疊區(qū)域進(jìn)行處理，實(shí)現(xiàn)圖像的快速精準(zhǔn)魯棒拼接；

......

第8章 結(jié)論與展望

8.1本文工作總結(jié)
無人機(jī)光電成像設(shè)備在軍用和民用領(lǐng)域都得到了廣泛應(yīng)用，其中變焦距航空攝像機(jī)作為機(jī)載光電成像測量系統(tǒng)的重要組成部分，對目標(biāo)既能作大視場小倍率的概觀，又能作小視場大倍率的詳細(xì)觀察，具有像面位置穩(wěn)定、在視場轉(zhuǎn)換中不丟失目標(biāo)等優(yōu)點(diǎn)，能對快速運(yùn)動目標(biāo)進(jìn)行搜索、捕獲和定位功能。圖像拼接技術(shù)能夠很好地解決攝像機(jī)視場角與分辨率相互制約的問題，是機(jī)載光電載荷數(shù)據(jù)處理與情報(bào)分析系統(tǒng)中的關(guān)鍵技術(shù)之一。受航空變焦距光學(xué)系統(tǒng)本身的設(shè)計(jì)、制造、裝調(diào)和環(huán)控因素以及機(jī)載成像環(huán)境的影響，航空圖像發(fā)生嚴(yán)重幾何變形和模糊退化。因此，本文針對航空圖像自身的特點(diǎn)以及圖像拼接技術(shù)的研究現(xiàn)狀，對機(jī)載變焦距可見光攝像機(jī)圖像幾何校正與魯棒拼接系統(tǒng)中的幾項(xiàng)關(guān)鍵技術(shù)進(jìn)行研究，完成了航空變焦距鏡頭非線性畸變的快速校正、高空大斜視圖像幾何失真校正、機(jī)載光電成像系統(tǒng)多目標(biāo)定位以及航空模糊圖像的精確配準(zhǔn)算法研究，主要研究內(nèi)容概括如下：

（1）討論了攝像機(jī)的理想針孔成像模型，攝像機(jī)鏡頭畸變模型，攝像機(jī)的運(yùn)動模型及圖像空間變換模型等圖像拼接領(lǐng)域的經(jīng)典模型和基礎(chǔ)理論，分析了攝像機(jī)鏡頭畸變和斜視梯形失真的機(jī)理和特點(diǎn)，闡述了攝像機(jī)的運(yùn)動和圖像的空間變換模型兩者之間的關(guān)系，分析了圖像八參數(shù)投影變換模型的存在條件和用六參數(shù)仿射變換模型來近似的相關(guān)條件，并介紹了圖像幾何校正與配準(zhǔn)拼接的相關(guān)評價(jià)方法。

......

參考文獻(xiàn)（略）

本文編號：239513