復(fù)雜場(chǎng)景下實(shí)時(shí)目標(biāo)跟蹤算法及實(shí)現(xiàn)技術(shù)研究
第 1 章 緒論
隨著計(jì)算機(jī)和電子等技術(shù)的飛速進(jìn)步,逐漸產(chǎn)生了計(jì)算機(jī)視覺(jué)。計(jì)算機(jī)視覺(jué)是一個(gè)處于知識(shí)前沿的、非;钴S的研究領(lǐng)域[1],它不同于研究人類或動(dòng)物的視覺(jué),而是借助于圖像處理、模式識(shí)別、數(shù)學(xué)和物理等知識(shí)來(lái)建立模型和處理數(shù)據(jù)的。目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)中非;钴S的、充滿挑戰(zhàn)性的研究課題之一[2]。目標(biāo)跟蹤一般是通過(guò)成像設(shè)備得到視頻圖像信息,并對(duì)其進(jìn)行一系列分析處理而得到目標(biāo)的運(yùn)動(dòng)軌跡和運(yùn)動(dòng)參數(shù),然后提供給目標(biāo)跟蹤系統(tǒng),完成對(duì)視頻序列中目標(biāo)的分析和理解。目標(biāo)跟蹤技術(shù)所涉及的學(xué)科知識(shí)繁多包括數(shù)字圖像處理、電子技術(shù)、半導(dǎo)體技術(shù)、概率與統(tǒng)計(jì)和模式識(shí)別等;隨著這些學(xué)科理論研究的日益發(fā)展,攝像設(shè)備質(zhì)量的提高、價(jià)格的低廉以及智能自動(dòng)化視頻設(shè)備需求的日益增多,目標(biāo)跟蹤技術(shù)的應(yīng)用越來(lái)越頻繁。無(wú)論在軍事上、工業(yè)上、還是民用上均具有舉足輕重的地位和重要的應(yīng)用前景,并得到了廣泛的關(guān)注與應(yīng)用。下面介紹一些典型的應(yīng)用:
(1)視覺(jué)導(dǎo)航方面:視覺(jué)導(dǎo)航首先通過(guò)成像設(shè)備獲得圖像信息,然后從中篩選有價(jià)值信息并進(jìn)行處理得到載體的導(dǎo)航參數(shù),如速度、位置等[3]。無(wú)人機(jī)、無(wú)人駕駛汽車、成像制導(dǎo)以及天體巡視探測(cè)器等無(wú)不涉及到視覺(jué)導(dǎo)航技術(shù)。而視覺(jué)導(dǎo)航中的關(guān)鍵技術(shù)之一就是目標(biāo)跟蹤,通過(guò)利用目標(biāo)跟蹤技術(shù)對(duì)目標(biāo)進(jìn)行提取與定位。
許多機(jī)構(gòu)和研究人員從上世紀(jì) 70 年代就開(kāi)始對(duì)無(wú)人駕駛汽車進(jìn)行了研究。Google 公司研制出一款無(wú)人駕駛汽車,該汽車能夠不通過(guò)人的操作而自動(dòng)駕駛,如圖 1.1(b)所示,實(shí)現(xiàn)該汽車的自動(dòng)駕駛就需要在復(fù)雜場(chǎng)景下對(duì)目標(biāo)進(jìn)行準(zhǔn)確的識(shí)別、跟蹤以及定位,才能保證自動(dòng)駕駛的順利完成[9-11]。成像制導(dǎo)通過(guò)彈載成像傳感器來(lái)捕獲實(shí)時(shí)圖像信息,使用目標(biāo)跟蹤算法計(jì)算導(dǎo)彈和目標(biāo)的實(shí)時(shí)相對(duì)位置等信息,并根據(jù)導(dǎo)彈跟蹤處理器的數(shù)據(jù)來(lái)指引導(dǎo)彈飛行,從而完成對(duì)目標(biāo)的精確攻擊。相比于其他制導(dǎo)方式,成像制導(dǎo)具有較高的精確度和較好的隱蔽性,在精確制導(dǎo)中發(fā)揮的作用日益明顯。比如美國(guó)的 AAWS-M中程反坦克導(dǎo)彈,發(fā)射后能夠自主選擇目標(biāo),采用紅外成像制導(dǎo)方式;俄羅斯現(xiàn)役的Kh-38M/ME空對(duì)地導(dǎo)彈,使用了紅外成像制導(dǎo)方式與激光制導(dǎo)方式等[12, 13]。圖 1.1(c)中為 Kh-38M/ME 空對(duì)地導(dǎo)彈。
......
在軍用和民用領(lǐng)域中目標(biāo)跟蹤技術(shù)都占據(jù)著非常重要的位置,與人們的生產(chǎn)生活密不可分,對(duì)人類社會(huì)的進(jìn)步和發(fā)展具有重大的促進(jìn)作用。經(jīng)過(guò)多年來(lái)的研究,目標(biāo)跟蹤技術(shù)在國(guó)內(nèi)外得到廣泛的重視,產(chǎn)生了許多目標(biāo)跟蹤算法并應(yīng)用在諸多領(lǐng)域,取得了巨大成果。本節(jié)將從目標(biāo)跟蹤算法的研究、目標(biāo)跟蹤算法的分類以及目標(biāo)跟蹤算法的硬件實(shí)現(xiàn)這三個(gè)方面來(lái)回顧一下目標(biāo)跟蹤技術(shù)的研究現(xiàn)狀。
20 世紀(jì) 50 年代,國(guó)外就開(kāi)始研究目標(biāo)跟蹤技術(shù),Wax 在 1955 年就提出了目標(biāo)跟蹤理論[27];60 年代,Sittler 提出了目標(biāo)點(diǎn)軌跡的概念和目標(biāo)運(yùn)動(dòng)路徑最優(yōu)數(shù)據(jù)關(guān)聯(lián)的貝葉斯理論,對(duì)目標(biāo)跟蹤算法進(jìn)行了改進(jìn),為后來(lái)目標(biāo)跟蹤理論的成熟奠定了基礎(chǔ)[28];20 世紀(jì) 70 年代,Yaakov 等把卡爾曼濾波(Kalman Filter,KF)和相關(guān)的數(shù)學(xué)理論應(yīng)用到目標(biāo)跟蹤算法中,推動(dòng)了目標(biāo)跟蹤算法的進(jìn)一步發(fā)展[29,30],隨后許多學(xué)者提出了很多關(guān)于運(yùn)動(dòng)目標(biāo)跟蹤和數(shù)據(jù)相關(guān)等方面的算法,如多重假設(shè)目標(biāo)跟蹤、概率數(shù)據(jù)關(guān)聯(lián)濾波、交互式多模型濾波等方法;80 年代,國(guó)外研究人員提出了自適應(yīng)跟蹤[31]和智能跟蹤[32]等方法;90 年代,學(xué)者們提出了均值偏移(Mean Shift,MS)理論、概率多假設(shè)追蹤、變結(jié)構(gòu)多模型、粒子濾波(Particle Filter,PF)等[33-36],后來(lái)人們深入研究了 Mean Shift 和 PF 跟蹤算法并對(duì)它們做了一些列的改進(jìn);進(jìn)入 21 世紀(jì)后,機(jī)器學(xué)習(xí)(Machine Learning,ML)逐漸被人們引入到目標(biāo)跟蹤領(lǐng)域并成為一種解決目標(biāo)跟蹤問(wèn)題的新思想,它將一個(gè)跟蹤任務(wù)轉(zhuǎn)換成一個(gè)對(duì)目標(biāo)與背景進(jìn)行分類的問(wèn)題,一類是目標(biāo)而另一類是背景。如支持向量機(jī)[37](Support Vector Machine,SVM)、Adaboost 算法[38]以及多示例學(xué)習(xí)[39](Multiple Instance Learning,MIL)等。國(guó)外的麻省理工學(xué)院、牛津大學(xué)、卡內(nèi)基梅隆大學(xué)等著名高校都紛紛組建了自己的計(jì)算機(jī)視覺(jué)研究小組,而且在目標(biāo)跟蹤領(lǐng)域的研究中獲得了一系列具有影響力的成果并應(yīng)用到實(shí)際工程項(xiàng)目中。另外,國(guó)際重要期刊和國(guó)際頂級(jí)會(huì)議每年都收錄大量目標(biāo)跟蹤方面的研究成果。其中相關(guān)的重要國(guó)際期刊有:TPAMI(IEEE Transactions on Pattern Analysis andMachine Intelligence)、PR(Pattem Recognition)、TIP(IEEE Transactions on ImageProcessing)、CVIU(Computer Vision and Image Understanding)等;相關(guān)的頂級(jí)國(guó)際會(huì)議有:CVPR(IEEE Conference on Computer Vision and Pattern Recognition)、ECCV(European Conference on Computer Vision)、ICCV(Intemational Conferenceon Computer Vision)、BMVC(British Machine Vision Conference)、ACCV(AsianConference of Computer Vision) 、 ICPR(Intemational Conference on PatternRecognition)、ICIP(IEEE International Conference on Image Processing)等。
......
第 2 章 基于相位一致性的實(shí)時(shí)壓縮跟蹤
傳統(tǒng)的目標(biāo)跟蹤方法通常是在某個(gè)特征空間中來(lái)描述目標(biāo),然后在圖像感興趣區(qū)域中搜索與目標(biāo)模型最相似的圖像區(qū)域作為目標(biāo)。近年來(lái),一個(gè)非常流行的方法就是把目標(biāo)跟蹤問(wèn)題視為一個(gè)在線分類的問(wèn)題,通過(guò)使用一個(gè)訓(xùn)練好的分類器把目標(biāo)從背景中辨別出來(lái),并且在線更新分類器,一旦分類確定,目標(biāo)和背景就可以被判別出來(lái),從而就可以確定目標(biāo)的位置[85-87]。2006 年 Candes 和 Donoho 給出了壓縮感知(Compressed Sensing,CS)的概念[88],其具體的過(guò)程是首先利用投影矩陣得到原始信號(hào)的測(cè)量值即壓縮后的數(shù)據(jù),然后依據(jù)合適的重構(gòu)算法恢復(fù)出原始信號(hào)。最近壓縮感知理論被引入到目標(biāo)跟蹤領(lǐng)域中,文獻(xiàn)[89]提出了一種壓縮跟蹤方法(Compressive Tracking,CT),該方法簡(jiǎn)單、實(shí)時(shí)性好,但是它存在以下不足:①對(duì)目標(biāo)發(fā)生光照及對(duì)比度較大變化時(shí)跟蹤效果較差;②在分類器的訓(xùn)練過(guò)程中同等對(duì)待所有的正負(fù)樣本,沒(méi)有考慮不同的正負(fù)樣本對(duì)于分類貢獻(xiàn)的不同;③只是使用最簡(jiǎn)單的樸素貝葉斯分類器進(jìn)行分類,在目標(biāo)外觀變化較大的情況下跟蹤容易發(fā)生漂移,如目標(biāo)尺度、目標(biāo)姿態(tài)等發(fā)生變化。
針對(duì)上述問(wèn)題,本章給出了一種改進(jìn)的 CT 算法,對(duì) CT 算法做了以下三點(diǎn)改進(jìn):①將相位一致性檢測(cè)引入到目標(biāo)跟蹤過(guò)程,以適應(yīng)目標(biāo)光照以及對(duì)比度的劇烈變化;②對(duì)采集的樣本進(jìn)行加權(quán),用來(lái)區(qū)分樣本對(duì)于分類的重要程度;③利用 Boosting 思想建立一個(gè)強(qiáng)分類器,以增強(qiáng)分類性能。本章算法對(duì)多組視頻序列進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,該算法能夠較好地適應(yīng)目標(biāo)的外觀變化,具有較好的實(shí)時(shí)性和較高的精度。本章的內(nèi)容安排如下:第 2 節(jié)介紹了壓縮感知理論以及壓縮跟蹤算法,第 3節(jié)介紹了基于相位一致性的壓縮跟蹤(Phase Congruency based CompressiveTracking,PCCT)算法,第 4 節(jié)對(duì) PCCT 算法進(jìn)行了跟蹤實(shí)驗(yàn),并對(duì)實(shí)驗(yàn)結(jié)果給出了定量與定性分析,第 5 節(jié)為本章內(nèi)容的小結(jié)。
......
2.2.1 壓縮感知基本理論
Candes 等在 2006 年第一次提出 CS 理論,其主要思想是:對(duì)于可壓縮的或稀疏的高維信號(hào),可以通過(guò)使用隨機(jī)測(cè)量矩陣把高維空間信號(hào)映射到低維空間信號(hào),并且能夠很好地從這個(gè)低維信號(hào)中恢復(fù)出原來(lái)的高維信號(hào)。隨著現(xiàn)代社會(huì)對(duì)信息量的需求越來(lái)越大,信息傳輸、處理以及信息存儲(chǔ)等方面也隨之面臨巨大的困難和挑戰(zhàn),因此人們開(kāi)始考慮將壓縮感知理論應(yīng)用于信號(hào)處理和圖像處理等領(lǐng)域以緩解處理數(shù)據(jù)量大的瓶頸。CT 算法正是利用了 CS 理論中的降維原理對(duì)高維 Haar-like 特征進(jìn)行降維以減少計(jì)算量,從而提高目標(biāo)跟蹤算法的運(yùn)算速度。下面簡(jiǎn)要介紹一下相關(guān)知識(shí):
在目標(biāo)跟蹤中通常利用邊緣特征來(lái)抑制光照變化的影響,并結(jié)合其它特征來(lái)保證目標(biāo)跟蹤的可靠性。一般采用基于梯度的邊緣提取,比如 Canny、Prewitt、Sobel 等邊緣檢測(cè),計(jì)算過(guò)程簡(jiǎn)單快捷,但是它們的邊緣提取仍然要依賴于圖像的灰度特征,容易受光照變化的影響,而且在檢測(cè)的過(guò)程中需要選取適當(dāng)?shù)拈撝,才能保證較好的檢測(cè)效果?紤]到上述問(wèn)題,本章利用相位一致性圖像特征來(lái)解決壓縮跟蹤方法對(duì)光照和對(duì)比度劇烈變化敏感的問(wèn)題。
使用式(2-15)來(lái)計(jì)算一幅圖像的相位一致性變換,便可以得到對(duì)應(yīng)的 PC 系數(shù)值,然后由這些系數(shù)值便可以得到一幅新的灰度圖像,它就是 PC 變換圖像。圖 2.9 中給出了 3 幅不同光照條件下圖像(見(jiàn)圖 2.9(a))的 Sobel 邊緣圖像(見(jiàn)圖2.9(b))以及對(duì)應(yīng)的灰度直方圖(見(jiàn)圖 2.9(c))、相位一致性變換圖像(見(jiàn)圖 2.9(d))以及對(duì)應(yīng)的灰度直方圖(見(jiàn)圖 2.9(e)),其中圖 2.9(c)的橫坐標(biāo)為歸一化的圖像灰度值(圖像灰度除以 255),圖 2.9(e)的橫坐標(biāo)為相位一致性圖像的灰度值。相位一致性圖像不同于邊緣檢測(cè)提取的圖像:從圖 2.9(b)、圖 2.9(c)可以看到,對(duì)于 Sobel邊緣檢測(cè)提取的圖像,,其歸一化灰度值主要集中在 0~0.2 范圍內(nèi),只保留了原圖像的邊緣信息,其他信息大部分丟失;從圖 2.9(d)、圖 2.9(e)可以看到,相位一致性圖像的灰度值幾乎覆蓋了 0~1 范圍,保留了原圖像的大部分信息,對(duì)于不同亮度和對(duì)比度的圖像,對(duì)應(yīng)的相位一致性圖像的直方圖幾乎一致,也就是說(shuō)相位一致性圖像幾乎相同;PC 變換后的圖像的前景特征變得更加顯著,背景變得比較平滑,既增強(qiáng)了原圖像的特征又保留了原來(lái)的一些非特征點(diǎn)的信息,更能夠體現(xiàn)原圖像的特征。因而我們將從相位一致性圖像中提取的特征應(yīng)用于分類器進(jìn)行分類,能夠有效地抑制目標(biāo)外觀光照及對(duì)比度變化對(duì)分類器判別結(jié)果的干擾,從而提高了分類器判別目標(biāo)的能力。
......
3.1 引言.........................................................45
3.2 基于核相關(guān)濾波器的目標(biāo)跟蹤 .................................46
第 4 章 基于在線檢測(cè)的時(shí)空上下文目標(biāo)跟蹤.........................73
4.1 引言........................................................73
4.2 基于時(shí)空上下文信息的目標(biāo)跟蹤 ...............................74
第 5 章 基于 STC 跟蹤算法的硬件架構(gòu)設(shè)計(jì)........................93
5.1 引言.........................................................93
5.2 目標(biāo)跟蹤系統(tǒng)硬件平臺(tái)介紹 .....................................94
第 5 章 基于 STC 跟蹤算法的硬件架構(gòu)設(shè)計(jì)
在當(dāng)今信息化戰(zhàn)爭(zhēng)中能否對(duì)目標(biāo)實(shí)現(xiàn)精確打擊對(duì)于戰(zhàn)爭(zhēng)的勝負(fù)具有重大的影響,因此研制精確摧毀目標(biāo)的制導(dǎo)武器對(duì)于提升軍隊(duì)的作戰(zhàn)能力以及國(guó)家的安全防御都有極為重要的國(guó)防意義[130]。各國(guó)對(duì)于精確打擊武器的研制越來(lái)越重視,陸、海、空三軍的各類新式精確打擊武器裝備都相繼產(chǎn)生,而實(shí)現(xiàn)其精確打擊的關(guān)鍵部分就是目標(biāo)跟蹤系統(tǒng)。目標(biāo)跟蹤系統(tǒng)是一種被動(dòng)式的系統(tǒng)[131],它首先利用從成像系統(tǒng)得到的圖像來(lái)獲取目標(biāo)信息,然后通過(guò)控制設(shè)備、目標(biāo)跟蹤器等對(duì)目標(biāo)進(jìn)行自動(dòng)跟蹤,這樣就能夠使武器辨識(shí)目標(biāo)并且對(duì)其進(jìn)行有效摧毀;它是計(jì)算機(jī)、電子信息、半導(dǎo)體、圖像處理、人工智能以及自動(dòng)控制等學(xué)科有機(jī)結(jié)合的結(jié)晶。早期的目標(biāo)跟蹤系統(tǒng)一般是在通用計(jì)算機(jī)上實(shí)現(xiàn)的,而現(xiàn)在的目標(biāo)跟蹤系統(tǒng)更側(cè)重于使用嵌入式系統(tǒng)來(lái)進(jìn)行實(shí)現(xiàn),并逐步向處理速度更快、跟蹤精度更高、智能化程度更高、功耗更低以及體積更小等方面發(fā)展。圖 5.1 給出了一個(gè)完整的目標(biāo)跟蹤系統(tǒng)的組成框圖,主要包括圖像采集(成像設(shè)備)、目標(biāo)跟蹤器(核心單元)、伺服控制以及顯示部分。
其中各模塊的功能如下:(1)成像設(shè)備,一般是可見(jiàn)光或紅外相機(jī),用來(lái)從外界獲取圖像信息;(2)目標(biāo)跟蹤器,是目標(biāo)跟蹤系統(tǒng)的核心模塊,一般包括目標(biāo)獲取、目標(biāo)跟蹤、視頻疊加以及參數(shù)輸出模塊,完成視頻中目標(biāo)位置的提取以及目標(biāo)狀態(tài)的估計(jì);(3)伺服控制結(jié)構(gòu),根據(jù)獲得的相關(guān)參數(shù)及時(shí)調(diào)整成像設(shè)備的位置,使目標(biāo)能夠一直位于成像設(shè)備的視場(chǎng)中心;(4)顯示器,用于直觀地顯示目標(biāo)跟蹤的過(guò)程。
......
第 6 章 總結(jié)與展望
隨著計(jì)算機(jī)、電子、信息等現(xiàn)代科學(xué)技術(shù)的飛速發(fā)展,目標(biāo)跟蹤技術(shù)在軍事應(yīng)用、工業(yè)生產(chǎn)以及人們的日常生活等方面的應(yīng)用越來(lái)越廣,與此同時(shí)目標(biāo)跟蹤技術(shù)所面臨的挑戰(zhàn)也越來(lái)越多。本文針對(duì)復(fù)雜場(chǎng)景下的目標(biāo)跟蹤算法以及硬件實(shí)現(xiàn)進(jìn)行了研究與探索。首先對(duì)跟蹤算法以及硬件實(shí)現(xiàn)的研究現(xiàn)狀進(jìn)行了總結(jié),然后分別對(duì)壓縮跟蹤算法、核相關(guān)濾波器跟蹤算法、時(shí)空上下文跟蹤算法以及目標(biāo)跟蹤算法的硬件架構(gòu)設(shè)計(jì)進(jìn)行了深入研究。本文的主要工作有以下幾個(gè)方面:
1.對(duì)基于壓縮感知的跟蹤算法進(jìn)行了研究,針對(duì)在目標(biāo)跟蹤過(guò)程中目標(biāo)外觀變化容易引起跟蹤不穩(wěn)定的問(wèn)題,提出了一種改進(jìn)的跟蹤算法。首先將相位一致性引入到跟蹤過(guò)程中,以適應(yīng)目標(biāo)光照及對(duì)比度劇烈變化;然后對(duì)采集的正樣本進(jìn)行加權(quán)處理,以區(qū)分樣本的重要程度;最后通過(guò)利用 Boosting 思想來(lái)建立強(qiáng)分類器,以提高分類性能;并通過(guò)實(shí)驗(yàn)對(duì)算法進(jìn)行了驗(yàn)證和分析。
......
參考文獻(xiàn)(略)
本文編號(hào):186247
本文鏈接:http://sikaile.net/wenshubaike/caipu/186247.html