作為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱點(diǎn)課題,目標(biāo)跟蹤在智慧城市、智能交通系統(tǒng)和國(guó)防軍事等領(lǐng)域有著非常廣泛的應(yīng)用。盡管近些年來已經(jīng)取得了長(zhǎng)足的進(jìn)度,但是復(fù)雜場(chǎng)景下的目標(biāo)跟蹤仍然是一個(gè)非常具有挑戰(zhàn)性的問題。在復(fù)雜場(chǎng)景下,目標(biāo)在跟蹤過程中所經(jīng)歷的巨大的外觀變化和遮擋問題是制約跟蹤性能的重要因素�；谝陨戏治�,本文提出了一系列目標(biāo)跟蹤算法來應(yīng)對(duì)目標(biāo)復(fù)雜的外觀變化和解決遮擋問題。本文的主要貢獻(xiàn)如下:1)為了深入挖掘目標(biāo)不同局部塊的外觀特性以準(zhǔn)確地跟蹤目標(biāo),提出了一種新的局部稀疏外觀模型。該方法將候選目標(biāo)的局部塊劃分為穩(wěn)定塊、有效塊和無(wú)效塊,并且為這些局部塊分配不同的權(quán)值。首先,提出了一個(gè)局部稀疏分?jǐn)?shù)來有效地挖掘穩(wěn)定塊。為了消除背景塊的影響,本文設(shè)計(jì)了一種判別性局部稀疏編碼方法來降低背景塊的權(quán)值。其次,通過利用稀疏表達(dá)中的局部性,設(shè)計(jì)了一種局部線性回歸方法以區(qū)分有效快和無(wú)效塊。最后,為了確保權(quán)值分配操作更加合理,本文提出了一種權(quán)值收縮方法來決定有效塊的權(quán)值。通過挖掘不同類型的局部塊并為它們分配不同的權(quán)值,所提出的方法可以有效地捕獲目標(biāo)巨大的外觀變化和處理遮擋問題。在多個(gè)公共的目標(biāo)跟蹤數(shù)據(jù)庫(kù)上進(jìn)行的實(shí)驗(yàn)表明,... 

【文章來源】：湖南大學(xué)湖南省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：137 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

相關(guān)濾波方法利用循環(huán)卷積產(chǎn)生樣本

卷積積神經(jīng)網(wǎng)絡(luò)跟蹤方法:卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展而來的一種新型網(wǎng)絡(luò)。它可以分層地提取出目標(biāo)高層的語(yǔ)義信息和低層的簡(jiǎn)單信息來進(jìn)行目標(biāo)跟蹤。Hong等人[83]利用預(yù)先訓(xùn)練好的CNN提取深度特征來進(jìn)行目標(biāo)外觀建模,并且構(gòu)建了一個(gè)目標(biāo)顯著圖以準(zhǔn)確跟蹤目標(biāo)。由于該目標(biāo)顯著圖能夠有效地表示目標(biāo)的空間信息,因此所該算法能夠達(dá)到像素級(jí)別的目標(biāo)定位。Wang等人[84]深度研究了CNN對(duì)目標(biāo)跟蹤的意義,并且發(fā)現(xiàn)不同卷積層從不同的角度對(duì)目標(biāo)進(jìn)行表示。其中高層卷積層能夠編碼目標(biāo)的語(yǔ)義信息來進(jìn)行目標(biāo)分類,而底層卷積層則包含了目標(biāo)的判別信息來進(jìn)行目標(biāo)定位。Ma等人[85]利用CNN提取多層特征用來捕獲目標(biāo)的語(yǔ)義信息和細(xì)粒度信息以處理大的外觀變化和模型漂移,并且為每層特征學(xué)習(xí)一個(gè)線性相關(guān)濾波器。通過采用由粗到精的方式結(jié)合多個(gè)濾波器響應(yīng)來定位目標(biāo)。為了克服訓(xùn)練樣本過少所帶來的深度模型過擬合問題,Wang等人[86]提出了一種序列訓(xùn)練方法(Sequential Training Method)訓(xùn)練CNN來將訓(xùn)練好的深度特征遷移到跟蹤任務(wù),并且防止過擬合。但是該方法時(shí)間復(fù)雜度較高,不能滿足實(shí)時(shí)跟蹤的要求。Chi等人[87]提出一個(gè)雙層結(jié)構(gòu)的深度網(wǎng)絡(luò)將邊界和形狀信息融入到多層特征中來進(jìn)一步提高目標(biāo)跟蹤性能。該雙層結(jié)構(gòu)的網(wǎng)絡(luò)采用周期性和隨機(jī)性的根性規(guī)則以解決模型漂移和目標(biāo)遮擋等問題。為了應(yīng)對(duì)跟蹤過程中所出現(xiàn)的與目標(biāo)外觀相似的干擾項(xiàng),Fan等人[88]利用RNN(recurrent neural network)建模目標(biāo)結(jié)果并將其融合到CNN中以提高跟蹤的魯班性。該方法不僅利用CNN來提取多個(gè)層次的特征,而且使用多個(gè)RNN從不同角度建模目標(biāo)結(jié)構(gòu)。Teng等人[89]提出了一個(gè)TSN(Temporal-Spatial Network)網(wǎng)絡(luò)來考慮時(shí)間和空間信息以提高目標(biāo)的跟蹤效果。TSN網(wǎng)絡(luò)包括一個(gè)特征網(wǎng)絡(luò)、一個(gè)時(shí)間網(wǎng)絡(luò)和一個(gè)空間網(wǎng)絡(luò)。其中特征網(wǎng)絡(luò)負(fù)責(zé)提出特征表示目標(biāo),時(shí)間網(wǎng)絡(luò)考慮從全局的角度來考慮目標(biāo)在跟蹤過程中的時(shí)間信息,空間網(wǎng)絡(luò)則考慮目標(biāo)的局部空間信息。Nam等人[90]基于CNN提出了一種新的MDNet(Multi-Domain Network)來進(jìn)行目標(biāo)跟蹤。MDNet包括目標(biāo)共享層和多個(gè)特定領(lǐng)域?qū)臃种�。該算法在公開數(shù)據(jù)集上取得了領(lǐng)先的跟蹤效果。為了提高M(jìn)DNet的跟蹤速度,Jung等人[90]在MDNet的基礎(chǔ)上提出了一個(gè)RoIAlign技術(shù)從一個(gè)特征圖中提取更準(zhǔn)確的目標(biāo)表示。該方法可以達(dá)到50幀每秒的跟蹤速度。為了使深度特征能夠更好的表示任意形式的跟蹤目標(biāo),Li等人[92]學(xué)習(xí)了一個(gè)目標(biāo)感知網(wǎng)絡(luò)來選取能夠更好表示目標(biāo)的特征。文獻(xiàn)[93]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的定向擾動(dòng)和HOG特征的跟蹤算法.孿生網(wǎng)絡(luò)跟蹤方法:孿生網(wǎng)絡(luò)(Siamese Network)方法主要是將相性度學(xué)習(xí)的思想引入到卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中來進(jìn)行目標(biāo)跟蹤,并且取得了非常不錯(cuò)的效果。如圖1.2所示,Bertinetto等人[94]首先提出了一種孿生網(wǎng)絡(luò)方法在更大的搜索范圍內(nèi)定位目標(biāo)。該框架關(guān)于搜索圖片是全連接的,因此可以達(dá)到密集的滑動(dòng)窗口采樣。為了有效地學(xué)習(xí)目標(biāo)在跟蹤過程中的外觀變化來應(yīng)對(duì)背景干擾,Guo等人[95]提出了一種動(dòng)態(tài)的孿生網(wǎng)絡(luò)方法(Dynamic Siamese Network)來進(jìn)行目標(biāo)跟蹤。該方法利用一個(gè)快速變換學(xué)習(xí)模型在線學(xué)習(xí)目標(biāo)的外觀變化并且壓縮背景。考慮到在分類任務(wù)中學(xué)習(xí)得到的語(yǔ)義特征和在相似性匹配任務(wù)中學(xué)習(xí)到的外觀特征具有互補(bǔ)性,He等人[96]等人提出了一個(gè)雙層孿生網(wǎng)路來進(jìn)行實(shí)時(shí)跟蹤。該網(wǎng)絡(luò)包括一個(gè)語(yǔ)義分支和一個(gè)外觀分支,并且這兩個(gè)分支被獨(dú)立的訓(xùn)練以保證不同特征的異構(gòu)性。Li等人[97]提出了一種SimaRPN(Siamese region proposal network)方法獲取頂級(jí)的跟蹤性能和實(shí)時(shí)的跟蹤速度。SiamRPN由一個(gè)孿生子網(wǎng)絡(luò)和一個(gè)區(qū)域候選子網(wǎng)絡(luò)組成。前者負(fù)責(zé)提取特征,而后者包括分類和回歸兩個(gè)分支。Wang等人[98]等人采用端到端(End-to-End)的方式學(xué)習(xí)了一種RASNet(Residual Attentional Siamese Network)進(jìn)行高效的目標(biāo)跟蹤。RASNet方法將相關(guān)濾波融入到孿生網(wǎng)絡(luò)當(dāng)中進(jìn)行訓(xùn)練,并且設(shè)計(jì)了多種不同的關(guān)注機(jī)制確保模型適應(yīng)目標(biāo)的外觀變化以防止過擬合發(fā)生。為了應(yīng)對(duì)非剛體目標(biāo)的外觀變化和遮擋,Zhang等人[99]提出了一種結(jié)構(gòu)化孿生網(wǎng)絡(luò)來考慮目標(biāo)的局部模式和局部模式之間的關(guān)系來更加準(zhǔn)確地跟蹤目標(biāo)。該方法可以有效地識(shí)別具有判別性的局部模式,并且通過匹配局部模式的方式完成跟蹤。Dong等人[100]在孿生網(wǎng)絡(luò)中加入了一種新的三元損失來提取更加有效的深度特征進(jìn)行目標(biāo)跟蹤。與原有的二元損失相比,所提出的三元損失能夠挖掘樣本之間的潛在關(guān)系來獲取更好的跟蹤效果。Zhu等人[101]通過分析訓(xùn)練數(shù)據(jù)中非語(yǔ)義背景和語(yǔ)義干擾項(xiàng)的不平衡導(dǎo)致跟蹤效果不佳,進(jìn)而提出了一種DaSiamRPN網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤。該方法采用一種有效的采樣策略來確保模型更加關(guān)注具有語(yǔ)義信息的干擾項(xiàng),進(jìn)而壓縮背景干擾。為了處理背景中的相似干擾項(xiàng)和尺度變化,Fan等人[102]提出了一個(gè)多階段的C-RPN(Siamese Cascaded RPN)跟蹤方法。該方法由孿生網(wǎng)路的高層到低層特征級(jí)聯(lián)得到一系列的RPN網(wǎng)絡(luò)來準(zhǔn)確定位目標(biāo)。Li等人[103]深入分析了孿生網(wǎng)絡(luò)缺乏平移不變性的不足,提出了一種空間感知的采樣策略來克服該缺陷并且設(shè)計(jì)了一個(gè)殘差網(wǎng)驅(qū)動(dòng)的孿生網(wǎng)絡(luò)來進(jìn)行目標(biāo)跟蹤。文獻(xiàn)[104]通過在線更新網(wǎng)絡(luò)參數(shù),使網(wǎng)絡(luò)能夠在通用特征的基礎(chǔ)上進(jìn)一步學(xué)到當(dāng)前目標(biāo)的特定特征。

為了促進(jìn)目標(biāo)跟蹤研究的發(fā)展,目前已經(jīng)有多個(gè)跟蹤數(shù)據(jù)集被用來評(píng)估不同跟蹤算法的跟蹤性能。常見的目標(biāo)跟蹤數(shù)據(jù)集有OTB(Object Tracking Benchmark)[111,112]、VOT(Visual Object Tracking Challenge)[113–115]、TC-128(TempleColor128)[116]、UAV123(Unmanned Aerial Vehicle 123)[117]。具體來說,OTB是標(biāo)準(zhǔn)的目標(biāo)跟蹤數(shù)據(jù)集,VOT是一年一度的視覺目標(biāo)跟蹤競(jìng)賽所使用的數(shù)據(jù)集,TC-128是由128個(gè)彩色視頻組成的數(shù)據(jù)集,UVA123包含123個(gè)無(wú)人機(jī)航拍視頻。在所有的這些數(shù)據(jù)集中,OTB和VOT是兩個(gè)最重要而且應(yīng)用的最廣的目標(biāo)跟蹤數(shù)據(jù)集。因此,本文重點(diǎn)介紹這兩個(gè)公開數(shù)據(jù)集。1.3.1 OTB數(shù)據(jù)集


本文編號(hào)：3270090