【摘要】：給定視頻數(shù)據(jù)中某一未知類別物體的外觀特征,在線視覺(jué)跟蹤問(wèn)題旨在對(duì)其進(jìn)行準(zhǔn)確的定位和跟蹤。視覺(jué)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一項(xiàng)基礎(chǔ)而關(guān)鍵的技術(shù)。在智能安防、交通監(jiān)控、無(wú)人駕駛、人機(jī)交互及現(xiàn)代化軍事等諸多實(shí)際問(wèn)題中都有著廣泛而重要的應(yīng)用。近年來(lái),視覺(jué)跟蹤相關(guān)的學(xué)術(shù)研究一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門(mén)課題之一。隨著特征工程、機(jī)器學(xué)習(xí)算法以及計(jì)算機(jī)算力的不斷發(fā)展,有關(guān)視覺(jué)跟蹤的研究也取得了重大的進(jìn)展。無(wú)論在跟蹤的高效性方面還是跟蹤的準(zhǔn)確性方面,當(dāng)前的研究成果都有顯著的提升,但仍然存在許多頗具挑戰(zhàn)性的問(wèn)題沒(méi)有獲得理想的解決。這些問(wèn)題包括如何有效應(yīng)對(duì)多重因素引起的目標(biāo)形變,如何對(duì)算法模型進(jìn)行有效的離線學(xué)習(xí)和在線更新,如何充分利用視頻數(shù)據(jù)在時(shí)域上的連續(xù)性等。針對(duì)以上種種難題,本文立足于視覺(jué)跟蹤中目標(biāo)外觀模型的構(gòu)建,對(duì)不同層級(jí)的表征方式在視覺(jué)跟蹤中的應(yīng)用展開(kāi)研究。本文主要的貢獻(xiàn)和創(chuàng)新點(diǎn)如下:(1)面向低層特征,本文提出了一種基于結(jié)構(gòu)化信息約束的區(qū)域融合算法。在訓(xùn)練階段,該算法通過(guò)構(gòu)建融合原型矩陣對(duì)前景超像素和相鄰超像素之間的空間結(jié)構(gòu)關(guān)系進(jìn)行建模。測(cè)試階段分兩步進(jìn)行:首先,以融合原型矩陣中集成的空間結(jié)構(gòu)化信息作為約束,從四個(gè)不同的方向?qū)ο噜彽某袼貙?duì)進(jìn)行融合;其次,從融合的超像素對(duì)中提取前景超像素,最終實(shí)現(xiàn)前景和背景區(qū)域的準(zhǔn)確分離。本文進(jìn)一步將該算法應(yīng)用于視覺(jué)跟蹤問(wèn)題中,將視覺(jué)跟蹤問(wèn)題轉(zhuǎn)化為超像素的二分類問(wèn)題,通過(guò)對(duì)前景區(qū)域的分割達(dá)到對(duì)前景目標(biāo)定位的目的。實(shí)驗(yàn)結(jié)果表明,本文提出的基于結(jié)構(gòu)化信息約束的區(qū)域融合算法,可以有效描述相鄰超像素所反映出的結(jié)構(gòu)化信息。與單純依據(jù)超像素外觀特征進(jìn)行區(qū)域融合相比,本文算法通過(guò)利用結(jié)構(gòu)化信息作為約束,可以顯著地提升區(qū)域融合的精確度,進(jìn)而實(shí)現(xiàn)更高精度的視覺(jué)跟蹤。(2)為增強(qiáng)低層特征的時(shí)空連續(xù)性,本文提出了一種基于時(shí)空平滑性約束的超像素跟蹤算法。在該算法中,空間平滑性約束采用流形學(xué)習(xí)的思想,對(duì)目標(biāo)局部外觀的幾何關(guān)聯(lián)進(jìn)行建模,從而更加有效地利用了大量無(wú)標(biāo)簽超像素所反映出的流形結(jié)構(gòu);時(shí)間平滑性約束采用光流法實(shí)現(xiàn),通過(guò)尋找相鄰兩幀超像素的對(duì)應(yīng)關(guān)系捕捉目標(biāo)外觀短期的變化;外觀一致性約束運(yùn)用在線的隨機(jī)森林分類器對(duì)目標(biāo)外觀的長(zhǎng)期變化進(jìn)行建模,為跟蹤提供外觀先驗(yàn)知識(shí)。上述三種約束條件被統(tǒng)一在相同的優(yōu)化框架之下。該算法通過(guò)同時(shí)對(duì)三種約束條件進(jìn)行優(yōu)化,遵循目標(biāo)外觀在時(shí)間和空間上的一致性以及外觀變化在短期和長(zhǎng)期的互補(bǔ)性,最終實(shí)現(xiàn)目標(biāo)區(qū)域的準(zhǔn)確檢測(cè)。實(shí)驗(yàn)結(jié)果表明,上述三種約束條件可以有效提升跟蹤算法的精確度。盡管在沒(méi)有前景分割真實(shí)值的情況下進(jìn)行模型初始化,該算法依然可以預(yù)測(cè)出比矩形框表示方式更為合理的目標(biāo)區(qū)域分割結(jié)果。(3)為探索高層特征在目標(biāo)外觀建模中的作用,本文從視覺(jué)跟蹤的角度首次對(duì)深度特征進(jìn)行了特征分析,并針對(duì)視覺(jué)跟蹤的特點(diǎn)給出了深度特征的若干重要屬性,其中包括:不同層級(jí)的卷積特征從不同的方面對(duì)目標(biāo)外觀進(jìn)行刻畫(huà);在圖像分類任務(wù)上預(yù)訓(xùn)練的深度網(wǎng)絡(luò)中只有部分神經(jīng)元與當(dāng)前的跟蹤任務(wù)相關(guān)。根據(jù)這些觀察,本文提出了基于全卷積網(wǎng)絡(luò)的視覺(jué)跟蹤算法。該算法將中低層和高層深度特征相結(jié)合,同時(shí)用于目標(biāo)的定位,并設(shè)計(jì)背景干擾項(xiàng)檢測(cè)機(jī)制對(duì)基于不同層級(jí)特征的定位結(jié)果進(jìn)行篩選和切換。此外,本文進(jìn)一步提出基于目標(biāo)外觀特性的自適應(yīng)特征篩選算法,對(duì)無(wú)關(guān)或噪聲特征進(jìn)行剔除,從而提升跟蹤算法的魯棒性,并為算法加速提供了有力的支持。實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)算法相比,基于全卷積網(wǎng)絡(luò)的跟蹤算法具有更高的跟蹤準(zhǔn)確率和可靠性。(4)為提升高層特征對(duì)目標(biāo)外觀的適應(yīng)性,本文提出了一種序列化卷積神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練算法。該算法將卷積網(wǎng)絡(luò)視作一個(gè)集成模型(Ensemble),其中的每一個(gè)特征通道充當(dāng)一個(gè)基學(xué)習(xí)器(Base Learner)。不同的基學(xué)習(xí)器采用不同的準(zhǔn)則進(jìn)行訓(xùn)練,并通過(guò)對(duì)它們進(jìn)行序列化采樣,獲得最佳的集成模型。與此同時(shí),本文提出帶有隨機(jī)二值化掩模的卷積操作,以促使不同的卷積特征關(guān)注目標(biāo)的不同部分。本文將上述算法應(yīng)用于視覺(jué)跟蹤中的目標(biāo)定位網(wǎng)絡(luò),并提出基于深度特征的尺度估計(jì)網(wǎng)絡(luò),對(duì)目標(biāo)框的大小進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)表明,該網(wǎng)絡(luò)訓(xùn)練算法適合在線視覺(jué)跟蹤中訓(xùn)練樣本以序列化方式獲取的特性,可以顯著降低網(wǎng)絡(luò)過(guò)擬合的風(fēng)險(xiǎn),去除特征間的冗余性,從而更加有效地將預(yù)訓(xùn)練的深度特征遷移至在線跟蹤任務(wù)中。
【圖文】：

ｄａｔａ邋ｓｅｔ逡逑得分及排序列于圖側(cè)。以成功率作為指標(biāo)的對(duì)比實(shí)驗(yàn)中，本章所提出的ＳＣＧ算法位列逡逑第一。從圖２．２中不難看出，本章的算法在較高重合率閾值下所表現(xiàn)出的優(yōu)勢(shì)更加明逡逑顯。以精度作為指標(biāo)的對(duì)比實(shí)驗(yàn)中，本章算法同樣取得了較好的成績(jī)，在所有對(duì)比算法逡逑中，精度得分位列第二名。在較小的中心點(diǎn)誤差閾值下（小于１０個(gè)像素），本章算法逡逑的精度明顯高于其余對(duì)比算法。在較大中心點(diǎn)誤差閾值下（大于１０個(gè)像素），本章算逡逑法的精度低于ＫＣＦ算法。對(duì)比算法中的ＤＡＴ和ＳＰＴ算法也是采用中低層顏色特征以表逡逑征目標(biāo)外觀。其中，ＤＡＴ算法采用像素作為處理單元，ＳＰＴ算法與本章的ＳＣＧ算法相逡逑同，采用超像素作為處理單元。與這兩種算法相比，本章所提出的ＳＣＧ算法在基于精逡逑度和成功率的測(cè)評(píng)中性能提升明顯。逡逑２．４．３基于屬性的算法性能測(cè)評(píng)逡逑本章用于測(cè)試的７４個(gè)彩色視頻序列涵蓋了邋ＯＴＢ－１５測(cè)試集中的全部１１種屬性。為逡逑了分別檢驗(yàn)不同的算法在應(yīng)對(duì)特定挑戰(zhàn)因素時(shí)的表現(xiàn)，將對(duì)比算法在這１１種屬性上單逡逑獨(dú)評(píng)測(cè)。由于成功率曲線以預(yù)測(cè)目標(biāo)框和目標(biāo)框真值的重疊率作為標(biāo)準(zhǔn)，而精度得分僅逡逑以預(yù)測(cè)目標(biāo)框和目標(biāo)框真值的中心點(diǎn)距離誤差作為標(biāo)準(zhǔn)。因而基于成功率曲線的評(píng)測(cè)結(jié)逡逑果更加客觀和全面。鑒于論文空間的限制

ｄａｔａ邋ｓｅｔ邋（Ｉ）逡逑２．４．４跟蹤結(jié)果定性測(cè)評(píng)逡逑為了對(duì)跟蹤算法的表現(xiàn)有更加直觀的認(rèn)識(shí)，圖２．５和圖２．６展示了部分比較算法在逡逑各種屬性測(cè)試視頻上的跟蹤結(jié)果。對(duì)比的算法包括在定量測(cè)評(píng)中效果最好的ＫＣＦ和逡逑ＴＧＰＲ算法以及與本章所提出的算法十分相關(guān)的ＤＡＴ算法。逡逑圖２．５邋（ａ）中的所展現(xiàn)的視頻具有遮擋、運(yùn)動(dòng)模糊、快速移動(dòng)等挑戰(zhàn)性。本章所提出逡逑的ＳＣＧ算法與ＫＣＦ和ＴＧＰＲ算法都可以較好的應(yīng)對(duì)這些挑戰(zhàn)因素，對(duì)目標(biāo)進(jìn)行較準(zhǔn)確逡逑的定位。相比之下ＤＡＴ算法在這些挑戰(zhàn)性因素上的性能仍有待提升。圖２．５（ｂ）中的視逡逑頻展現(xiàn)出形變、背景干擾、旋轉(zhuǎn)等挑戰(zhàn)因素。所有的對(duì)比算法在這些視頻序列上均表逡逑現(xiàn)較好。圖２．５（ｃ）中的視頻存在光照變化、遮擋、尺度變化等挑戰(zhàn)因素。ＫＣＦ算法與逡逑ＤＡＴ算法在這些挑戰(zhàn)因素上存在一定缺陷，在部分視頻幀中存在跟丟目標(biāo)或定位不夠準(zhǔn)逡逑確的情況。本章ＳＣＧ算法與ＴＧＰＲ算法在這些視頻中表現(xiàn)較為理想。逡逑－邋２５－逡逑
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41;TP183

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 樓建光,柳崎峰,譚鐵牛,胡衛(wèi)明;基于三維模型的交通場(chǎng)景視覺(jué)監(jiān)控(英文)[J];自動(dòng)化學(xué)報(bào);2003年03期

，

本文編號(hào)：2679193