目標(biāo)的檢測與跟蹤是計算機視覺領(lǐng)域的基本問題,也是智能視頻監(jiān)控系統(tǒng)的關(guān)鍵與核心技術(shù)。隨著深度學(xué)習(xí)技術(shù)的推動,這方面的研究已經(jīng)取得了令人矚目的成就。但是,由于數(shù)據(jù)、場景、環(huán)境的復(fù)雜性,視覺目標(biāo)的檢測與跟蹤仍然面臨很多挑戰(zhàn)。本文圍繞上述復(fù)雜因素,從視覺注意力和魯棒深度特征學(xué)習(xí)的角度出發(fā),對目標(biāo)檢測和跟蹤問題開展討論,分別研究了基于自適應(yīng)加權(quán)的多模態(tài)顯著性目標(biāo)檢測方法、基于對象驅(qū)動視覺注意力的目標(biāo)跟蹤方法、基于困難正樣本學(xué)習(xí)的目標(biāo)跟蹤方法、基于自然語言描述的目標(biāo)跟蹤方法以及基于困難行人身份挖掘的跨相機目標(biāo)跟蹤方法等。在多模態(tài)顯著性目標(biāo)檢測方面,由于不同的多模態(tài)數(shù)據(jù)對最終結(jié)果的貢獻不同,本文將重點研究多模態(tài)信息融合問題,即如何根據(jù)模態(tài)的質(zhì)量實現(xiàn)自適應(yīng)的加權(quán)。對于基于深度學(xué)習(xí)的方法,由于缺乏關(guān)于模態(tài)質(zhì)量的標(biāo)注信息,導(dǎo)致現(xiàn)有基于深度學(xué)習(xí)的方法很難將模態(tài)質(zhì)量以監(jiān)督學(xué)習(xí)的方式融合到整體的網(wǎng)絡(luò)結(jié)構(gòu)中。基于上述觀察,本文借鑒了深度強化學(xué)習(xí)的思想,將不同模態(tài)的加權(quán)問題看做是序列決策問題。我們采取后期融合的思路,將多模態(tài)顯著性物體檢測分為兩個階段來進行。最終,在兩個多模態(tài)任務(wù)上驗證了該方法的有效性。對于跟蹤問題... 

【文章來源】：安徽大學(xué)安徽省 211工程院校

【文章頁數(shù)】：153 頁

【學(xué)位級別】：博士

【部分圖文】：

圖１．１：論文的研究內(nèi)容??Ｆｉｇ．?１．１：?Ｒｅｓｅａｒｃｈ?ｃｏｎｔｅｎｔｓ?ｏｆ?ｔｈｉｓ?ｐａｐｅｒ??

獎勵定義為顯著性檢測的精度，強化學(xué)習(xí)的目標(biāo)就變?yōu)榱俗畲蠡@著性物體檢??測累積的精度，這和顯著性評測的目標(biāo)也是一致的。深度強化學(xué)習(xí)中智能體與??環(huán)境交互的過程如圖２．１所不。??本章提出一種具有普適性（Ｇｅｎｅｒａｌ）的質(zhì)量預(yù)測網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以從不??同的傳感器中感知輸入數(shù)據(jù)的質(zhì)量，大致的網(wǎng)絡(luò)示意圖可參考圖２．２。具體來??說，本文將每一個領(lǐng)域的質(zhì)量預(yù)測問題看作是序列決策問題，并且訓(xùn)練一個智??能體與環(huán)境進行交互探索，使其能夠?qū)W會對不同的領(lǐng)域數(shù)據(jù)進行智能加權(quán)。其??中，深度強化學(xué)習(xí)的三個主要元素，狀態(tài)、動作以及獎勵，具體定義如下：??？狀態(tài)（Ｓｔａｔｅ）：來自不同領(lǐng)域輸入數(shù)據(jù)；??？動作（Ａｃｔｉｏｎ）：増加，減少，停止調(diào)整模態(tài)權(quán)重；??？獎勵（Ｒｅｗａｒｄ）：通過計算預(yù)測結(jié)果與真值之間的損失；??本文所引入的質(zhì)量預(yù)測網(wǎng)絡(luò)的訓(xùn)練可以用現(xiàn)有的深度強化學(xué)習(xí)算法來完??成，本文實驗中采用的是深度Ｑ網(wǎng)絡(luò)（ＤｅｅｐＱ－Ｎｅ．ｔｗｏｒｋ）?［１６］，因為該網(wǎng)絡(luò)更加??－１１?－??

?一１?展現(xiàn)新的獎勵Ｒｍ；??圖２．１：強化學(xué)習(xí)中智能體與環(huán)境交互的示意圖??Ｆｉｇ．?２．１：?Ｔｈｅ?ｉｎｔｅｒａｃｔｉｏｎ?ｂｅｔｗｅｅｎ?ａｇｅｎｔ?ａｎｄ?ｅｎｖｉｒｏｎｍｅｎｔ?ｉｎ?ｒｅｉｎｆｏｒｃｅｍｅｎｔ??ｌｅａｒｎｉｎｇ??勵。學(xué)習(xí)的目標(biāo)是在一個時序上最大化期望獎勵，每一個時間步驟的回報定義??為從當(dāng)前時刻到時序結(jié)束時的獎勵總和。對于質(zhì)量相關(guān)的多模態(tài)任務(wù)，本文利??用神經(jīng)網(wǎng)絡(luò)來表示智能體，允許針對不同的圖像選擇不同的質(zhì)量權(quán)重。通過將??獎勵定義為顯著性檢測的精度，強化學(xué)習(xí)的目標(biāo)就變?yōu)榱俗畲蠡@著性物體檢??測累積的精度，這和顯著性評測的目標(biāo)也是一致的。深度強化學(xué)習(xí)中智能體與??環(huán)境交互的過程如圖２．１所不。??本章提出一種具有普適性（Ｇｅｎｅｒａｌ）的質(zhì)量預(yù)測網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以從不??同的傳感器中感知輸入數(shù)據(jù)的質(zhì)量，大致的網(wǎng)絡(luò)示意圖可參考圖２．２。具體來??說


本文編號：3367604