視頻是當(dāng)今社交媒體中最常見的內(nèi)容之一,近年來隨著短視頻平臺的興起,日常視頻數(shù)據(jù)的生成量呈現(xiàn)出爆炸式增長的趨勢,這給計算機視覺系統(tǒng)提出了更高的信息處理要求。而對于人類視覺系統(tǒng)而言,實時高效地處理視覺信息是其與生俱來的能力,原因在于該系統(tǒng)存在一種注意機制,這種機制可以從人眼獲取的大量視覺信息中篩選出最主要的一部分并將其分配給大腦優(yōu)先處理,從而實現(xiàn)從視覺感知到理解的高速響應(yīng)。視覺顯著性預(yù)測則是通過計算機技術(shù)模擬人類視覺系統(tǒng)的這種注意機制來達(dá)到高效處理大量視覺信息的效果,具體到處理數(shù)字圖像和視頻的任務(wù)上,即為檢測出圖像或視頻幀中最引人注目的區(qū)域,生成顯著性圖或序列。目前,圖像顯著性預(yù)測已發(fā)展得相當(dāng)成熟,特別是深度學(xué)習(xí)技術(shù)的高速發(fā)展更是為其帶來巨大的性能提升。相比而言,視頻顯著性預(yù)測的研究起步較晚,且由于視頻存在目標(biāo)運動、場景轉(zhuǎn)換、計算復(fù)雜度高等特性,使得視頻顯著性預(yù)測更具挑戰(zhàn)性。實際地,在對視頻顯著性建模時往往需要額外獲取視頻數(shù)據(jù)的時間特征,如何增強時間特征的魯棒性并有機地進行時空特征融合?這仍需進一步探索。本文的研究即著眼于這一頗具挑戰(zhàn)性的問題,通過結(jié)合前沿深度學(xué)習(xí)技術(shù)的應(yīng)用來探討視頻顯著性... 

【文章來源】：深圳大學(xué)廣東省

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【部分圖文】：

視覺顯著性預(yù)測的輸入和輸出示意圖

基于深度神經(jīng)網(wǎng)絡(luò)的視頻顯著性預(yù)測研究5的時空特征經(jīng)過一系列上采樣層解碼為高分辨率的特征圖。該類方法與上述兩類方法的主要區(qū)別在于其不存在顯式的特征融合過程，利用3DCNN直接對視頻數(shù)據(jù)獲取更加豐富的時空特征。主流的基于深度學(xué)習(xí)的視頻顯著性預(yù)測方法能夠通過大量的訓(xùn)練數(shù)據(jù)學(xué)習(xí)相對統(tǒng)一高效的規(guī)律，但仍存在諸多不足，如未考慮多尺度特征、局部時空顯著性對檢測精度的貢獻，存在特征融合過程增加了網(wǎng)絡(luò)模型復(fù)雜度，幀間信息學(xué)習(xí)不充分，空間特征優(yōu)化不精確等。此外，在文獻[26,29]中利用長短期記憶模型獲取當(dāng)前視頻幀的時間顯著性時只考慮上一視頻幀的記憶隱藏狀態(tài)，這將帶來記憶壓縮問題，制約了顯著性預(yù)測精度的進一步提升。1.3本文創(chuàng)新點及章節(jié)安排圖1-2本文內(nèi)容框架圖針對上述視頻顯著性預(yù)測的主流深度學(xué)習(xí)模型存在的不足，本文主要提出兩個創(chuàng)新點，即兩個基于深度學(xué)習(xí)的視頻顯著性預(yù)測方法：（1）局部與長期時空特征增強的視頻顯著性預(yù)測網(wǎng)絡(luò)。針對現(xiàn)有模型存在未考慮多尺度特征、局部時空顯著性對檢測精度的貢獻及長短期記憶模型的記憶壓縮問題，本文提出一種基于多尺度特征策略和注意力長短期記憶模型的顯著性預(yù)測網(wǎng)絡(luò)。該網(wǎng)絡(luò)是一種編碼-解碼網(wǎng)絡(luò)，在編碼端利用側(cè)輸出提取多尺度的空間特征并傳遞到解碼端生成融

梯度消失問題，并以此構(gòu)造了ResNet網(wǎng)絡(luò)，其最深可達(dá)152層。ResNet網(wǎng)絡(luò)可謂是目前CNN中最負(fù)盛名的一員了，其憑借創(chuàng)造性的結(jié)構(gòu)和充分的深度優(yōu)勢，成為計算機視覺各領(lǐng)域最受歡迎的骨架網(wǎng)絡(luò)。2017年，Huang等人[41]提出了DenseNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)在ResNet的基礎(chǔ)上加入特征密集連接及復(fù)用等模塊，進一步提升了CNN的性能。2017年以后鮮有經(jīng)典網(wǎng)絡(luò)框架被提出，研究者們開始從網(wǎng)絡(luò)模塊、訓(xùn)練策略、損失函數(shù)、可解釋性等多種性能提升角度展開研究，接下來將以特征金字塔網(wǎng)絡(luò)[42]為例闡述與本文研究內(nèi)容相關(guān)的多尺度特征策略。圖2-1特征金字塔網(wǎng)絡(luò)框架圖多尺度特征策略在深度神經(jīng)網(wǎng)絡(luò)中是通過獲取不同尺度的特征圖并加以融合來實現(xiàn)的，特征金字塔網(wǎng)絡(luò)（featurepyramidnetwork，F(xiàn)PN）是這一實現(xiàn)方式的典型代表。如圖2-1所示，F(xiàn)PN由一系列的卷積層和反卷積層組成，箭頭指示了網(wǎng)絡(luò)所獲取特征的傳遞方向，可以看到特征既有縱向傳遞也有橫向傳遞�？v向傳遞貫穿的是獲取輸入圖像的特征所經(jīng)歷的下采樣到上采樣的過程；橫向傳遞則是多尺度特征策略的體現(xiàn)，主要做法是在下采樣過程中根據(jù)當(dāng)前層特征圖的尺寸加入來自上采樣階段相同尺寸的特征圖，目的是在網(wǎng)絡(luò)深層也能將淺層特征考慮進來，這樣可以使得部分小物體在網(wǎng)絡(luò)深層也能有特征響應(yīng)，因為淺層特征往往包含了物體的位置信息等有價值的特征。因此，這一結(jié)構(gòu)

【參考文獻】：
期刊論文
[1]視頻顯著性檢測研究進展[J]. 叢潤民,雷建軍,付華柱,王文冠,黃慶明,牛力杰.  軟件學(xué)報. 2018(08)

博士論文
[1]視覺顯著性檢測方法與應(yīng)用研究[D]. 黃侃.中國科學(xué)院大學(xué)(中國科學(xué)院上海技術(shù)物理研究所) 2017

碩士論文
[1]面向弱監(jiān)督學(xué)習(xí)的循環(huán)注意力關(guān)鍵算法的研究[D]. 王立群.南京信息工程大學(xué) 2019



本文編號：3493712