目標(biāo)檢測(cè)對(duì)物體進(jìn)行識(shí)別和定位,在視頻監(jiān)控、智能機(jī)器人、自動(dòng)駕駛等視覺應(yīng)用系統(tǒng)中承擔(dān)著對(duì)場(chǎng)景進(jìn)行基礎(chǔ)建模的重要作用。由于深度學(xué)習(xí)的引入,基于靜態(tài)圖像的目標(biāo)檢測(cè)算法有了性能上的大幅進(jìn)步。然而,在實(shí)際的應(yīng)用場(chǎng)景中,視覺系統(tǒng)的輸入通常是連續(xù)的視頻,而不是獨(dú)立的圖像。直接將靜態(tài)圖像目標(biāo)檢測(cè)算法應(yīng)用于視頻的每一幀,會(huì)出現(xiàn)以下問題:（1）視頻圖像質(zhì)量往往會(huì)由于運(yùn)動(dòng)模糊、尺度變化、目標(biāo)遮擋等原因出現(xiàn)較為明顯的下降,單幀圖像無法提供目標(biāo)的準(zhǔn)確信息;（2）視覺系統(tǒng)要求實(shí)時(shí)性,對(duì)每一幀都進(jìn)行特征計(jì)算,算法運(yùn)行速度無法達(dá)到要求;（3）視頻圖像具有時(shí)空一致性,每幀獨(dú)立檢測(cè)沒有充分利用時(shí)序信息。本論文研究基于特征傳播與融合的視頻目標(biāo)檢測(cè)算法。其中,特征融合模塊通過建模目標(biāo)的時(shí)空關(guān)系,提升了算法的檢測(cè)精度;特征傳播模塊通過利用相鄰圖像的冗余性,提升了算法的檢測(cè)速度。本論文的主要工作內(nèi)容和創(chuàng)新性成果包括以下三個(gè)方面:1.提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的視頻目標(biāo)檢測(cè)算法。循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶保留功能,可以提取視頻的時(shí)序信息。本算法對(duì)傳統(tǒng)的循環(huán)神經(jīng)單元進(jìn)行改進(jìn),用于圖像幀間的特征傳遞與聚合,完善當(dāng)前幀的特征表達(dá)。為了減輕運(yùn)動(dòng)... 

【文章來源】：浙江大學(xué)浙江省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：87 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

視頻目標(biāo)檢測(cè)的主要挑戰(zhàn)自2015年開始，國(guó)際計(jì)算機(jī)視覺競(jìng)賽ImageNetLargeScaleVisualRecognition

浙江大學(xué)碩士學(xué)位論文第1章緒論7圖1.2P-R曲線表1.1混淆矩陣真值10預(yù)測(cè)1TP（TruePositive）FP（FalsePositive）0FN（FalseNegative）TN（TrueNegative）=+（1.1）=+（1.2）準(zhǔn)確率針對(duì)預(yù)測(cè)而言，是預(yù)測(cè)正確的正樣本數(shù)目占預(yù)測(cè)正樣本數(shù)目的比例。召回率針對(duì)真值而言，是預(yù)測(cè)正確的正樣本數(shù)目占實(shí)際正樣本數(shù)目的比例。在預(yù)測(cè)的過程中，將檢測(cè)框預(yù)測(cè)為正還是負(fù)由指標(biāo)IoU（IntersectionoverUnion）決定。IoU表示預(yù)測(cè)框與真實(shí)框之間的重疊程度，具體為兩個(gè)框的交集和并集的比值，如圖1.3所示。當(dāng)IoU大于給定的閾值時(shí)（一般設(shè)為0.5），將該檢測(cè)框作為TP，否則，將該檢測(cè)框作為FP。需要說明的是，當(dāng)多個(gè)檢測(cè)框與同一個(gè)真實(shí)框的IoU大于閾值時(shí)，選擇IoU最大的檢測(cè)框作為TP，其他多余的檢測(cè)框作為FP。FN則定義為沒有檢測(cè)到的真實(shí)框的數(shù)量。

浙江大學(xué)碩士學(xué)位論文第1章緒論8圖1.3IoU計(jì)算方式給定了TP、FP、FN的計(jì)算方式，可以求得不同置信度閾值下的準(zhǔn)確率和召回率，從而繪制P-R曲線，求得單類別的AP，最后對(duì)所有類別的AP進(jìn)行平均，可以得到最終的評(píng)價(jià)指標(biāo)mAP。1.5論文的研究?jī)?nèi)容和貢獻(xiàn)本文研究基于特征傳播與融合的視頻目標(biāo)檢測(cè)算法。視頻中的目標(biāo)具有時(shí)空一致性，當(dāng)需要檢測(cè)的某一幀圖像質(zhì)量不佳時(shí)，可以通過視頻中的其他幀作為輔助幀提供補(bǔ)充信息。本文提出兩種幀間特征融合的方法，分別為基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）的特征融合方法和基于自注意力機(jī)制的特征融合方法。兩種方法都能有效提升視頻目標(biāo)檢測(cè)算法的精度，但密集的特征計(jì)算和聚合增大了計(jì)算負(fù)擔(dān)。利用視頻相鄰圖像幀的冗余性，本文進(jìn)一步將上述的視頻目標(biāo)檢測(cè)算法擴(kuò)展到區(qū)分關(guān)鍵幀和非關(guān)鍵幀的算法框架中。其中，關(guān)鍵幀進(jìn)行特征的提取與聚合，非關(guān)鍵幀則進(jìn)行特征的傳播，利用關(guān)鍵幀傳播而來的特征作為特征的模擬。由于特征傳播的計(jì)算量遠(yuǎn)遠(yuǎn)小于特征提取的計(jì)算量，算法的整體速度可以明顯提升。本文提出的視頻目標(biāo)檢測(cè)算法在滿足精度和速度平衡的同時(shí)，也滿足不依賴未來輸入的因果性要求。本文的主要?jiǎng)?chuàng)新點(diǎn)具體如下：1．提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的視頻目標(biāo)檢測(cè)算法。由于視頻目標(biāo)檢測(cè)常常會(huì)出現(xiàn)圖像質(zhì)量惡化的問題，直接將靜態(tài)圖像檢測(cè)器單獨(dú)應(yīng)用于視頻的每一幀，會(huì)出現(xiàn)較大程度的精度下降。本算法對(duì)傳統(tǒng)的循環(huán)神經(jīng)單元進(jìn)行改進(jìn)，用于圖像幀間的特征傳遞與聚合，從而完善當(dāng)前幀的特征表達(dá)。為了減輕相機(jī)或者目標(biāo)運(yùn)動(dòng)引起的位置偏移對(duì)聚合模塊帶來的影響，本算法利用光流進(jìn)行圖像幀間的特征對(duì)齊，光流的計(jì)算融入到網(wǎng)絡(luò)中，算法框架保持端到端結(jié)構(gòu)。本算法符合因果性的實(shí)際系統(tǒng)要求，即在對(duì)當(dāng)前?


本文編號(hào)：3334792