復(fù)雜交通場(chǎng)景下的視頻目標(biāo)檢測(cè)
發(fā)布時(shí)間:2021-11-25 12:03
計(jì)算機(jī)視覺(jué)作為一個(gè)熱門(mén)的研究方向,隨著卷積神經(jīng)網(wǎng)絡(luò)的興起,在工業(yè)化生產(chǎn)和日常生活中得到了更加廣泛的應(yīng)用。其中,視頻目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)的重要分支,近些年來(lái)得到了極大的發(fā)展,在智能交通領(lǐng)域中扮演著極其重要的角色。目前大多數(shù)目標(biāo)檢測(cè)算法能夠在常規(guī)的環(huán)境中很好地將目標(biāo)檢測(cè)出來(lái),但是在復(fù)雜場(chǎng)景或極端條件下的魯棒性還有待提高。此外,視頻幀中遠(yuǎn)端目標(biāo)在特征圖上的響應(yīng)特別低,極大地限制了常規(guī)檢測(cè)算法的性能。同時(shí),由于現(xiàn)在大部分的視頻目標(biāo)檢測(cè)算法過(guò)于復(fù)雜,導(dǎo)致推理速度慢,無(wú)法實(shí)現(xiàn)實(shí)時(shí)檢測(cè),難以應(yīng)用到實(shí)際生活中。因此,實(shí)現(xiàn)復(fù)雜場(chǎng)景下的視頻目標(biāo)檢測(cè)是熱點(diǎn)也是難點(diǎn)。針對(duì)以上問(wèn)題,本文從視頻目標(biāo)檢測(cè)的精度與速度兩個(gè)方面展開(kāi)研究,主要方法如下:(1)針對(duì)復(fù)雜交通場(chǎng)景下視頻幀中遠(yuǎn)端目標(biāo)易與背景融合導(dǎo)致檢測(cè)精度不佳的問(wèn)題,本文將傳統(tǒng)運(yùn)動(dòng)目標(biāo)檢測(cè)與主流卷積網(wǎng)絡(luò)檢測(cè)算法相結(jié)合,提出了一種由外觀流和運(yùn)動(dòng)流組成的雙流視頻目標(biāo)檢測(cè)框架,分別挖掘目標(biāo)的外觀信息與運(yùn)動(dòng)信息。與此同時(shí),為了解決因遮擋或運(yùn)動(dòng)模糊造成的目標(biāo)在隨后幀中丟失的問(wèn)題,本文引入一個(gè)循環(huán)注意力模塊來(lái)捕獲相鄰視頻幀中的時(shí)空相關(guān)性。在雙流網(wǎng)絡(luò)中,本文利用主流的檢測(cè)...
【文章來(lái)源】:安徽大學(xué)安徽省 211工程院校
【文章頁(yè)數(shù)】:66 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
R-CNN檢測(cè)框架
第二章相關(guān)算法介紹10從圖中可以看出FastR-CNN與R-CNN的三個(gè)不同之處,第一便是FastR-CNN將整張圖送入卷積網(wǎng)絡(luò),而不是像R-CNN部分送入;第二是使用Roipooling層輸出固定大小的特征;第三是使用了多任務(wù)損失函數(shù),結(jié)合了分類(lèi)損失函數(shù)與邊框回歸損失函數(shù)。因此,本節(jié)就從以上FastR-CNN的三個(gè)改進(jìn)做出詳細(xì)介紹。卷積神經(jīng)網(wǎng)絡(luò)采用選擇性搜索提取了2000個(gè)左右的候選框,并且對(duì)所有的候選框?qū)?yīng)的圖像區(qū)域進(jìn)行卷積計(jì)算。由于存在許多冗余候選框,消耗了過(guò)多計(jì)算資源,因此FastR-CNN采取的做法是對(duì)原始的整個(gè)圖像進(jìn)行一次卷積操作,得益于選擇性搜索框建立在原圖上,可以直接按照比例找到其對(duì)應(yīng)的特征圖,去除了特征圖的重復(fù)提取,從而節(jié)約了運(yùn)算時(shí)間。FastR-CNN在卷積層后添加Roipooling層的目的是使輸入的圖片不被尺寸限制。AlexNet在提取特征時(shí)對(duì)輸入的圖片大小無(wú)限制,只不過(guò)是對(duì)提取后的特征圖進(jìn)行全連接操作時(shí)需要固定尺寸。因此,F(xiàn)astR-CNN在輸入任意尺寸的圖片后,只需在全連接操作之前加入Roipooling層,將候選框?qū)?yīng)的特征圖池化到H*W大小,隨后對(duì)每個(gè)小窗口進(jìn)行最大值池化,在每個(gè)小窗口中的值取最大保留下來(lái)。如此一來(lái),不論輸入的圖像是怎么樣的尺寸,Roipooling層都能將其轉(zhuǎn)化成固定的H*W大小,各個(gè)候選框?qū)?yīng)的特征圖都能以同一大小進(jìn)入下一層。R-CNN分別對(duì)卷積計(jì)算、候選框的分類(lèi)與回歸進(jìn)行處理,使得訓(xùn)練過(guò)程變得復(fù)雜,因此FastR-CNN替換了R-CNN中的SVM分類(lèi)器為Softmax。同時(shí)為了融合多個(gè)訓(xùn)練步驟,F(xiàn)astR-CNN使用多任務(wù)損失函數(shù),同時(shí)優(yōu)化分類(lèi)與回歸。這樣FastR-CNN變圖2.2FastR-CNN檢測(cè)框架Fig.2.2FastR-CNNDetectionFramework
第二章相關(guān)算法介紹12使用候選區(qū)域網(wǎng)絡(luò)的特征,因此候選框的生成幾乎是零成本。相比于FastR-CNN,不論是在精度還是速度上都有明顯的提升。FasterR-CNN的檢測(cè)速度幾乎是FastR-CNN的15倍,其在VOC2007數(shù)據(jù)集上的精測(cè)精度達(dá)到了73.2%,相比于FastR-CNN也有著巨大的提升。2.2.4R-FCNFasterR-CNN在目標(biāo)檢測(cè)領(lǐng)域已經(jīng)取得了巨大成功,之后很多目標(biāo)檢測(cè)網(wǎng)絡(luò)大多都借助了FasterR-CNN的思想,但是在FasterR-CNN中卻存在分類(lèi)與定位敏感性沖突問(wèn)題。FasterR-CNN的整個(gè)檢測(cè)過(guò)程大致分為兩部分,第一部分利用分類(lèi)網(wǎng)絡(luò)提取基礎(chǔ)特征,第二部分是找出候選框?qū)?yīng)的特征圖進(jìn)行進(jìn)行分類(lèi)并修正位置。第一部分的提取基礎(chǔ)特征的分類(lèi)網(wǎng)絡(luò)例如Vgg[16]、ResNet[17]等,要求是不論物體出現(xiàn)在哪個(gè)位置都能對(duì)其做出準(zhǔn)確分類(lèi),因此目標(biāo)分類(lèi)網(wǎng)絡(luò)具有方位不敏感性。而在第二部分的網(wǎng)絡(luò)中,希望不論是什么物體都能在圖像中找出其準(zhǔn)確位置,因此檢測(cè)網(wǎng)絡(luò)具有目標(biāo)不敏感性。為了緩和敏感性沖突問(wèn)題,R-FCN提出了位置敏感得分圖(Position-SensitiveScoreMaps)。圖2.3FasterR-CNN檢測(cè)框架Fig.2.3FasterR-CNNDetectionFramework
【參考文獻(xiàn)】:
期刊論文
[1]一種基于背景減除與三幀差分的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J]. 莫林,廖鵬,劉勛. 微計(jì)算機(jī)信息. 2009(12)
[2]基于幀間差分方法的道路車(chē)輛檢測(cè)系統(tǒng)[J]. 崔星,閆清東. 微計(jì)算機(jī)信息. 2007(10)
本文編號(hào):3518101
【文章來(lái)源】:安徽大學(xué)安徽省 211工程院校
【文章頁(yè)數(shù)】:66 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
R-CNN檢測(cè)框架
第二章相關(guān)算法介紹10從圖中可以看出FastR-CNN與R-CNN的三個(gè)不同之處,第一便是FastR-CNN將整張圖送入卷積網(wǎng)絡(luò),而不是像R-CNN部分送入;第二是使用Roipooling層輸出固定大小的特征;第三是使用了多任務(wù)損失函數(shù),結(jié)合了分類(lèi)損失函數(shù)與邊框回歸損失函數(shù)。因此,本節(jié)就從以上FastR-CNN的三個(gè)改進(jìn)做出詳細(xì)介紹。卷積神經(jīng)網(wǎng)絡(luò)采用選擇性搜索提取了2000個(gè)左右的候選框,并且對(duì)所有的候選框?qū)?yīng)的圖像區(qū)域進(jìn)行卷積計(jì)算。由于存在許多冗余候選框,消耗了過(guò)多計(jì)算資源,因此FastR-CNN采取的做法是對(duì)原始的整個(gè)圖像進(jìn)行一次卷積操作,得益于選擇性搜索框建立在原圖上,可以直接按照比例找到其對(duì)應(yīng)的特征圖,去除了特征圖的重復(fù)提取,從而節(jié)約了運(yùn)算時(shí)間。FastR-CNN在卷積層后添加Roipooling層的目的是使輸入的圖片不被尺寸限制。AlexNet在提取特征時(shí)對(duì)輸入的圖片大小無(wú)限制,只不過(guò)是對(duì)提取后的特征圖進(jìn)行全連接操作時(shí)需要固定尺寸。因此,F(xiàn)astR-CNN在輸入任意尺寸的圖片后,只需在全連接操作之前加入Roipooling層,將候選框?qū)?yīng)的特征圖池化到H*W大小,隨后對(duì)每個(gè)小窗口進(jìn)行最大值池化,在每個(gè)小窗口中的值取最大保留下來(lái)。如此一來(lái),不論輸入的圖像是怎么樣的尺寸,Roipooling層都能將其轉(zhuǎn)化成固定的H*W大小,各個(gè)候選框?qū)?yīng)的特征圖都能以同一大小進(jìn)入下一層。R-CNN分別對(duì)卷積計(jì)算、候選框的分類(lèi)與回歸進(jìn)行處理,使得訓(xùn)練過(guò)程變得復(fù)雜,因此FastR-CNN替換了R-CNN中的SVM分類(lèi)器為Softmax。同時(shí)為了融合多個(gè)訓(xùn)練步驟,F(xiàn)astR-CNN使用多任務(wù)損失函數(shù),同時(shí)優(yōu)化分類(lèi)與回歸。這樣FastR-CNN變圖2.2FastR-CNN檢測(cè)框架Fig.2.2FastR-CNNDetectionFramework
第二章相關(guān)算法介紹12使用候選區(qū)域網(wǎng)絡(luò)的特征,因此候選框的生成幾乎是零成本。相比于FastR-CNN,不論是在精度還是速度上都有明顯的提升。FasterR-CNN的檢測(cè)速度幾乎是FastR-CNN的15倍,其在VOC2007數(shù)據(jù)集上的精測(cè)精度達(dá)到了73.2%,相比于FastR-CNN也有著巨大的提升。2.2.4R-FCNFasterR-CNN在目標(biāo)檢測(cè)領(lǐng)域已經(jīng)取得了巨大成功,之后很多目標(biāo)檢測(cè)網(wǎng)絡(luò)大多都借助了FasterR-CNN的思想,但是在FasterR-CNN中卻存在分類(lèi)與定位敏感性沖突問(wèn)題。FasterR-CNN的整個(gè)檢測(cè)過(guò)程大致分為兩部分,第一部分利用分類(lèi)網(wǎng)絡(luò)提取基礎(chǔ)特征,第二部分是找出候選框?qū)?yīng)的特征圖進(jìn)行進(jìn)行分類(lèi)并修正位置。第一部分的提取基礎(chǔ)特征的分類(lèi)網(wǎng)絡(luò)例如Vgg[16]、ResNet[17]等,要求是不論物體出現(xiàn)在哪個(gè)位置都能對(duì)其做出準(zhǔn)確分類(lèi),因此目標(biāo)分類(lèi)網(wǎng)絡(luò)具有方位不敏感性。而在第二部分的網(wǎng)絡(luò)中,希望不論是什么物體都能在圖像中找出其準(zhǔn)確位置,因此檢測(cè)網(wǎng)絡(luò)具有目標(biāo)不敏感性。為了緩和敏感性沖突問(wèn)題,R-FCN提出了位置敏感得分圖(Position-SensitiveScoreMaps)。圖2.3FasterR-CNN檢測(cè)框架Fig.2.3FasterR-CNNDetectionFramework
【參考文獻(xiàn)】:
期刊論文
[1]一種基于背景減除與三幀差分的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J]. 莫林,廖鵬,劉勛. 微計(jì)算機(jī)信息. 2009(12)
[2]基于幀間差分方法的道路車(chē)輛檢測(cè)系統(tǒng)[J]. 崔星,閆清東. 微計(jì)算機(jī)信息. 2007(10)
本文編號(hào):3518101
本文鏈接:http://sikaile.net/kejilunwen/daoluqiaoliang/3518101.html
最近更新
教材專著