近年來,卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）已然成為了計(jì)算機(jī)視覺領(lǐng)域的主要方法,相比傳統(tǒng)算法取得了突破性的進(jìn)展。然而,卷積神經(jīng)網(wǎng)絡(luò)往往擁有巨大的參數(shù)量和計(jì)算量,限制了其在嵌入式等“邊緣”設(shè)備上應(yīng)用的問題。本論文中,針對(duì)卷積神經(jīng)網(wǎng)絡(luò)計(jì)算量大和參數(shù)冗余的問題,以目標(biāo)檢測(cè)算法（Faster RCNN）為研究模型進(jìn)行壓縮,提出基于統(tǒng)計(jì)量聚類的剪枝方法,同時(shí)結(jié)合張量分解的方法對(duì)模型進(jìn)行壓縮,分析了秩的選取對(duì)混合壓縮效果的影響,本文研究?jī)?nèi)容主要包括:（1）針對(duì)Faster RCNN算法在PASCAL VOC數(shù)據(jù)集檢測(cè)精度改進(jìn),以提高在目標(biāo)大小差異較大的類別物體召回率,本文提出了多尺度區(qū)域生成網(wǎng)絡(luò),增強(qiáng)了每個(gè)錨框中的前景特征信息,提高了算法的候選框生成質(zhì)量和檢測(cè)精度。（2）針對(duì)卷積神經(jīng)網(wǎng)絡(luò)計(jì)算量大和參數(shù)冗余的問題,本文研究了基于統(tǒng)計(jì)量聚類的結(jié)構(gòu)化剪枝方法,對(duì)剪枝而言,一個(gè)關(guān)鍵性但目前仍沒有解決的問題是參數(shù)的“相對(duì)重要性”評(píng)價(jià),它對(duì)剪枝后的模型性能有著決定性影響,首先,分析了Faster RCNN模型每層卷積核在均值、方差上的分布,通過聚類的方式把每個(gè)卷積核... 

【文章來源】：北方民族大學(xué)寧夏回族自治區(qū)

【文章頁數(shù)】：58 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

傳統(tǒng)卷積層結(jié)構(gòu)設(shè)計(jì)示意圖

北方民族大學(xué)2020屆碩士學(xué)位論文第二章相關(guān)工作-7-圖2-1傳統(tǒng)卷積層結(jié)構(gòu)設(shè)計(jì)示意圖提升網(wǎng)絡(luò)性能的方法有很多，例如硬件升級(jí)、大規(guī)模數(shù)據(jù)集等。設(shè)計(jì)模型過程中提高網(wǎng)絡(luò)性能最直接的方法就是增加卷積層輸出通道，然而，這種方法會(huì)帶來以下兩個(gè)不足之處：a)容易發(fā)生過擬合。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)深度和寬度不斷增加的時(shí)候，網(wǎng)絡(luò)學(xué)習(xí)的參數(shù)量也不斷增加，巨大的參數(shù)量容易在訓(xùn)練集發(fā)生過擬合。b)均勻地增加網(wǎng)絡(luò)的大小，會(huì)導(dǎo)致計(jì)算量的加大。因此，解決上述不足的方法是引入稀疏特性，依據(jù)此想法產(chǎn)生了Inception結(jié)構(gòu)。圖2-2展示了具有Inception模塊的網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)首先用一個(gè)1×1的卷積核，和1×1并行的其他通道又增加了三種卷積核，最后所有通道的特征圖融合在一起。Googlenet通過融合Inception模塊構(gòu)造的深度卷積網(wǎng)絡(luò)，在ImageNet數(shù)據(jù)集取得了極佳的識(shí)別精度。圖2-2Inception模塊卷積層結(jié)構(gòu)設(shè)計(jì)示意圖在不斷增加卷積神經(jīng)網(wǎng)絡(luò)的深度時(shí)，網(wǎng)絡(luò)會(huì)出現(xiàn)性能退化問題，網(wǎng)絡(luò)模型準(zhǔn)確率先上升最后達(dá)到最大值后，再增加網(wǎng)絡(luò)深度準(zhǔn)確率反而下降，然而，這個(gè)問題不是普通的過擬合現(xiàn)

北方民族大學(xué)2020屆碩士學(xué)位論文第二章相關(guān)工作-8-象，因?yàn)榫W(wǎng)絡(luò)模型不止在測(cè)試集上誤差增大。為了解決這種網(wǎng)絡(luò)退化和梯度消失的問題，何凱明等人提出了深度殘差網(wǎng)絡(luò)，如圖2-3所示，帶有殘差結(jié)構(gòu)的網(wǎng)絡(luò)模型，融入殘差結(jié)構(gòu)的卷積網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)為H(x)-x，這個(gè)結(jié)構(gòu)能夠很好的解決網(wǎng)絡(luò)退化問題，理論上可以融入任意卷積網(wǎng)絡(luò)。圖2-3殘差結(jié)構(gòu)設(shè)計(jì)示意圖2.3深度卷積網(wǎng)絡(luò)的正則化方法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時(shí)，使用復(fù)雜的模型來擬合復(fù)雜的數(shù)據(jù)集時(shí)，泛化誤差與模型容量的一般關(guān)系如圖2-4。過擬合的原因通常是因?yàn)閿?shù)據(jù)中存在噪聲使得模型在訓(xùn)練過程中學(xué)習(xí)了噪聲特征，正則化方法是常用的減少過擬合的方式之一，廣泛應(yīng)用于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中，它可以改善過擬合問題，降低結(jié)構(gòu)風(fēng)險(xiǎn)，提高模型的泛化能力，以下介紹幾種訓(xùn)練神經(jīng)網(wǎng)絡(luò)常用的正則化方法：

【參考文獻(xiàn)】：
期刊論文
[1]基于Adaboost算法的日間前方車輛檢測(cè)[J]. 金立生,王巖,劉景華,王亞麗,鄭義.  吉林大學(xué)學(xué)報(bào)(工學(xué)版). 2014(06)
[2]基于HOG特征和SVM的前向車輛識(shí)別方法[J]. 李星,郭曉松,郭君斌.  計(jì)算機(jī)科學(xué). 2013(S2)

碩士論文
[1]基于HOG特征的車輛檢測(cè)技術(shù)研究[D]. 馬蓓蓓.華南理工大學(xué) 2015



本文編號(hào)：3470003