基于卷積神經(jīng)網(wǎng)絡(luò)壓縮的交通標(biāo)志識(shí)別算法
發(fā)布時(shí)間:2021-02-14 19:12
交通標(biāo)志識(shí)別是智能交通系統(tǒng)的重要功能之一,在無(wú)人駕駛、智能機(jī)器人等領(lǐng)域也具有廣泛的應(yīng)用。與一般的目標(biāo)識(shí)別相比,真實(shí)自然場(chǎng)景下的交通標(biāo)志易受光照、遮擋、天氣、拍攝角度和距離等因素影響,干擾到識(shí)別結(jié)果。傳統(tǒng)交通標(biāo)志識(shí)別方法采用手工特征,結(jié)合分類(lèi)器對(duì)交通標(biāo)志進(jìn)行識(shí)別,但手工特征的表達(dá)能力和魯棒性不夠理想。基于深度卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別算法可以從訓(xùn)練數(shù)據(jù)中實(shí)現(xiàn)無(wú)監(jiān)督地提取特征,但移動(dòng)計(jì)算設(shè)備很難滿足大型卷積神經(jīng)網(wǎng)絡(luò)對(duì)計(jì)算資源和存儲(chǔ)空間的需求。本文分析了目前一些深度網(wǎng)絡(luò)壓縮算法的優(yōu)缺點(diǎn),深入研究了卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)理論知識(shí),在現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型上進(jìn)行改進(jìn)并壓縮模型的參數(shù)量,提出了適用于部署在資源受限設(shè)備上進(jìn)行交通標(biāo)志識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu)。本文主要工作如下:(1)經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet和VGG16的參數(shù)量過(guò)多,難以移植到車(chē)載計(jì)算系統(tǒng)進(jìn)行交通標(biāo)志識(shí)別。首先在GTSRB數(shù)據(jù)集上挑選原始VGG16和AlexNet進(jìn)行交通標(biāo)志圖像分類(lèi)訓(xùn)練;接著對(duì)網(wǎng)絡(luò)模型進(jìn)行基于泰勒展開(kāi)的通道剪枝,裁剪冗余的特征通道;然后使用三值量化方法對(duì)剪枝后的網(wǎng)絡(luò)模型進(jìn)行參數(shù)量化;最后分別比較了通道剪枝、參數(shù)量化、組合壓...
【文章來(lái)源】:長(zhǎng)沙理工大學(xué)湖南省
【文章頁(yè)數(shù)】:67 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2.1?LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)圖??LeNet-5x?
野。感受野的概念源自于生物學(xué),卷積神經(jīng)網(wǎng)絡(luò)中,輸入空間里一個(gè)特定??特征的范圍區(qū)域也就是卷積操作的區(qū)域稱(chēng)為感受野。感受野越大,所對(duì)應(yīng)的輸入特征范??圍也就越大,更容易提取全局特征,包含的語(yǔ)義信息也就更多;感受野越小,特征中的??局部和細(xì)節(jié)信息更多。使用局部感受野時(shí),卷積神經(jīng)網(wǎng)絡(luò)的每一次卷積只與前一層的特??征圖進(jìn)行局部連接而不是全連接,局部連接能大幅度地減少網(wǎng)絡(luò)的參數(shù)量,緩解多層神??經(jīng)網(wǎng)絡(luò)過(guò)擬合問(wèn)題。??.?????????.????(a)全連接?(b)局部連接??圖2.2兩種連接方式??權(quán)值共享。假設(shè)圖2.2中交通標(biāo)志圖像的尺寸為100x100,神經(jīng)元的個(gè)數(shù)為1〇〇,則??全連接時(shí)參數(shù)總量為100x100x100即1〇6個(gè)參數(shù)。如果每個(gè)神經(jīng)元的感受野的區(qū)域大小??為10x10,則采用局部連接時(shí)參數(shù)總量為10x10x100即1〇4個(gè)參數(shù)。權(quán)值共享是指同一??個(gè)特征圖對(duì)應(yīng)的所有的卷積核參數(shù)都是相同的,從而卷積核能在不同的位置提取同一種??特征,假設(shè)卷積核的大小為10x10,采用權(quán)值共享時(shí)卷積核的偏置參數(shù)也是共享的,則??參數(shù)總量為10x10+1即102+1個(gè)參數(shù)。權(quán)值共享能使得卷積時(shí)只需要學(xué)習(xí)一個(gè)參數(shù)集??合,而不是對(duì)每個(gè)位置都學(xué)習(xí)一個(gè)單獨(dú)的參數(shù)集合,從而參數(shù)數(shù)目能大幅度地減少。??時(shí)間或空間亞采樣。在卷積神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為池化操作,也是一種特征映射的過(guò)程,??能夠保留輸入特征圖的主要特征同時(shí)降低圖像的維度,達(dá)到防止過(guò)擬合的效果。池化操??作通過(guò)使用滑動(dòng)窗口在輸入的特征圖上依據(jù)池化函數(shù)來(lái)實(shí)現(xiàn)對(duì)應(yīng)的降維方式,常使用的??有最大池化和平均池化。??第9頁(yè)??
?碩士學(xué)位論文???3?4?1??1?2?9?4?9??3?5?6?5?9??圖2.3最大池化操作示意圖??如圖2.3所示,假設(shè)最大池化的滑動(dòng)窗口大小為2x2,步長(zhǎng)為1,填充為0,則尺寸??為3x3的輸入特征圖池化后只保留滑動(dòng)窗口內(nèi)的最大值特征。池化操作的數(shù)學(xué)表達(dá)如公??式(;2.1)所示:??x!?=/?(w'id〇wn?(4')+H)?(2.i)??其中,x丨為第/層輸出的第/個(gè)特征圖,Z)/為偏置項(xiàng)(BiasTerm),w丨是對(duì)應(yīng)特征圖的??相關(guān)權(quán)重參數(shù),也定義為池化函數(shù),為激活函數(shù)常使用非線性函數(shù)如??ReLU[)7]、Sigmoid、Tanh?等。??2.1.2卷積操作??使用卷積操作的目的是提取輸入特征圖的局部特征,CNNs會(huì)隨機(jī)初始化卷積核的??參數(shù),在訓(xùn)練的過(guò)程中自動(dòng)學(xué)習(xí)并更新參數(shù)。在卷積層里每一個(gè)卷積核,都是由一個(gè)三??維權(quán)重矩陣和一個(gè)偏置項(xiàng)組成,與輸入的特征圖在同一個(gè)通道位置。特征圖尺寸與卷積??核大小的關(guān)系如公式(2.2)和(2.3)所示:??..y?wndth-?+?2padding?-?kernelSize?,?^??wldtK,r???—?+i?(2.2)??stride??heightm,?=?hei-ght…+?lpadding_kernelSize?+1?(2.3)??stride??其中,為邊界區(qū)域填充的像素個(gè)數(shù),對(duì)r/_也為卷積區(qū)域滑動(dòng)的步長(zhǎng)。??圖像中所包含的信息具有固定的特性,即使是圖像中的某一小部分,其蘊(yùn)含的特征??與其他相同部分所蘊(yùn)含的特征是相同的,因此對(duì)于圖像的所有位置,能夠通過(guò)同一卷積??核來(lái)學(xué)習(xí)到同類(lèi)特征。卷積操作的數(shù)學(xué)表達(dá)如公式
【參考文獻(xiàn)】:
期刊論文
[1]一種基于單目視覺(jué)的前方車(chē)輛檢測(cè)算法[J]. 陳高攀,徐美華,王琪,郭愛(ài)英. 上海大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(01)
[2]改進(jìn)特征與GPU加速的行人檢測(cè)[J]. 齊美彬,李佶,蔣建國(guó),王慈淳. 中國(guó)圖象圖形學(xué)報(bào). 2018(08)
[3]基于高斯顏色模型和SVM的交通標(biāo)志檢測(cè)[J]. 常發(fā)亮,黃翠,劉成云,趙永國(guó),馬傳峰. 儀器儀表學(xué)報(bào). 2014(01)
本文編號(hào):3033710
【文章來(lái)源】:長(zhǎng)沙理工大學(xué)湖南省
【文章頁(yè)數(shù)】:67 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2.1?LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)圖??LeNet-5x?
野。感受野的概念源自于生物學(xué),卷積神經(jīng)網(wǎng)絡(luò)中,輸入空間里一個(gè)特定??特征的范圍區(qū)域也就是卷積操作的區(qū)域稱(chēng)為感受野。感受野越大,所對(duì)應(yīng)的輸入特征范??圍也就越大,更容易提取全局特征,包含的語(yǔ)義信息也就更多;感受野越小,特征中的??局部和細(xì)節(jié)信息更多。使用局部感受野時(shí),卷積神經(jīng)網(wǎng)絡(luò)的每一次卷積只與前一層的特??征圖進(jìn)行局部連接而不是全連接,局部連接能大幅度地減少網(wǎng)絡(luò)的參數(shù)量,緩解多層神??經(jīng)網(wǎng)絡(luò)過(guò)擬合問(wèn)題。??.?????????.????(a)全連接?(b)局部連接??圖2.2兩種連接方式??權(quán)值共享。假設(shè)圖2.2中交通標(biāo)志圖像的尺寸為100x100,神經(jīng)元的個(gè)數(shù)為1〇〇,則??全連接時(shí)參數(shù)總量為100x100x100即1〇6個(gè)參數(shù)。如果每個(gè)神經(jīng)元的感受野的區(qū)域大小??為10x10,則采用局部連接時(shí)參數(shù)總量為10x10x100即1〇4個(gè)參數(shù)。權(quán)值共享是指同一??個(gè)特征圖對(duì)應(yīng)的所有的卷積核參數(shù)都是相同的,從而卷積核能在不同的位置提取同一種??特征,假設(shè)卷積核的大小為10x10,采用權(quán)值共享時(shí)卷積核的偏置參數(shù)也是共享的,則??參數(shù)總量為10x10+1即102+1個(gè)參數(shù)。權(quán)值共享能使得卷積時(shí)只需要學(xué)習(xí)一個(gè)參數(shù)集??合,而不是對(duì)每個(gè)位置都學(xué)習(xí)一個(gè)單獨(dú)的參數(shù)集合,從而參數(shù)數(shù)目能大幅度地減少。??時(shí)間或空間亞采樣。在卷積神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為池化操作,也是一種特征映射的過(guò)程,??能夠保留輸入特征圖的主要特征同時(shí)降低圖像的維度,達(dá)到防止過(guò)擬合的效果。池化操??作通過(guò)使用滑動(dòng)窗口在輸入的特征圖上依據(jù)池化函數(shù)來(lái)實(shí)現(xiàn)對(duì)應(yīng)的降維方式,常使用的??有最大池化和平均池化。??第9頁(yè)??
?碩士學(xué)位論文???3?4?1??1?2?9?4?9??3?5?6?5?9??圖2.3最大池化操作示意圖??如圖2.3所示,假設(shè)最大池化的滑動(dòng)窗口大小為2x2,步長(zhǎng)為1,填充為0,則尺寸??為3x3的輸入特征圖池化后只保留滑動(dòng)窗口內(nèi)的最大值特征。池化操作的數(shù)學(xué)表達(dá)如公??式(;2.1)所示:??x!?=/?(w'id〇wn?(4')+H)?(2.i)??其中,x丨為第/層輸出的第/個(gè)特征圖,Z)/為偏置項(xiàng)(BiasTerm),w丨是對(duì)應(yīng)特征圖的??相關(guān)權(quán)重參數(shù),也定義為池化函數(shù),為激活函數(shù)常使用非線性函數(shù)如??ReLU[)7]、Sigmoid、Tanh?等。??2.1.2卷積操作??使用卷積操作的目的是提取輸入特征圖的局部特征,CNNs會(huì)隨機(jī)初始化卷積核的??參數(shù),在訓(xùn)練的過(guò)程中自動(dòng)學(xué)習(xí)并更新參數(shù)。在卷積層里每一個(gè)卷積核,都是由一個(gè)三??維權(quán)重矩陣和一個(gè)偏置項(xiàng)組成,與輸入的特征圖在同一個(gè)通道位置。特征圖尺寸與卷積??核大小的關(guān)系如公式(2.2)和(2.3)所示:??..y?wndth-?+?2padding?-?kernelSize?,?^??wldtK,r???—?+i?(2.2)??stride??heightm,?=?hei-ght…+?lpadding_kernelSize?+1?(2.3)??stride??其中,為邊界區(qū)域填充的像素個(gè)數(shù),對(duì)r/_也為卷積區(qū)域滑動(dòng)的步長(zhǎng)。??圖像中所包含的信息具有固定的特性,即使是圖像中的某一小部分,其蘊(yùn)含的特征??與其他相同部分所蘊(yùn)含的特征是相同的,因此對(duì)于圖像的所有位置,能夠通過(guò)同一卷積??核來(lái)學(xué)習(xí)到同類(lèi)特征。卷積操作的數(shù)學(xué)表達(dá)如公式
【參考文獻(xiàn)】:
期刊論文
[1]一種基于單目視覺(jué)的前方車(chē)輛檢測(cè)算法[J]. 陳高攀,徐美華,王琪,郭愛(ài)英. 上海大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(01)
[2]改進(jìn)特征與GPU加速的行人檢測(cè)[J]. 齊美彬,李佶,蔣建國(guó),王慈淳. 中國(guó)圖象圖形學(xué)報(bào). 2018(08)
[3]基于高斯顏色模型和SVM的交通標(biāo)志檢測(cè)[J]. 常發(fā)亮,黃翠,劉成云,趙永國(guó),馬傳峰. 儀器儀表學(xué)報(bào). 2014(01)
本文編號(hào):3033710
本文鏈接:http://sikaile.net/kejilunwen/qiche/3033710.html
最近更新
教材專(zhuān)著