卷積神經(jīng)網(wǎng)絡(luò)在多路網(wǎng)絡(luò)視頻流車牌識別中的研究及應(yīng)用
發(fā)布時間:2022-01-27 11:13
隨著社會的快速發(fā)展與人們生活水平的顯著提高,汽車擁有量日益劇增,為保障公民的安全出行以及方便對道路車流的監(jiān)管,市場上已經(jīng)構(gòu)建了強大的視頻監(jiān)控系統(tǒng)。然而對于能直接應(yīng)用于現(xiàn)存監(jiān)控視頻的車牌識別系統(tǒng)的研究相對較少,因此對于視頻流的車牌實時識別的研究具有一定的發(fā)展前景。本文應(yīng)用基于卷積神經(jīng)網(wǎng)絡(luò)的目標識別算法YOLO9000,設(shè)計了一套多路網(wǎng)絡(luò)視頻流的車牌智能識別系統(tǒng),可直接應(yīng)用于現(xiàn)有的城市監(jiān)控視頻中,對于收費系統(tǒng)、交通監(jiān)控、停車場管理等實際應(yīng)用有重大的實用價值。與傳統(tǒng)的車牌識別算法相比,本研究采用深度學(xué)習(xí)的方法減少了輸入圖像的預(yù)處理、字符特征提取等步驟,并且允許樣本數(shù)據(jù)存在一定程度的缺損,實現(xiàn)了多尺度圖像、小目標以及多目標的檢測。運用改進YOLO9000網(wǎng)絡(luò)模型可以同時實現(xiàn)車牌檢測與字符分割,具有良好的容錯、并行處理和自學(xué)習(xí)能力,對于應(yīng)用環(huán)境復(fù)雜多變的車牌識別問題更具優(yōu)勢,解決了傳統(tǒng)方法速度慢的問題。經(jīng)過測試,對于車牌檢測、字符分割以及字符識別的精度分別達到了98.9%、97.16%與97%,具有較好的識別效果。本文設(shè)計的車牌識別系統(tǒng),首先應(yīng)用VLC播放IP攝像頭分發(fā)的多路網(wǎng)絡(luò)視頻流,進行實時...
【文章來源】:深圳大學(xué)廣東省
【文章頁數(shù)】:59 頁
【學(xué)位級別】:碩士
【部分圖文】:
典型卷積神經(jīng)網(wǎng)絡(luò)圖
卷積神經(jīng)網(wǎng)絡(luò)在多路網(wǎng)絡(luò)視頻流車牌識別中的研究與應(yīng)用10圖2-3Softmax函數(shù)圖2.2.2R-CNN算法隨著基于卷積神經(jīng)網(wǎng)絡(luò)的目標識別算法的不斷發(fā)展優(yōu)化,目前運用最廣泛的目標識別算法為R-CNN、FasterR-CNN、SSD和YOLO四種。R-CNN[39][40][41]算法是進行目標檢測的第一個深度學(xué)習(xí)模型,是卷積神經(jīng)網(wǎng)絡(luò)在目標檢測領(lǐng)域開創(chuàng)式的應(yīng)用,在公開數(shù)據(jù)集VOC2012的應(yīng)用中將平均精度(meanaverageprecision,mAP)[42]提升了23.3%。R-CNN的實現(xiàn)分為候選區(qū)域分割(RegionProposals)、特征提取和分類三個階段。第一階段對每一張輸入圖片采用SelectiveSearch算法生成2000個左右的候選區(qū)域,采用合并超像素生成候選區(qū)域,降低了算法的復(fù)雜度;第二階段利用卷積神經(jīng)網(wǎng)絡(luò)提取目標圖像卷積特征,將上一階段生成的2000個左右候選區(qū)域歸一化處理為227*227像數(shù)的特征圖譜,再對每一個候選區(qū)域進行復(fù)雜的卷積計算,計算完畢之后將全連接層的輸出結(jié)果作為候選區(qū)域的特征信息;第三階段采用基于支持向量機的分類方法,根據(jù)特征將原始數(shù)據(jù)進行最大間隔的劃分,最終達到分類的預(yù)期效果。R-CNN對于每幀圖像的處理需要47s,處理速度無法滿足實時識別的需求。2.2.3FasterR-CNN算法FasterR-CNN[43][44][45]是基于R-CNN與FastR-CNN的優(yōu)化版,將原來的候選區(qū)域的支持向量機分類器改為Softmax分類器,把候選區(qū)域的提取集成到統(tǒng)一的網(wǎng)絡(luò)中,形成
卷積神經(jīng)網(wǎng)絡(luò)在多路網(wǎng)絡(luò)視頻流車牌識別中的研究與應(yīng)用11了特征提取與分類聯(lián)合訓(xùn)練的端到端的檢測模型。FasterR-CNN還采用SelectiveSearch算法生成候補區(qū)域,與R-CNN相比無需對每個候選區(qū)域進行同樣的卷積計算,每一幀圖像只完成一次卷積過程,通過特殊的映射方法將所有的候選區(qū)域映射為特征圖譜,減少了計算量。FasterR-CNN的輸出為分類結(jié)果與預(yù)測框的位置,這種端到端聯(lián)合訓(xùn)練模式不僅僅共享了輸入與參數(shù)而且加快了訓(xùn)練速度,并且FasterR-CNN避免了支持向量機分類器訓(xùn)練后產(chǎn)生的圖像形變,具有比R-CNN與FastR-CNN更好的識別效果。如果僅僅考慮識別的最終效果與準確度,F(xiàn)asterR-CNN完全滿足目標檢測精度的要求,但由于存在全連接層而導(dǎo)致檢測速度相對較慢,為了滿足交通監(jiān)管中對車牌實時檢測的需求,SSD與YOLO[46]在實時性上有更大的優(yōu)勢。2.2.4SSD算法SSD使用的VGG-16[47]的基礎(chǔ)網(wǎng)絡(luò)模型,其網(wǎng)絡(luò)框架設(shè)計是FasterR-CNN和YOLO兩框架的結(jié)合,SSD去掉了全連接層,與FasterR-CNN相比去掉比較耗時的RPN階段,處理速度獲得極大的提升。如圖2-4所示,SSD網(wǎng)絡(luò)結(jié)構(gòu)在conv8_2,conv9_2,conv_10_2,pool_11,conv4_3,conv_7上添加特征圖譜的檢測過程,將選取的特征圖譜分為m×n塊,利用AnchorBox機制在選取的特征圖譜上生成B個不同尺寸的候選區(qū)域,將不同層次的候選區(qū)域進行分類與回歸,最后通過非極大值抑制輸出最后的目標檢測區(qū)域。SSD算法的識別效果極度依賴BoundingBox的大小,導(dǎo)致在小物體目標檢測上精度不夠,究其原因是因為小物體在經(jīng)過多層卷積之后所保留的信息量很少。在實際應(yīng)用中,由于車牌信息的采集角度問題,導(dǎo)致分割后的字符尺度很小,所以SSD模型在車牌識別中處理此類現(xiàn)象效果不佳。圖2-4SSD網(wǎng)絡(luò)結(jié)構(gòu)圖
【參考文獻】:
期刊論文
[1]智慧城市要有自主成長性[J]. 仇保興. 建設(shè)科技. 2018(03)
[2]一種基于深度學(xué)習(xí)的新型小目標檢測方法[J]. 陳江昀. 計算機應(yīng)用與軟件. 2017(10)
[3]大數(shù)據(jù)背景下智能交通系統(tǒng)發(fā)展綜述[J]. 莊家榮. 農(nóng)家參謀. 2017(12)
[4]基于背景減除法的視頻序列運動目標檢測[J]. 劉仲民,何勝皎,胡文瑾,李戰(zhàn)明. 計算機應(yīng)用. 2017(06)
[5]車牌識別技術(shù)在智能交通中的應(yīng)用與發(fā)展趨勢[J]. 陳佳浩. 電子測試. 2017(04)
[6]基于模板匹配和局部HOG特征的車牌識別算法[J]. 高聰,王福龍. 計算機系統(tǒng)應(yīng)用. 2017(01)
[7]基于區(qū)域特征融合的RGBD顯著目標檢測[J]. 杜杰,吳謹,朱磊. 液晶與顯示. 2016(01)
[8]復(fù)雜背景中基于顏色及邊緣分布特征的車牌定位算法[J]. 馬明祥. 黑龍江科技信息. 2015(21)
[9]基于聯(lián)合直方圖的運動目標檢測算法[J]. 賈建英,董安國. 計算機工程與應(yīng)用. 2016(05)
[10]基于背景和幀間差分法的運動目標提取[J]. 熊英. 計算機時代. 2014(03)
碩士論文
[1]基于PCA和網(wǎng)格特征的車牌識別算法研究[D]. 王瑜.西安電子科技大學(xué) 2013
[2]車牌識別系統(tǒng)的相關(guān)算法研究與實現(xiàn)[D]. 劉同焰.華南理工大學(xué) 2012
[3]車牌自動識別系統(tǒng)中字符分割算法的研究與實現(xiàn)[D]. 殷松松.南京郵電大學(xué) 2012
[4]車牌識別系統(tǒng)設(shè)計及基于改進SVM的字符識別研究[D]. 鄭彬彬.廈門大學(xué) 2008
本文編號:3612378
【文章來源】:深圳大學(xué)廣東省
【文章頁數(shù)】:59 頁
【學(xué)位級別】:碩士
【部分圖文】:
典型卷積神經(jīng)網(wǎng)絡(luò)圖
卷積神經(jīng)網(wǎng)絡(luò)在多路網(wǎng)絡(luò)視頻流車牌識別中的研究與應(yīng)用10圖2-3Softmax函數(shù)圖2.2.2R-CNN算法隨著基于卷積神經(jīng)網(wǎng)絡(luò)的目標識別算法的不斷發(fā)展優(yōu)化,目前運用最廣泛的目標識別算法為R-CNN、FasterR-CNN、SSD和YOLO四種。R-CNN[39][40][41]算法是進行目標檢測的第一個深度學(xué)習(xí)模型,是卷積神經(jīng)網(wǎng)絡(luò)在目標檢測領(lǐng)域開創(chuàng)式的應(yīng)用,在公開數(shù)據(jù)集VOC2012的應(yīng)用中將平均精度(meanaverageprecision,mAP)[42]提升了23.3%。R-CNN的實現(xiàn)分為候選區(qū)域分割(RegionProposals)、特征提取和分類三個階段。第一階段對每一張輸入圖片采用SelectiveSearch算法生成2000個左右的候選區(qū)域,采用合并超像素生成候選區(qū)域,降低了算法的復(fù)雜度;第二階段利用卷積神經(jīng)網(wǎng)絡(luò)提取目標圖像卷積特征,將上一階段生成的2000個左右候選區(qū)域歸一化處理為227*227像數(shù)的特征圖譜,再對每一個候選區(qū)域進行復(fù)雜的卷積計算,計算完畢之后將全連接層的輸出結(jié)果作為候選區(qū)域的特征信息;第三階段采用基于支持向量機的分類方法,根據(jù)特征將原始數(shù)據(jù)進行最大間隔的劃分,最終達到分類的預(yù)期效果。R-CNN對于每幀圖像的處理需要47s,處理速度無法滿足實時識別的需求。2.2.3FasterR-CNN算法FasterR-CNN[43][44][45]是基于R-CNN與FastR-CNN的優(yōu)化版,將原來的候選區(qū)域的支持向量機分類器改為Softmax分類器,把候選區(qū)域的提取集成到統(tǒng)一的網(wǎng)絡(luò)中,形成
卷積神經(jīng)網(wǎng)絡(luò)在多路網(wǎng)絡(luò)視頻流車牌識別中的研究與應(yīng)用11了特征提取與分類聯(lián)合訓(xùn)練的端到端的檢測模型。FasterR-CNN還采用SelectiveSearch算法生成候補區(qū)域,與R-CNN相比無需對每個候選區(qū)域進行同樣的卷積計算,每一幀圖像只完成一次卷積過程,通過特殊的映射方法將所有的候選區(qū)域映射為特征圖譜,減少了計算量。FasterR-CNN的輸出為分類結(jié)果與預(yù)測框的位置,這種端到端聯(lián)合訓(xùn)練模式不僅僅共享了輸入與參數(shù)而且加快了訓(xùn)練速度,并且FasterR-CNN避免了支持向量機分類器訓(xùn)練后產(chǎn)生的圖像形變,具有比R-CNN與FastR-CNN更好的識別效果。如果僅僅考慮識別的最終效果與準確度,F(xiàn)asterR-CNN完全滿足目標檢測精度的要求,但由于存在全連接層而導(dǎo)致檢測速度相對較慢,為了滿足交通監(jiān)管中對車牌實時檢測的需求,SSD與YOLO[46]在實時性上有更大的優(yōu)勢。2.2.4SSD算法SSD使用的VGG-16[47]的基礎(chǔ)網(wǎng)絡(luò)模型,其網(wǎng)絡(luò)框架設(shè)計是FasterR-CNN和YOLO兩框架的結(jié)合,SSD去掉了全連接層,與FasterR-CNN相比去掉比較耗時的RPN階段,處理速度獲得極大的提升。如圖2-4所示,SSD網(wǎng)絡(luò)結(jié)構(gòu)在conv8_2,conv9_2,conv_10_2,pool_11,conv4_3,conv_7上添加特征圖譜的檢測過程,將選取的特征圖譜分為m×n塊,利用AnchorBox機制在選取的特征圖譜上生成B個不同尺寸的候選區(qū)域,將不同層次的候選區(qū)域進行分類與回歸,最后通過非極大值抑制輸出最后的目標檢測區(qū)域。SSD算法的識別效果極度依賴BoundingBox的大小,導(dǎo)致在小物體目標檢測上精度不夠,究其原因是因為小物體在經(jīng)過多層卷積之后所保留的信息量很少。在實際應(yīng)用中,由于車牌信息的采集角度問題,導(dǎo)致分割后的字符尺度很小,所以SSD模型在車牌識別中處理此類現(xiàn)象效果不佳。圖2-4SSD網(wǎng)絡(luò)結(jié)構(gòu)圖
【參考文獻】:
期刊論文
[1]智慧城市要有自主成長性[J]. 仇保興. 建設(shè)科技. 2018(03)
[2]一種基于深度學(xué)習(xí)的新型小目標檢測方法[J]. 陳江昀. 計算機應(yīng)用與軟件. 2017(10)
[3]大數(shù)據(jù)背景下智能交通系統(tǒng)發(fā)展綜述[J]. 莊家榮. 農(nóng)家參謀. 2017(12)
[4]基于背景減除法的視頻序列運動目標檢測[J]. 劉仲民,何勝皎,胡文瑾,李戰(zhàn)明. 計算機應(yīng)用. 2017(06)
[5]車牌識別技術(shù)在智能交通中的應(yīng)用與發(fā)展趨勢[J]. 陳佳浩. 電子測試. 2017(04)
[6]基于模板匹配和局部HOG特征的車牌識別算法[J]. 高聰,王福龍. 計算機系統(tǒng)應(yīng)用. 2017(01)
[7]基于區(qū)域特征融合的RGBD顯著目標檢測[J]. 杜杰,吳謹,朱磊. 液晶與顯示. 2016(01)
[8]復(fù)雜背景中基于顏色及邊緣分布特征的車牌定位算法[J]. 馬明祥. 黑龍江科技信息. 2015(21)
[9]基于聯(lián)合直方圖的運動目標檢測算法[J]. 賈建英,董安國. 計算機工程與應(yīng)用. 2016(05)
[10]基于背景和幀間差分法的運動目標提取[J]. 熊英. 計算機時代. 2014(03)
碩士論文
[1]基于PCA和網(wǎng)格特征的車牌識別算法研究[D]. 王瑜.西安電子科技大學(xué) 2013
[2]車牌識別系統(tǒng)的相關(guān)算法研究與實現(xiàn)[D]. 劉同焰.華南理工大學(xué) 2012
[3]車牌自動識別系統(tǒng)中字符分割算法的研究與實現(xiàn)[D]. 殷松松.南京郵電大學(xué) 2012
[4]車牌識別系統(tǒng)設(shè)計及基于改進SVM的字符識別研究[D]. 鄭彬彬.廈門大學(xué) 2008
本文編號:3612378
本文鏈接:http://sikaile.net/kejilunwen/daoluqiaoliang/3612378.html
教材專著