基于特征融合的端到端車牌檢測(cè)和識(shí)別算法研究
發(fā)布時(shí)間:2020-11-17 22:27
隨著大數(shù)據(jù)、深度學(xué)習(xí)、物聯(lián)網(wǎng)和5G通信技術(shù)的飛速發(fā)展,以及中國城鎮(zhèn)化速度的加快,建設(shè)智慧城市已經(jīng)成為一種趨勢(shì)。智能交通在智慧城市中扮演著非常重要的角色,其不僅僅能緩解城市交通擁堵問題,還能夠提高交通道路的使用效率、節(jié)約石油資源和改善生態(tài)環(huán)境等。另外,交通智能監(jiān)控系統(tǒng)也具有保護(hù)城市的作用,該系統(tǒng)能夠幫助公安機(jī)關(guān)快速跟蹤可疑車輛和犯罪嫌疑人,從而讓我們所生活的城市變得更加安全。由于車牌號(hào)碼相當(dāng)于一輛汽車的“身份證號(hào)碼”,因此車牌檢測(cè)和識(shí)別算法技術(shù)在智能交通系統(tǒng)建設(shè)中起著十分重要的作用。傳統(tǒng)的車牌檢測(cè)和識(shí)別算法通常在一些簡(jiǎn)單的場(chǎng)景下能取得良好的識(shí)別效果,但是在光照不足、傾斜、模糊和惡劣天氣等復(fù)雜的場(chǎng)景下,這些傳統(tǒng)的方法就不能夠準(zhǔn)確識(shí)別出車牌號(hào)碼。許多研究者通常把車牌檢測(cè)和識(shí)別過程分成車牌檢測(cè)和車牌識(shí)別兩個(gè)步驟,或者分為車牌檢測(cè)、車牌字符分割和車牌字符識(shí)別三個(gè)步驟。車牌字符識(shí)別與前面的車牌檢測(cè)和車牌字符分割兩個(gè)步驟是高度相關(guān)的,當(dāng)車牌檢測(cè)算法預(yù)測(cè)出錯(cuò)誤的車牌邊界框時(shí),就會(huì)影響后面車牌字符的識(shí)別,或者導(dǎo)致后面車牌字符分割錯(cuò)誤,最終導(dǎo)致車牌字符識(shí)別算法預(yù)測(cè)出錯(cuò)誤的車牌號(hào)碼。為了解決車牌檢測(cè)和識(shí)別算法存在的問題,本文將基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法應(yīng)用到車牌檢測(cè)和識(shí)別方法當(dāng)中,設(shè)計(jì)了一種基于特征融合的端到端車牌檢測(cè)和識(shí)別網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型結(jié)構(gòu)是由車牌特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)、多尺度特征網(wǎng)絡(luò)、位置檢測(cè)器和字符識(shí)別器五個(gè)部分組成的。在該網(wǎng)絡(luò)模型中,把不同尺寸的特征圖進(jìn)行融合,目的是用來保存淺層特征圖上的車牌位置語義信息,這樣做的目的是為了進(jìn)一步提高車牌位置和字符的識(shí)別準(zhǔn)確率。與分成多個(gè)步驟的車牌檢測(cè)和識(shí)別算法相比,該網(wǎng)絡(luò)模型能夠進(jìn)行端到端的訓(xùn)練。當(dāng)輸入測(cè)試圖片時(shí),能夠同時(shí)輸出車牌的邊界框和號(hào)碼,從而避免了分段車牌識(shí)別算法所產(chǎn)生的中間誤差積累和放大問題。由于該網(wǎng)絡(luò)模型通過共享基礎(chǔ)特征提取網(wǎng)絡(luò),減少了網(wǎng)絡(luò)計(jì)算參數(shù),從而顯著提高了車牌檢測(cè)和識(shí)別的速度。本文制作了一個(gè)車牌數(shù)據(jù)集用于該網(wǎng)絡(luò)模型的訓(xùn)練和測(cè)試,其中車牌圖片都是在復(fù)雜場(chǎng)景下收集的。通過與其他算法進(jìn)行實(shí)驗(yàn)對(duì)比,證明了該網(wǎng)絡(luò)模型能夠有效提高車牌位置和字符的識(shí)別準(zhǔn)確率。
【學(xué)位單位】:江西財(cái)經(jīng)大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位年份】:2020
【中圖分類】:U495;TP18;TP391.41
【部分圖文】:
第2章目標(biāo)檢測(cè)和車牌識(shí)別相關(guān)算法理論研究11圖2-2常見一端目標(biāo)檢測(cè)算法框架2.1.1FasterR-CNN目標(biāo)算法分析在2015年,RossGirshick等人提出了一種先進(jìn)的目標(biāo)檢測(cè)算法FasterR-CNN,F(xiàn)asterR-CNN是在FastR-CNN算法基礎(chǔ)上改進(jìn)而來的。FasterR-CNN主要的創(chuàng)新點(diǎn)是解決了FastR-CNN需要先使用選擇性搜索算法SS(SelectiveSearch,SS)[25]提取候選框而造成目標(biāo)檢測(cè)速度非常慢的問題,F(xiàn)asterR-CNN設(shè)計(jì)了一種候選區(qū)域生成網(wǎng)絡(luò)(RegionProposalNetwork,RPN)用來取代SS算法,同時(shí)讓RPN網(wǎng)絡(luò)和FastR-CNN網(wǎng)絡(luò)共同使用基礎(chǔ)特征提取網(wǎng)絡(luò)輸出的特征圖。這種網(wǎng)絡(luò)設(shè)計(jì)方法把基礎(chǔ)特征提娶候選框生成、目標(biāo)對(duì)象分類和定位都集成到統(tǒng)一的深度神經(jīng)網(wǎng)絡(luò)模型中,使網(wǎng)絡(luò)模型沒有重復(fù)計(jì)算,完全在GPU中完成,不僅速度得到了較大的提高,而且還取得了更加準(zhǔn)確的檢測(cè)結(jié)果。FasterR-CNN
基于特征融合的端到端車牌檢測(cè)和識(shí)別算法研究12檢測(cè)的準(zhǔn)確度和速度相比于FastR-CNN算法有了較大的提高,例如,基于ZF網(wǎng)絡(luò)[36]的FasterR-CNN檢測(cè)目標(biāo)對(duì)象的速度為17FPS,在PASCALVOC[37]數(shù)據(jù)集上的準(zhǔn)確率為59.9%;基于VGG網(wǎng)絡(luò)的FasterR-CNN檢測(cè)目標(biāo)對(duì)象的速度為5FPS,在PASCALVOC數(shù)據(jù)集上的準(zhǔn)確率為78.8%。FasterR-CNN算法的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2-3所示。圖2-3FasterR-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖從圖2-3中可以觀察到,F(xiàn)asterR-CNN算法的深度卷積網(wǎng)絡(luò)結(jié)構(gòu)圖主要分為三大模塊,分別是基礎(chǔ)特征提取網(wǎng)絡(luò)、候選區(qū)域生成網(wǎng)絡(luò)和目標(biāo)分類回歸網(wǎng)絡(luò)。下面將對(duì)這三大模塊分別進(jìn)行介紹。基礎(chǔ)特征提取網(wǎng)絡(luò)的目的是提取訓(xùn)練數(shù)據(jù)中的基礎(chǔ)特征,用于后面的目標(biāo)分類和定位;A(chǔ)特征提取網(wǎng)絡(luò)使用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)得到特征圖,然后將特征圖分別輸入到后面的RPN網(wǎng)絡(luò)和ROIPooling網(wǎng)絡(luò)中。其中卷積神經(jīng)網(wǎng)絡(luò)不一定非要使用VGG和ZF網(wǎng)絡(luò),也可以使用LeNet、AlexNet、GooleNet、ResNet等經(jīng)典卷積神經(jīng)網(wǎng)絡(luò),因此可以根據(jù)自己的實(shí)際需求選擇合適的卷積神經(jīng)網(wǎng)絡(luò)。幾種常見的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2-4所示。
第2章目標(biāo)檢測(cè)和車牌識(shí)別相關(guān)算法理論研究13圖2-4經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖候選區(qū)域生成網(wǎng)絡(luò)主要目的是用于生成目標(biāo)對(duì)象的候選框,RPN網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2-5所示。從圖中可以觀察到,使用滑動(dòng)窗口在特征圖的每個(gè)像素點(diǎn)上進(jìn)行滑動(dòng),每一個(gè)像素點(diǎn)會(huì)對(duì)應(yīng)產(chǎn)生k個(gè)不同尺寸和比例的錨點(diǎn)(anchors),即k個(gè)候選框,然后通過分類器判斷每一個(gè)錨點(diǎn)屬于前景(foreground)或者背景(background),即是目標(biāo)對(duì)象或者不是目標(biāo)對(duì)象,通過位置回歸器修正錨點(diǎn)從而得到精確的候選框。RPN網(wǎng)絡(luò)把位置誤差和分類誤差作為整體誤差進(jìn)行訓(xùn)練,
【參考文獻(xiàn)】
本文編號(hào):2887994
【學(xué)位單位】:江西財(cái)經(jīng)大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位年份】:2020
【中圖分類】:U495;TP18;TP391.41
【部分圖文】:
第2章目標(biāo)檢測(cè)和車牌識(shí)別相關(guān)算法理論研究11圖2-2常見一端目標(biāo)檢測(cè)算法框架2.1.1FasterR-CNN目標(biāo)算法分析在2015年,RossGirshick等人提出了一種先進(jìn)的目標(biāo)檢測(cè)算法FasterR-CNN,F(xiàn)asterR-CNN是在FastR-CNN算法基礎(chǔ)上改進(jìn)而來的。FasterR-CNN主要的創(chuàng)新點(diǎn)是解決了FastR-CNN需要先使用選擇性搜索算法SS(SelectiveSearch,SS)[25]提取候選框而造成目標(biāo)檢測(cè)速度非常慢的問題,F(xiàn)asterR-CNN設(shè)計(jì)了一種候選區(qū)域生成網(wǎng)絡(luò)(RegionProposalNetwork,RPN)用來取代SS算法,同時(shí)讓RPN網(wǎng)絡(luò)和FastR-CNN網(wǎng)絡(luò)共同使用基礎(chǔ)特征提取網(wǎng)絡(luò)輸出的特征圖。這種網(wǎng)絡(luò)設(shè)計(jì)方法把基礎(chǔ)特征提娶候選框生成、目標(biāo)對(duì)象分類和定位都集成到統(tǒng)一的深度神經(jīng)網(wǎng)絡(luò)模型中,使網(wǎng)絡(luò)模型沒有重復(fù)計(jì)算,完全在GPU中完成,不僅速度得到了較大的提高,而且還取得了更加準(zhǔn)確的檢測(cè)結(jié)果。FasterR-CNN
基于特征融合的端到端車牌檢測(cè)和識(shí)別算法研究12檢測(cè)的準(zhǔn)確度和速度相比于FastR-CNN算法有了較大的提高,例如,基于ZF網(wǎng)絡(luò)[36]的FasterR-CNN檢測(cè)目標(biāo)對(duì)象的速度為17FPS,在PASCALVOC[37]數(shù)據(jù)集上的準(zhǔn)確率為59.9%;基于VGG網(wǎng)絡(luò)的FasterR-CNN檢測(cè)目標(biāo)對(duì)象的速度為5FPS,在PASCALVOC數(shù)據(jù)集上的準(zhǔn)確率為78.8%。FasterR-CNN算法的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2-3所示。圖2-3FasterR-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖從圖2-3中可以觀察到,F(xiàn)asterR-CNN算法的深度卷積網(wǎng)絡(luò)結(jié)構(gòu)圖主要分為三大模塊,分別是基礎(chǔ)特征提取網(wǎng)絡(luò)、候選區(qū)域生成網(wǎng)絡(luò)和目標(biāo)分類回歸網(wǎng)絡(luò)。下面將對(duì)這三大模塊分別進(jìn)行介紹。基礎(chǔ)特征提取網(wǎng)絡(luò)的目的是提取訓(xùn)練數(shù)據(jù)中的基礎(chǔ)特征,用于后面的目標(biāo)分類和定位;A(chǔ)特征提取網(wǎng)絡(luò)使用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)得到特征圖,然后將特征圖分別輸入到后面的RPN網(wǎng)絡(luò)和ROIPooling網(wǎng)絡(luò)中。其中卷積神經(jīng)網(wǎng)絡(luò)不一定非要使用VGG和ZF網(wǎng)絡(luò),也可以使用LeNet、AlexNet、GooleNet、ResNet等經(jīng)典卷積神經(jīng)網(wǎng)絡(luò),因此可以根據(jù)自己的實(shí)際需求選擇合適的卷積神經(jīng)網(wǎng)絡(luò)。幾種常見的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2-4所示。
第2章目標(biāo)檢測(cè)和車牌識(shí)別相關(guān)算法理論研究13圖2-4經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖候選區(qū)域生成網(wǎng)絡(luò)主要目的是用于生成目標(biāo)對(duì)象的候選框,RPN網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖2-5所示。從圖中可以觀察到,使用滑動(dòng)窗口在特征圖的每個(gè)像素點(diǎn)上進(jìn)行滑動(dòng),每一個(gè)像素點(diǎn)會(huì)對(duì)應(yīng)產(chǎn)生k個(gè)不同尺寸和比例的錨點(diǎn)(anchors),即k個(gè)候選框,然后通過分類器判斷每一個(gè)錨點(diǎn)屬于前景(foreground)或者背景(background),即是目標(biāo)對(duì)象或者不是目標(biāo)對(duì)象,通過位置回歸器修正錨點(diǎn)從而得到精確的候選框。RPN網(wǎng)絡(luò)把位置誤差和分類誤差作為整體誤差進(jìn)行訓(xùn)練,
【參考文獻(xiàn)】
相關(guān)期刊論文 前4條
1 孫金嶺;龐娟;張澤龍;;基于顏色特征和改進(jìn)Canny算子的車牌圖像定位[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2015年04期
2 馬爽;樊養(yǎng)余;雷濤;吳鵬;;一種基于多特征提取的實(shí)用車牌識(shí)別方法[J];計(jì)算機(jī)應(yīng)用研究;2013年11期
3 王洪亞;;基于HSV的夜間車牌識(shí)別算法[J];智能計(jì)算機(jī)與應(yīng)用;2013年02期
4 張曉娜;何仁;陳士安;姚明;;基于主動(dòng)學(xué)習(xí)AdaBoost算法與顏色特征的車牌定位[J];交通運(yùn)輸工程學(xué)報(bào);2013年01期
本文編號(hào):2887994
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/2887994.html
最近更新
教材專著