基于改進(jìn)LeNet和Qlearning的圖像分類算法研究及應(yīng)用
發(fā)布時(shí)間:2021-07-03 12:42
隨著人們生活水平的不斷提高,小龍蝦不僅是風(fēng)味小吃的一個(gè)新方向而且由于其體內(nèi)含有大量蝦青素也可以制作為藥品來預(yù)防疾病。但是目前對于小龍蝦的分類依然停留在人工檢測階段,不僅浪費(fèi)人力資源而且識別準(zhǔn)確率不高,進(jìn)而導(dǎo)致小龍蝦食品和藥品安全問題。因此,對于龍蝦的全自動(dòng)加工、分類檢測存在巨大的市場前景。本文研究關(guān)于圖像分類算法,主要目的為設(shè)計(jì)一套包含卷積神經(jīng)網(wǎng)絡(luò)、對抗式神經(jīng)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)的算法來自動(dòng)剔除黑蝦、受損嚴(yán)重的蝦和煮熟前死蝦等問題蝦。本文主要工作如下:(1)針對小數(shù)據(jù)集提出一種改進(jìn)LeNet模型,解決了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)LeNet模型準(zhǔn)確率低、收斂速度慢,以及VggNet等模型過擬合問題。該模型在LeNet基礎(chǔ)上使用ReLU函數(shù)替換Sigmoid來提高收斂速度,加入1*1卷積增加模型深度并利用其改變維度的特點(diǎn)來提高識別準(zhǔn)確率,通過分解卷積和提出改進(jìn)Dropout方法減少過擬合。實(shí)驗(yàn)結(jié)果表明:改進(jìn)LeNet模型分類自制小龍蝦數(shù)據(jù)集,比LeNet收斂速度快6000步并且準(zhǔn)確率提高約15%,比VggNet和ResNet過擬合程度明顯減少。(2)提出改進(jìn)GAN模型解決了采集得到的圖像數(shù)據(jù)量過少,以及G...
【文章來源】:湖北工業(yè)大學(xué)湖北省
【文章頁數(shù)】:63 頁
【學(xué)位級別】:碩士
【部分圖文】:
LeNet結(jié)構(gòu)圖
湖北工業(yè)大學(xué)碩士學(xué)位論文132.2.4ResNet網(wǎng)絡(luò)模型2015年HEKaiming等人為解決模型加深難以訓(xùn)練的問題提出了ResNet[50]。該模型采用名為殘差的新型結(jié)構(gòu),根據(jù)輸入和輸出的差別來學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò),有效的解決了在卷積網(wǎng)絡(luò)信息傳遞過程中信息丟失和模型訓(xùn)練的問題。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是學(xué)習(xí)輸入到輸出的映射H(x),而殘差網(wǎng)絡(luò)學(xué)習(xí)到的是F(x)=H(x)x。這樣可以避免學(xué)習(xí)從x到H(x)的直接映射關(guān)系,而是學(xué)習(xí)兩者之間的差異,其中將差異逼近到0相對容易。殘差網(wǎng)絡(luò)模塊由圖2.8可見,以ResNet18為例,其結(jié)構(gòu)圖由圖2.9可見。convconv圖2.8殘差模塊結(jié)構(gòu)圖圖2.9ResNet18結(jié)構(gòu)圖2.3改進(jìn)LeNet模型設(shè)計(jì)及應(yīng)用為了在采集所得小龍蝦這類數(shù)據(jù)量少、類別少的小數(shù)據(jù)集上有好的分類能力,在LeNet模型基礎(chǔ)上主要做出如下改進(jìn)。使用ReLU激活函數(shù)替換Sigmoid提高模型收斂速度。增加1*1卷積模塊,增加模型深度的同時(shí)能夠改變維度從而提高準(zhǔn)確率。分解5*5卷積和加入改進(jìn)Dropout方法來減少過擬合。2.3.1加快收斂速度改進(jìn)LeNet模型中使用ReLU函數(shù)替換LeNet模型的Sigmoid函數(shù),加快模型訓(xùn)練的收斂速度。Sigmoid函數(shù)曲線以及函數(shù)的導(dǎo)數(shù)曲線圖見圖2.10,圖中實(shí)線表示函數(shù)曲線,虛線表示導(dǎo)數(shù)曲線。Sigmoid函數(shù)的優(yōu)點(diǎn)是將輸出映射在(0,1)之間,適用于二分類。在反向傳播求誤差梯度時(shí)需要對Sigmoid函數(shù)求導(dǎo),但是Sigmoid函數(shù)存在當(dāng)
湖北工業(yè)大學(xué)碩士學(xué)位論文14x>0時(shí),隨著輸入的不斷增大導(dǎo)數(shù)趨近于0,導(dǎo)致反向傳播過程中容易出現(xiàn)梯度消失模型收斂速度慢的問題。(a)Sigmoid函數(shù)曲線(b)Sigmoid導(dǎo)數(shù)曲線圖2.10Sigmoid函數(shù)以及導(dǎo)數(shù)曲線ReLU函數(shù)曲線以及函數(shù)的導(dǎo)數(shù)曲線圖見圖2.11。該函數(shù)當(dāng)x>0時(shí)導(dǎo)數(shù)值始終為1,反向傳播過程中不會出現(xiàn)梯度消失的情況,卷積神經(jīng)網(wǎng)絡(luò)收斂速度快。(a)ReLU函數(shù)曲線(b)ReLU導(dǎo)數(shù)曲線圖2.11ReLU函數(shù)以及導(dǎo)數(shù)曲線2.3.2提高準(zhǔn)確率為提高模型分類準(zhǔn)確率,改進(jìn)LeNet模型中添加了1*1卷積模塊,該模塊在本文中有以下三個(gè)特點(diǎn)。第一,增加模型深度。VggNet中堆疊3*3小卷積來不斷增加網(wǎng)絡(luò)深度,實(shí)驗(yàn)證明網(wǎng)絡(luò)深度對分類準(zhǔn)確率有正面影響。改進(jìn)LeNet模型通過添加1*1卷積模塊加深網(wǎng)絡(luò),不僅能夠提高準(zhǔn)確率而且訓(xùn)練參數(shù)比3*3卷積少。第二,增強(qiáng)模型非線性。卷積運(yùn)算由矩陣乘法運(yùn)算和加法組成,是線性運(yùn)算。處理圖像分類為非線性問題,故卷積層之后通常需要加入非線性激活函數(shù)將線性運(yùn)算轉(zhuǎn)化為非線性。添加1*1卷積模塊可以保持圖片分辨率不變的條件下加強(qiáng)模型的非線性,從而提高模型提取特征的能力。表2.13種卷積操作的參數(shù)計(jì)算表3種卷積操作參數(shù)計(jì)算10*10*10和5*5*20卷積500010*10*10和1*1*5卷積之后再與5*5*20卷積255010*10*10和1*1*15卷積之后再與5*5*20卷積7650第三,改變維度。在卷積核大小為10*10深度為10與卷積核大小為5*5深度
【參考文獻(xiàn)】:
期刊論文
[1]基于馬爾科夫決策過程的多傳感器協(xié)同檢測與跟蹤調(diào)度方法[J]. 徐公國,單甘霖,段修生,喬成林,王浩天. 電子與信息學(xué)報(bào). 2019(09)
[2]基于深度強(qiáng)化學(xué)習(xí)的車輛跟馳控制[J]. 朱冰,蔣淵德,趙健,陳虹,鄧偉文. 中國公路學(xué)報(bào). 2019(06)
[3]生成式對抗網(wǎng)絡(luò)在圖像補(bǔ)全中的應(yīng)用[J]. 時(shí)澄,潘斌,郭小明,李芹芹,張露月,鐘凡. 計(jì)算機(jī)科學(xué)與探索. 2019(08)
[4]深度學(xué)習(xí)在文字識別領(lǐng)域的應(yīng)用[J]. 李新煒,殷韶坤. 電子技術(shù)與軟件工程. 2018(24)
[5]基于值函數(shù)和策略梯度的深度強(qiáng)化學(xué)習(xí)綜述[J]. 劉建偉,高峰,羅雄麟. 計(jì)算機(jī)學(xué)報(bào). 2019(06)
[6]人工智能研究的新前線:生成式對抗網(wǎng)絡(luò)[J]. 林懿倫,戴星原,李力,王曉,王飛躍. 自動(dòng)化學(xué)報(bào). 2018(05)
[7]基于深度生成式對抗網(wǎng)絡(luò)的藍(lán)藻語義分割[J]. 楊朔,陳麗芳,石瑀,毛一鳴. 計(jì)算機(jī)應(yīng)用. 2018(06)
[8]生成式對抗網(wǎng)絡(luò)GAN的研究進(jìn)展與展望[J]. 王坤峰,茍超,段艷杰,林懿倫,鄭心湖,王飛躍. 自動(dòng)化學(xué)報(bào). 2017(03)
[9]基于深度學(xué)習(xí)的語音識別技術(shù)現(xiàn)狀與展望[J]. 戴禮榮,張仕良,黃智穎. 數(shù)據(jù)采集與處理. 2017(02)
[10]基于深度學(xué)習(xí)的圖像檢索系統(tǒng)[J]. 胡二雷,馮瑞. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2017(03)
碩士論文
[1]基于生成式對抗網(wǎng)絡(luò)的圖像修復(fù)算法研究[D]. 趙立怡.西安理工大學(xué) 2018
[2]基于深度學(xué)習(xí)的自然場景文字識別[D]. 黃攀.浙江大學(xué) 2016
[3]基于深度學(xué)習(xí)的語音識別應(yīng)用研究[D]. 張建華.北京郵電大學(xué) 2015
[4]深度學(xué)習(xí)在圖像識別中的研究及應(yīng)用[D]. 李衛(wèi).武漢理工大學(xué) 2014
[5]基于人工智能機(jī)器學(xué)習(xí)的文字識別方法研究[D]. 李雷.電子科技大學(xué) 2013
本文編號:3262602
【文章來源】:湖北工業(yè)大學(xué)湖北省
【文章頁數(shù)】:63 頁
【學(xué)位級別】:碩士
【部分圖文】:
LeNet結(jié)構(gòu)圖
湖北工業(yè)大學(xué)碩士學(xué)位論文132.2.4ResNet網(wǎng)絡(luò)模型2015年HEKaiming等人為解決模型加深難以訓(xùn)練的問題提出了ResNet[50]。該模型采用名為殘差的新型結(jié)構(gòu),根據(jù)輸入和輸出的差別來學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò),有效的解決了在卷積網(wǎng)絡(luò)信息傳遞過程中信息丟失和模型訓(xùn)練的問題。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是學(xué)習(xí)輸入到輸出的映射H(x),而殘差網(wǎng)絡(luò)學(xué)習(xí)到的是F(x)=H(x)x。這樣可以避免學(xué)習(xí)從x到H(x)的直接映射關(guān)系,而是學(xué)習(xí)兩者之間的差異,其中將差異逼近到0相對容易。殘差網(wǎng)絡(luò)模塊由圖2.8可見,以ResNet18為例,其結(jié)構(gòu)圖由圖2.9可見。convconv圖2.8殘差模塊結(jié)構(gòu)圖圖2.9ResNet18結(jié)構(gòu)圖2.3改進(jìn)LeNet模型設(shè)計(jì)及應(yīng)用為了在采集所得小龍蝦這類數(shù)據(jù)量少、類別少的小數(shù)據(jù)集上有好的分類能力,在LeNet模型基礎(chǔ)上主要做出如下改進(jìn)。使用ReLU激活函數(shù)替換Sigmoid提高模型收斂速度。增加1*1卷積模塊,增加模型深度的同時(shí)能夠改變維度從而提高準(zhǔn)確率。分解5*5卷積和加入改進(jìn)Dropout方法來減少過擬合。2.3.1加快收斂速度改進(jìn)LeNet模型中使用ReLU函數(shù)替換LeNet模型的Sigmoid函數(shù),加快模型訓(xùn)練的收斂速度。Sigmoid函數(shù)曲線以及函數(shù)的導(dǎo)數(shù)曲線圖見圖2.10,圖中實(shí)線表示函數(shù)曲線,虛線表示導(dǎo)數(shù)曲線。Sigmoid函數(shù)的優(yōu)點(diǎn)是將輸出映射在(0,1)之間,適用于二分類。在反向傳播求誤差梯度時(shí)需要對Sigmoid函數(shù)求導(dǎo),但是Sigmoid函數(shù)存在當(dāng)
湖北工業(yè)大學(xué)碩士學(xué)位論文14x>0時(shí),隨著輸入的不斷增大導(dǎo)數(shù)趨近于0,導(dǎo)致反向傳播過程中容易出現(xiàn)梯度消失模型收斂速度慢的問題。(a)Sigmoid函數(shù)曲線(b)Sigmoid導(dǎo)數(shù)曲線圖2.10Sigmoid函數(shù)以及導(dǎo)數(shù)曲線ReLU函數(shù)曲線以及函數(shù)的導(dǎo)數(shù)曲線圖見圖2.11。該函數(shù)當(dāng)x>0時(shí)導(dǎo)數(shù)值始終為1,反向傳播過程中不會出現(xiàn)梯度消失的情況,卷積神經(jīng)網(wǎng)絡(luò)收斂速度快。(a)ReLU函數(shù)曲線(b)ReLU導(dǎo)數(shù)曲線圖2.11ReLU函數(shù)以及導(dǎo)數(shù)曲線2.3.2提高準(zhǔn)確率為提高模型分類準(zhǔn)確率,改進(jìn)LeNet模型中添加了1*1卷積模塊,該模塊在本文中有以下三個(gè)特點(diǎn)。第一,增加模型深度。VggNet中堆疊3*3小卷積來不斷增加網(wǎng)絡(luò)深度,實(shí)驗(yàn)證明網(wǎng)絡(luò)深度對分類準(zhǔn)確率有正面影響。改進(jìn)LeNet模型通過添加1*1卷積模塊加深網(wǎng)絡(luò),不僅能夠提高準(zhǔn)確率而且訓(xùn)練參數(shù)比3*3卷積少。第二,增強(qiáng)模型非線性。卷積運(yùn)算由矩陣乘法運(yùn)算和加法組成,是線性運(yùn)算。處理圖像分類為非線性問題,故卷積層之后通常需要加入非線性激活函數(shù)將線性運(yùn)算轉(zhuǎn)化為非線性。添加1*1卷積模塊可以保持圖片分辨率不變的條件下加強(qiáng)模型的非線性,從而提高模型提取特征的能力。表2.13種卷積操作的參數(shù)計(jì)算表3種卷積操作參數(shù)計(jì)算10*10*10和5*5*20卷積500010*10*10和1*1*5卷積之后再與5*5*20卷積255010*10*10和1*1*15卷積之后再與5*5*20卷積7650第三,改變維度。在卷積核大小為10*10深度為10與卷積核大小為5*5深度
【參考文獻(xiàn)】:
期刊論文
[1]基于馬爾科夫決策過程的多傳感器協(xié)同檢測與跟蹤調(diào)度方法[J]. 徐公國,單甘霖,段修生,喬成林,王浩天. 電子與信息學(xué)報(bào). 2019(09)
[2]基于深度強(qiáng)化學(xué)習(xí)的車輛跟馳控制[J]. 朱冰,蔣淵德,趙健,陳虹,鄧偉文. 中國公路學(xué)報(bào). 2019(06)
[3]生成式對抗網(wǎng)絡(luò)在圖像補(bǔ)全中的應(yīng)用[J]. 時(shí)澄,潘斌,郭小明,李芹芹,張露月,鐘凡. 計(jì)算機(jī)科學(xué)與探索. 2019(08)
[4]深度學(xué)習(xí)在文字識別領(lǐng)域的應(yīng)用[J]. 李新煒,殷韶坤. 電子技術(shù)與軟件工程. 2018(24)
[5]基于值函數(shù)和策略梯度的深度強(qiáng)化學(xué)習(xí)綜述[J]. 劉建偉,高峰,羅雄麟. 計(jì)算機(jī)學(xué)報(bào). 2019(06)
[6]人工智能研究的新前線:生成式對抗網(wǎng)絡(luò)[J]. 林懿倫,戴星原,李力,王曉,王飛躍. 自動(dòng)化學(xué)報(bào). 2018(05)
[7]基于深度生成式對抗網(wǎng)絡(luò)的藍(lán)藻語義分割[J]. 楊朔,陳麗芳,石瑀,毛一鳴. 計(jì)算機(jī)應(yīng)用. 2018(06)
[8]生成式對抗網(wǎng)絡(luò)GAN的研究進(jìn)展與展望[J]. 王坤峰,茍超,段艷杰,林懿倫,鄭心湖,王飛躍. 自動(dòng)化學(xué)報(bào). 2017(03)
[9]基于深度學(xué)習(xí)的語音識別技術(shù)現(xiàn)狀與展望[J]. 戴禮榮,張仕良,黃智穎. 數(shù)據(jù)采集與處理. 2017(02)
[10]基于深度學(xué)習(xí)的圖像檢索系統(tǒng)[J]. 胡二雷,馮瑞. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2017(03)
碩士論文
[1]基于生成式對抗網(wǎng)絡(luò)的圖像修復(fù)算法研究[D]. 趙立怡.西安理工大學(xué) 2018
[2]基于深度學(xué)習(xí)的自然場景文字識別[D]. 黃攀.浙江大學(xué) 2016
[3]基于深度學(xué)習(xí)的語音識別應(yīng)用研究[D]. 張建華.北京郵電大學(xué) 2015
[4]深度學(xué)習(xí)在圖像識別中的研究及應(yīng)用[D]. 李衛(wèi).武漢理工大學(xué) 2014
[5]基于人工智能機(jī)器學(xué)習(xí)的文字識別方法研究[D]. 李雷.電子科技大學(xué) 2013
本文編號:3262602
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/3262602.html
最近更新
教材專著