基于集成卷積神經網絡的手寫體數字識別研究
發(fā)布時間：2021-03-24 02:37
手寫體數字識別作為模式識別的一個重要分支,它主要研究如何通過計算機智能地識別出不同場景下的阿拉伯數字。目前,手寫體數字識別技術被廣泛應用于互聯(lián)網、金融、教育等行業(yè)。21世紀以來,伴隨著互聯(lián)網與大數據地快速發(fā)展、全球信息化與自動化程度地不斷提升,需要對手寫體數字進行識別處理的工作越來越多,比如銀行核對金融票據、公司核對財務報表、郵政自動分揀以及學校的試卷分數統(tǒng)計,傳統(tǒng)的人工處理具有很強的局限性,特別是速度上難以滿足相關需求。自動識別的方式不僅可以提高數字識別處理的效率、減少人力的消耗,還能有效地降低人為操作導致的錯誤率,讓相關工作更加自動化、準確化和高效化。本文首先以單個卷積神經網絡為基礎,對手寫體數字識別任務進行研究,提出了一種融合優(yōu)化算法,并在MNIST數據集和USPS數據集上證明了該算法的可行性,之后結合卷積神經網絡和集成學習進行進一步研究,提升識別性能。本文首先對卷積神經網絡相關理論進行了介紹,包括人工神經網絡、神經元模型、卷積層、下采樣層、全連接層、反向傳播算法、局部感受野、權值共享、損失函數、激活函數、過擬合、正則化方法、Dropout策略等。之后,對集成學習相關內容進行了介...
【文章來源】：華中師范大學湖北省 211工程院校 教育部直屬院校
【文章頁數】：59 頁
【學位級別】：碩士
【部分圖文】：
圖２．３卷積層不意圖??圖２．３中，卷積操作后將會得到一個６＊６的特征圖
，碩士學位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??劃分為一組非重疊的矩形，然后對于所有的子區(qū)域，最大池化會輸出該區(qū)域內最大??的元素，而平均池化會輸出該區(qū)域內所有元素的平均值。??卷積層的使用使得需要訓練的網絡參數大大減少，但實際上需要學習的參數仍??然很多。例如，某卷積層輸入特征圖的大小為２００＊２００，若使用大小為５＊５的卷積??核，以１為步長與其進行卷積，最終會得到大小為（２００－５＋１?）＊?（２００－５＋１）?＝１９６＊１９６??的輸出特征圖的。卷積后得到的結果仍然具有較大尺寸，這可能不符合網絡訓練的??要求。然而，在卷積操作后，真正需要關注的是各個特征的相對位置，而不是其具??體位置。因此，可以使用池化操作對原始特征進行采樣，進而減少訓練參數并減小??過擬合。例如，使用大小為２＊２的池化核對大小為１９６＊１９６的特征圖進行池化操作??后，得到的特征圖大小為＾＊＾?＝?９８＊９８。一般地，使用大小為ｃ＊ｄ的池化核對??２?２??大小為ａ＊ｂ的特征圖進行池化操作，若ａ可以被ｃ整除、ｂ可以被ｄ整除，則可以??得到大小為■的特征圖。圖２．４演示了大小為８＊８的輸入特征圖與大小為２＊２的??ｃ?ｄ??池化核之間的池化操作：??輸入特征圖?池化輸出??圖２．４池化層示意圖??２．２．３全連接層??卷積層和池化層提取出了不同層次的局部特征，其特征圖中的神經元僅與上一??層特征圖中部分區(qū)域內的神經元存在關聯(lián)。而全連接層中的神經元與其上一層特征??圖中的每一個神經元均有關聯(lián)。所以全連接層能將之前從卷積層和池化層中己經提??取出的所有局部特征進行整合，因而全連接層的輸出一般可作為分類器的輸入。??８??
ｎｆｆｌｊＸ碩士學位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??ＭＮＩＳＴ數據集常被用于深度學習領域的算法研究實驗，共包含７００００個帶標簽??的手寫體數字樣本，是公認的手寫體數字數據集。ＭＮ１ＳＴ數據集包含０至９的阿拉??伯數字圖片，這些數字都經過尺寸標準化處理并位于圖像中心，每一張圖片的大小??均為２８Ｘ２８的灰度圖片。本章實驗將ＭＮＩＳＴ數據集分為訓練數據集、驗證數據集??和測試數據集，分別包含５００００、１００００和１００００個樣本。圖３．５展示了?ＭＮＩＳＴ數??據集中不同數字的部分樣本，圖３．６展示了數字“３”的部分樣本，可以看出，不同??類別的樣本之間特征差異明顯，而相同類別的樣本由于書寫者習慣不同也存在一定??的特征差異，甚至有部分樣本人的肉眼也難以判斷其所屬類別。由于ＭＮＩＳＴ數據??集中的圖片己經進行了二值化、中心化等預處理，并且其尺寸與本文所設計的卷積??神經網絡的輸入層圖片像素要求相同，所以將標準化的圖片歸一化后作為輸入層的??輸入圖像。??３０［？］［５］［５］［〇］［５］０［１］［２；??ＺＥｆｆｌｔＵＨＳＥＩＺｌＥｔＥ??ｇ囹國ｇ］回區(qū)］［５］區(qū)??３］［３］ｇ］［５］Ｓ［ｌ］［Ｊ］［３］［ｌ］［５??３０ＳＳＩＺ１Ｓ］０［Ｚ］Ｅ］［Ｚ??Ｓ?ｉＴ?＾?３?３?＾??ＺＩｔＺＩＳＯｌＺＩＣＺＩＳＩＳＥＩＺ??圖３．５?ＭＮＩＳＴ數據集示例圖片??２６??
【參考文獻】：
期刊論文
[1]基于分類器集成的高光譜遙感圖像分類方法[J]. 樊利恒,呂俊偉,鄧江生. 光學學報. 2014(09)
碩士論文
[1]基于集成卷積神經網絡的交通標志識別研究[D]. 易億.重慶郵電大學 2019
[2]基于集成卷積神經網絡的年齡估計研究[D]. 馮燕燕.廣西師范大學 2019
[3]基于深度殘差網絡的手寫體數字識別研究[D]. 覃帥.西安電子科技大學 2019
[4]基于多尺度特征融合卷積神經網絡的宮頸癌細胞檢測與識別[D]. 陸春宇.哈爾濱理工大學 2019
[5]基于卷積神經網絡的圖像分類算法研究[D]. 嚴寒.西北大學 2018
[6]基于深度學習的飛機分類算法研究[D]. 孫振華.東南大學 2018
[7]基于神經網絡的手寫體數字識別系統(tǒng)的研究[D]. 候亞偉.上海應用技術大學 2018
[8]深度學習中優(yōu)化算法的研究與改進[D]. 張慧.北京郵電大學 2018
[9]基于集成學習模型的圖片特征提取和分類技術研究[D]. 韓碩.南京郵電大學 2017
[10]基于改進卷積神經網絡算法的研究與應用[D]. 王飛飛.南京郵電大學 2016
本文編號：3096892
【文章來源】：華中師范大學湖北省 211工程院校 教育部直屬院校
【文章頁數】：59 頁
【學位級別】：碩士
【部分圖文】：
圖２．３卷積層不意圖??圖２．３中，卷積操作后將會得到一個６＊６的特征圖
，碩士學位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??劃分為一組非重疊的矩形，然后對于所有的子區(qū)域，最大池化會輸出該區(qū)域內最大??的元素，而平均池化會輸出該區(qū)域內所有元素的平均值。??卷積層的使用使得需要訓練的網絡參數大大減少，但實際上需要學習的參數仍??然很多。例如，某卷積層輸入特征圖的大小為２００＊２００，若使用大小為５＊５的卷積??核，以１為步長與其進行卷積，最終會得到大小為（２００－５＋１?）＊?（２００－５＋１）?＝１９６＊１９６??的輸出特征圖的。卷積后得到的結果仍然具有較大尺寸，這可能不符合網絡訓練的??要求。然而，在卷積操作后，真正需要關注的是各個特征的相對位置，而不是其具??體位置。因此，可以使用池化操作對原始特征進行采樣，進而減少訓練參數并減小??過擬合。例如，使用大小為２＊２的池化核對大小為１９６＊１９６的特征圖進行池化操作??后，得到的特征圖大小為＾＊＾?＝?９８＊９８。一般地，使用大小為ｃ＊ｄ的池化核對??２?２??大小為ａ＊ｂ的特征圖進行池化操作，若ａ可以被ｃ整除、ｂ可以被ｄ整除，則可以??得到大小為■的特征圖。圖２．４演示了大小為８＊８的輸入特征圖與大小為２＊２的??ｃ?ｄ??池化核之間的池化操作：??輸入特征圖?池化輸出??圖２．４池化層示意圖??２．２．３全連接層??卷積層和池化層提取出了不同層次的局部特征，其特征圖中的神經元僅與上一??層特征圖中部分區(qū)域內的神經元存在關聯(lián)。而全連接層中的神經元與其上一層特征??圖中的每一個神經元均有關聯(lián)。所以全連接層能將之前從卷積層和池化層中己經提??取出的所有局部特征進行整合，因而全連接層的輸出一般可作為分類器的輸入。??８??
ｎｆｆｌｊＸ碩士學位論文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??ＭＮＩＳＴ數據集常被用于深度學習領域的算法研究實驗，共包含７００００個帶標簽??的手寫體數字樣本，是公認的手寫體數字數據集。ＭＮ１ＳＴ數據集包含０至９的阿拉??伯數字圖片，這些數字都經過尺寸標準化處理并位于圖像中心，每一張圖片的大小??均為２８Ｘ２８的灰度圖片。本章實驗將ＭＮＩＳＴ數據集分為訓練數據集、驗證數據集??和測試數據集，分別包含５００００、１００００和１００００個樣本。圖３．５展示了?ＭＮＩＳＴ數??據集中不同數字的部分樣本，圖３．６展示了數字“３”的部分樣本，可以看出，不同??類別的樣本之間特征差異明顯，而相同類別的樣本由于書寫者習慣不同也存在一定??的特征差異，甚至有部分樣本人的肉眼也難以判斷其所屬類別。由于ＭＮＩＳＴ數據??集中的圖片己經進行了二值化、中心化等預處理，并且其尺寸與本文所設計的卷積??神經網絡的輸入層圖片像素要求相同，所以將標準化的圖片歸一化后作為輸入層的??輸入圖像。??３０［？］［５］［５］［〇］［５］０［１］［２；??ＺＥｆｆｌｔＵＨＳＥＩＺｌＥｔＥ??ｇ囹國ｇ］回區(qū)］［５］區(qū)??３］［３］ｇ］［５］Ｓ［ｌ］［Ｊ］［３］［ｌ］［５??３０ＳＳＩＺ１Ｓ］０［Ｚ］Ｅ］［Ｚ??Ｓ?ｉＴ?＾?３?３?＾??ＺＩｔＺＩＳＯｌＺＩＣＺＩＳＩＳＥＩＺ??圖３．５?ＭＮＩＳＴ數據集示例圖片??２６??
【參考文獻】：
期刊論文
[1]基于分類器集成的高光譜遙感圖像分類方法[J]. 樊利恒,呂俊偉,鄧江生. 光學學報. 2014(09)
碩士論文
[1]基于集成卷積神經網絡的交通標志識別研究[D]. 易億.重慶郵電大學 2019
[2]基于集成卷積神經網絡的年齡估計研究[D]. 馮燕燕.廣西師范大學 2019
[3]基于深度殘差網絡的手寫體數字識別研究[D]. 覃帥.西安電子科技大學 2019
[4]基于多尺度特征融合卷積神經網絡的宮頸癌細胞檢測與識別[D]. 陸春宇.哈爾濱理工大學 2019
[5]基于卷積神經網絡的圖像分類算法研究[D]. 嚴寒.西北大學 2018
[6]基于深度學習的飛機分類算法研究[D]. 孫振華.東南大學 2018
[7]基于神經網絡的手寫體數字識別系統(tǒng)的研究[D]. 候亞偉.上海應用技術大學 2018
[8]深度學習中優(yōu)化算法的研究與改進[D]. 張慧.北京郵電大學 2018
[9]基于集成學習模型的圖片特征提取和分類技術研究[D]. 韓碩.南京郵電大學 2017
[10]基于改進卷積神經網絡算法的研究與應用[D]. 王飛飛.南京郵電大學 2016
本文編號：3096892
本文鏈接：http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3096892.html
