【摘要】：隨著多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)以及存儲(chǔ)技術(shù)的快速發(fā)展,各個(gè)行業(yè)對(duì)圖像資料的運(yùn)用越來(lái)越多,人們接觸到的數(shù)字圖像來(lái)源不斷擴(kuò)大,因此如何從大規(guī)模的圖集中選取有用的圖像已經(jīng)成為當(dāng)今一個(gè)亟需解決的課題。傳統(tǒng)的圖像分類方式大致包含兩個(gè)步驟:特征提取和分類算法。提取圖像特征是圖像分類識(shí)別的重要基礎(chǔ),圖像特征的表示也在某種程度上影響圖像分類的效果。在提取圖像特征之后,需要用分類算法對(duì)其進(jìn)行分類。目前不斷涌現(xiàn)出新的圖像處理技術(shù)和分類方法,如深度學(xué)習(xí)。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是深度學(xué)習(xí)中的新型神經(jīng)網(wǎng)絡(luò),已經(jīng)被廣泛應(yīng)用到多種圖像處理任務(wù)中。CNN在一些圖像分類任務(wù)中取得了很好的效果,但仍存在模型分類能力不強(qiáng)、訓(xùn)練樣本較少時(shí)準(zhǔn)確率不高和收斂較慢等問(wèn)題。針對(duì)這些問(wèn)題,本文提出以下兩種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)算法模型。具體研究?jī)?nèi)容如下:(1)提出了一種改進(jìn)激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)。主要改進(jìn)是將LReLU函數(shù)和Softplus函數(shù)結(jié)合,提出新的LReLU-Softplus激活函數(shù)。LReLU函數(shù)缺乏光滑性,導(dǎo)致模型的平均性能較差;Softplus函數(shù)具有輸出偏移問(wèn)題,這會(huì)影響網(wǎng)絡(luò)的收斂性。改進(jìn)后的激活函數(shù)在小于0的部分繼承了 LReLU函數(shù)的優(yōu)點(diǎn),解決了數(shù)值偏移和神經(jīng)元死亡問(wèn)題;在大于0的部分繼承了 Softplus函數(shù)的光滑性。因此,本文提出改進(jìn)的LReLU-Softplus激活函數(shù),使新的激活函數(shù)具有LReLU和Softplus的優(yōu)點(diǎn),同時(shí)避免了兩者的缺點(diǎn)。從而提高模型的分類能力。(2)提出一種改進(jìn)Fisher準(zhǔn)則的卷積神經(jīng)網(wǎng)絡(luò)模型。主要改進(jìn)是使用新的類間散布矩陣,將其定義為兩類樣本經(jīng)投影后的平方均值之差的絕對(duì)值,以此改進(jìn)Fisher準(zhǔn)則,再利用改進(jìn)后的Fisher準(zhǔn)則來(lái)改進(jìn)CNN的代價(jià)函數(shù)。Fisher準(zhǔn)則的思想是尋找一個(gè)最優(yōu)投影軸,使兩種類別的樣本在該軸的投影區(qū)間距離最大,因此能夠獲得最優(yōu)的分類效果。然而Fisher準(zhǔn)則存在一個(gè)缺點(diǎn)是“秩限制”問(wèn)題,它所獲得的判別信息的個(gè)數(shù)受到類別個(gè)數(shù)的限制,這影響了識(shí)別的性能。本文通過(guò)對(duì)Fisher準(zhǔn)則的改進(jìn)來(lái)緩解“秩限制”問(wèn)題,并通過(guò)對(duì)CNN代價(jià)函數(shù)的修改,構(gòu)建基于改進(jìn)Fisher準(zhǔn)則的卷積神經(jīng)網(wǎng)絡(luò)模型,從而達(dá)到訓(xùn)練樣本較少時(shí)提高CNN的分類識(shí)別率和使模型快速收斂的目的。(3)本文所提的兩個(gè)方法分別在女裝商品圖像庫(kù)、Mnist手寫數(shù)字庫(kù)、ImageNet圖像庫(kù)以及Oxford flowers圖像庫(kù)上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。在實(shí)驗(yàn)中,改進(jìn)的LReLU-Softplus激活函數(shù)分別與Sigrmoid、Tanh、ReLU、LReLU以及Softplus函數(shù)進(jìn)行驗(yàn)證對(duì)比;基于改進(jìn)Fisher準(zhǔn)則的CNN算法(IFCNN)分別與CNN、SAE、FCNN算法進(jìn)行驗(yàn)證對(duì)比。實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的方法是有效的和可行的。
[Abstract]:With the rapid development of multimedia technology, network technology and storage technology, more and more people are exposed to digital image sources. Therefore, how to select useful images from large-scale atlas has become an urgent task. Traditional image classification includes two steps: feature extraction and classification algorithm. Extraction of image features is an important basis of image classification and recognition, and the representation of image features also affects the effect of image classification to some extent. After extracting image features, we need to classify them with classification algorithm. At present, new image processing techniques and classification methods, such as depth learning, have been emerging. Convolutional neural network (Convolutional Neural Networks,CNN) is a new neural network in deep learning, which has been widely used in many image processing tasks. CNN has achieved good results in some image classification tasks. However, there are still some problems such as weak classification ability of models, low accuracy and slow convergence when training samples are small. In order to solve these problems, two improved convolution neural network algorithms are proposed in this paper. The main contents are as follows: (1) A convolutional neural network with improved activation function is proposed. The main improvement is to combine the LReLU function with the Softplus function and propose a new LReLU-Softplus activation function. The lack of smoothness of the LReLU function leads to poor average performance of the model and the Softplus function has the problem of output offset which will affect the convergence of the network. The improved activation function inherits the advantages of LReLU function in parts less than 0, solves the problem of numerical offset and neuron death, and inherits the smoothness of Softplus function in parts greater than 0. Therefore, an improved LReLU-Softplus activation function is proposed in this paper, which makes the new activation function have the advantages of LReLU and Softplus, while avoiding the disadvantages of both. In order to improve the classification ability of the model. (2) A convolutional neural network model with improved Fisher criterion is proposed. The main improvement is to use a new inter-class scatter matrix to define it as the absolute value of the square mean difference between two classes of samples after projection, so as to improve the Fisher criterion. Then the improved Fisher criterion is used to improve the cost function of CNN. The idea of Fisher criterion is to find an optimal projection axis, so that the distance between the two kinds of samples in the projection region of the axis is maximum, so that the optimal classification effect can be obtained. However, the Fisher criterion has a disadvantage of "rank limitation". The number of discriminant information obtained is limited by the number of categories, which affects the performance of recognition. In this paper, the "rank limitation" problem is alleviated by improving the Fisher criterion, and the convolution neural network model based on the improved Fisher criterion is constructed by modifying the CNN cost function. In order to improve the classification and recognition rate of CNN and make the model converge quickly when the training samples are small. (3) the two methods proposed in this paper are used in the women's merchandise image database, the Mnist handwritten number database, respectively. The ImageNet image library and the Oxford flowers image library are verified by experiments. In the experiment, the improved LReLU-Softplus activation function is verified and compared with the Sigrmoid,Tanh,ReLU,LReLU and Softplus functions, and the CNN algorithm (IFCNN) based on the improved Fisher criterion is compared with the CNN,SAE,FCNN algorithm. The experimental results show that the improved method is effective and feasible.
【學(xué)位授予單位】：廣西師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊曉帥 ,付玫;神經(jīng)網(wǎng)絡(luò)技術(shù)讓管理更輕松[J];軟件世界;2000年11期

2 云中客;新的神經(jīng)網(wǎng)絡(luò)來(lái)自于仿生學(xué)[J];物理;2001年10期

3 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

4 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長(zhǎng)沙鐵道學(xué)院學(xué)報(bào);2003年02期

5 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

6 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

7 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

8 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

9 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場(chǎng)預(yù)測(cè)中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

10 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過(guò)去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

相關(guān)會(huì)議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡(jiǎn)單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛(ài)克;馬盡文;丁康;;序言(二)[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國(guó)神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩(shī)武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評(píng)估中的應(yīng)用[A];第十二屆全國(guó)心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬(wàn)強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國(guó)設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美國(guó)明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國(guó)家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國(guó)教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國(guó)紡織報(bào);2003年

4 中國(guó)科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國(guó)際先進(jìn)水平[N];中國(guó)電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過(guò)鑒定[N];中國(guó)船舶報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無(wú)線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究[D];大連理工大學(xué);2015年

5 付愛(ài)民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國(guó)農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國(guó)礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測(cè)算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測(cè)的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測(cè)及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測(cè)研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測(cè)研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類時(shí)滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號(hào)：2297442