發(fā)布時(shí)間：2018-07-07 18:04

  本文選題：深度學(xué)習(xí) + 特征學(xué)習(xí)��； 參考：《華南理工大學(xué)》2016年博士論文

【摘要】：圖像分類是計(jì)算機(jī)視覺領(lǐng)域熱門研究方向之一,也是其他圖像應(yīng)用領(lǐng)域的基礎(chǔ)。圖像分類系統(tǒng)通常分為底層特征提取、圖像表達(dá)、分類器這三個(gè)重要組成部分。其中,特征往往是決定整個(gè)系統(tǒng)優(yōu)劣的重要部分,良好的特征能夠準(zhǔn)確地提取出有利于解決問(wèn)題的信息。要設(shè)計(jì)一個(gè)有效的特征往往需要相應(yīng)領(lǐng)域的先驗(yàn)信息,因此研究者們提出了各種針對(duì)自身領(lǐng)域的特征。但是如果采用這些底層特征直接進(jìn)行像大規(guī)模圖像分類,常常會(huì)達(dá)不到很好的效果。另外,底層特征需要耗費(fèi)大量時(shí)間設(shè)計(jì)和調(diào)優(yōu),這使得底層特征的發(fā)展比較緩慢。底層特征難以設(shè)計(jì)和調(diào)優(yōu)的瓶頸使得圖像分類領(lǐng)域難以更進(jìn)一步。因此研究者們從設(shè)計(jì)特征轉(zhuǎn)而研究學(xué)習(xí)特征,希望能夠從圖像中自動(dòng)地學(xué)習(xí)出有效的特征。研究發(fā)現(xiàn)利用深度卷積網(wǎng)絡(luò)能夠從海量的圖像中自主地學(xué)習(xí)出底層到高層的特征,并使得圖像分類任務(wù)接近人類的水平。因此,特征學(xué)習(xí)成為了圖像分類領(lǐng)域的重點(diǎn)方向,且具有廣泛的應(yīng)用價(jià)值。針對(duì)圖像分類中特征學(xué)習(xí)的問(wèn)題,本文沿著將單層特征學(xué)習(xí)擴(kuò)展到多層特征學(xué)習(xí),并將深層特征學(xué)習(xí)方法應(yīng)用到實(shí)際問(wèn)題這一路線,對(duì)特征學(xué)習(xí)進(jìn)行了研究,主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下:1.研究了單層特征學(xué)習(xí)方法和多層特征學(xué)習(xí)與分類方法,將受限玻爾茲曼機(jī)、自動(dòng)編碼機(jī)、稀疏編碼和子空間學(xué)習(xí)都作為單層特征學(xué)習(xí)方法進(jìn)行研究。通過(guò)研究多層特征學(xué)習(xí)與分類方法,我們可以將有監(jiān)督的單層特征學(xué)習(xí)方法應(yīng)用到卷積網(wǎng)絡(luò)中。2.本文提出了基于流形學(xué)習(xí)的逐層鑒別式特征學(xué)習(xí)方法——DLANet。該特征學(xué)習(xí)方法采用了卷積網(wǎng)絡(luò)結(jié)構(gòu),將鑒別式局部配準(zhǔn)(Discriminative Locality Alignment,DLA)用于學(xué)習(xí)卷積結(jié)構(gòu)中的濾波器組,使得特征在降維后的子空間中有更好的鑒別性。我們將DLANet特征作為底層特征用于LLC-SPM圖像分類框架中,并應(yīng)用到場(chǎng)景分類任務(wù)上。我們?cè)贜YU Depth V1、Scene-15和MIT Indoor-67三個(gè)場(chǎng)景分類數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明可學(xué)習(xí)的DLANet特征優(yōu)于其他手工特征,同時(shí)也優(yōu)于同類的PCANet特征和LDANet特征。本文提出的場(chǎng)景分類系統(tǒng)與其他方法相比也是可比的。3.本文提出了一個(gè)新的訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)準(zhǔn)則,最大間隔最小分類誤差(Max-margin Minimum Classification Error,M3CE)。不同于Softmax和交叉熵準(zhǔn)則,最小分類誤差(Minimum Classification Error,MCE)準(zhǔn)則希望提升標(biāo)注對(duì)應(yīng)的后驗(yàn)概率并降低混淆類別的后驗(yàn)概率。為了能夠更好地訓(xùn)練深度網(wǎng)絡(luò),防止梯度彌散,我們改進(jìn)了MCE中的損失函數(shù)提出了M3CE。我們?cè)贛NIST和CIFAR-10數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)表明M3CE作為交叉熵的有效補(bǔ)充能夠取得較好的結(jié)果。4.本文將深度卷積網(wǎng)絡(luò)應(yīng)用到文本行語(yǔ)言分類和手寫印刷體分類問(wèn)題。為了更好地訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)以適應(yīng)文本行數(shù)據(jù)庫(kù),本文提出了文本行輸入方式,該技術(shù)能夠同時(shí)處理三個(gè)尺度的文本行。通過(guò)這個(gè)技術(shù),卷積網(wǎng)絡(luò)能夠在訓(xùn)練時(shí)覆蓋更多的文本內(nèi)容從而學(xué)習(xí)到更具鑒別性的特征。本文提出文本行圖片自重現(xiàn)機(jī)制(Self-Reappeared Padding Scheme,SRPS)來(lái)解決樣本不足的問(wèn)題。另外,為了同時(shí)解決解決語(yǔ)言分類和手寫印刷體分類兩個(gè)問(wèn)題,本文提出了兩階段多任務(wù)學(xué)習(xí)框架來(lái)學(xué)習(xí)得到魯棒的共享特征。最后,本文在3種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上試驗(yàn)并分析本文提出的方法。實(shí)驗(yàn)結(jié)果表明文本行輸入方式能夠明顯地提升識(shí)別率,而兩階段多任務(wù)學(xué)習(xí)得到的卷積神經(jīng)網(wǎng)絡(luò)分別在語(yǔ)言分類和手寫印刷體分類問(wèn)題上獲得高于95%和99%的準(zhǔn)確率。
[Abstract]:Image classification is one of the hot research fields in the field of computer vision, and it is also the basis of other image application fields. The image classification system is usually divided into three important components, the underlying feature extraction, the image expression and the classifier. Among them, the feature is often the important part of the whole system, and the good feature can be extracted accurately. It is beneficial to solve the problem of the problem. To design an effective feature often requires a prior information in the corresponding domain, so the researchers have proposed a variety of characteristics for their own domain. But if these underlying features are used directly to classify a large scale image directly, it often fails to achieve good results. In addition, the underlying features need to be made. It takes a lot of time to design and tune, which makes the development of the underlying features relatively slow. The bottleneck in the design and optimization of the underlying features makes it difficult to further the image classification field. Therefore, the researchers turn from the design features to the learning features, hoping to learn the effective features automatically from the images. The degree convolution network can learn the characteristics of the bottom to the high level from the massive image, and make the image classification task close to the human level. Therefore, the feature learning has become the key direction of the image classification field and has a wide application value. Learning is extended to multi-layer feature learning, and the deep feature learning method is applied to the practical problem. The main research content and innovation are as follows: 1. the single layer feature learning method and multi-layer feature learning and classification method are studied, and the limited Boltzmann machine, automatic coding machine, sparse coding and subdivision are carried out. Spatial learning is studied as a single feature learning method. By studying multi-layer feature learning and classification methods, we can apply a supervised single layer feature learning method to convolution network (.2.) in this paper, a hierarchical feature learning method based on manifold learning is proposed in this paper, DLANet. is used in the feature learning method. Discriminative Locality Alignment (DLA) is used to learn the filter banks in the convolution structure, which makes the feature better in the subspace after reducing the dimension. We use the DLANet feature as the underlying feature in the LLC-SPM image classification framework and apply it to the scene classification task. Experiments are carried out on three scene classification data sets of NYU Depth V1, Scene-15 and MIT Indoor-67. The experimental results show that the learning DLANet features are superior to other handmade features, and are also superior to the PCANet features and LDANet features of the same kind. The proposed scene classification system is also a comparable.3. article. The new training depth neural network criterion, the maximum interval minimum classification error (Max-margin Minimum Classification Error, M3CE). Unlike the Softmax and the cross entropy criterion, the minimum classification error (Minimum Classification Error, MCE) is expected to increase the posterior probabilities corresponding to the annotation and reduce the posterior probability of the confusion category. Well training depth network and preventing gradient dispersion, we improved the loss function in MCE and proposed M3CE.. We carried out experiments on MNIST and CIFAR-10 data sets. The experiment shows that M3CE is an effective complement to cross entropy and good results can be obtained..4. in this paper, the depth convolution network is applied to text line language classification and handwriting printing. In order to better train the convolution neural network to adapt to the text row database, this paper proposes a text line input method, which can handle three scales of text simultaneously. Through this technique, the convolution network can cover more text content in training to learn more discriminative features. Self-Reappeared Padding Scheme (SRPS) is used to solve the problem of lack of sample. In addition, in order to solve two problems of language classification and handprint classification, this paper proposes a two stage multi task learning framework to learn robust sharing features. Finally, this paper is in 3 convolution neural networks. The experimental results show that the text row input method can obviously improve the recognition rate, and the convolution neural network obtained in the two stage multitask learning obtains the accuracy of higher than 95% and 99% on the classification of language classification and the handprint classification.
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李秀英;;網(wǎng)絡(luò)環(huán)境下學(xué)生學(xué)習(xí)的特點(diǎn)[J];教師;2009年04期

2 夏定海,黃智英;教會(huì)學(xué)習(xí) 學(xué)會(huì)學(xué)習(xí) 終身學(xué)習(xí)[J];發(fā)明與革新;2000年06期

3 黃啟兵;汪芳;;論網(wǎng)絡(luò)時(shí)代學(xué)習(xí)與創(chuàng)新的統(tǒng)一[J];教學(xué)研究;2002年03期

4 陳相安;把檔案部門建成學(xué)習(xí)型組織[J];中國(guó)檔案;2003年09期

5 顧新,蔡兵,李久平;學(xué)習(xí)與學(xué)習(xí)型社會(huì)[J];軟科學(xué);2004年02期

6 鄭軍;試論編輯的學(xué)習(xí)特征[J];中國(guó)編輯;2005年06期

7 邱曉榮,孔一童;試論網(wǎng)絡(luò)環(huán)境中的合作學(xué)習(xí)[J];當(dāng)代教育論壇;2005年02期

8 冷平,王仁蓉,刁永鋒;網(wǎng)絡(luò)學(xué)習(xí)的成功要素探析[J];教育信息化;2005年03期

9 張建光;朱秀娥;張笑雙;;網(wǎng)絡(luò)學(xué)習(xí)社區(qū)的特征和構(gòu)建[J];中國(guó)教育技術(shù)裝備;2006年03期

10 徐曉涌;;創(chuàng)建學(xué)習(xí)型企業(yè)莫入誤區(qū)[J];中國(guó)郵政;2006年02期

相關(guān)會(huì)議論文 前10條

1 韓文;;讓合作學(xué)習(xí)在逆境中重生[A];中華教育理論與實(shí)踐科研論文成果選編（第2卷）[C];2010年

2 呂啟春;;淺談小學(xué)數(shù)學(xué)中的小組合作學(xué)習(xí)[A];2014年1月現(xiàn)代教育教學(xué)探索學(xué)術(shù)交流會(huì)論文集[C];2014年

3 杜俊娟;;用學(xué)習(xí)動(dòng)機(jī)培養(yǎng)策略課題的學(xué)習(xí)對(duì)體育教師進(jìn)行研究性學(xué)習(xí)培養(yǎng)的實(shí)驗(yàn)研究[A];第七屆全國(guó)體育科學(xué)大會(huì)論文摘要匯編（一）[C];2004年

4 瞿春波;;淺議合作學(xué)習(xí)之誤區(qū)[A];校園文學(xué)編輯部寫作教學(xué)年會(huì)論文集[C];2007年

5 時(shí)龍;;把握分析學(xué)情是改進(jìn)教學(xué)和促進(jìn)學(xué)習(xí)的基礎(chǔ)[A];2012·學(xué)術(shù)前沿論叢——科學(xué)發(fā)展：深化改革與改善民生（下）[C];2012年

6 韋彩紅;;如何組織學(xué)生共享學(xué)習(xí)成果[A];中華教育理論與實(shí)踐科研論文成果選編（第2卷）[C];2010年

7 格保耿;;培養(yǎng)學(xué)生學(xué)習(xí)物理的興趣[A];2014年5月現(xiàn)代教育教學(xué)探索學(xué)術(shù)交流會(huì)論文集[C];2014年

8 鈕榮榮;;關(guān)于小學(xué)數(shù)學(xué)教學(xué)中小組合作學(xué)習(xí)的幾點(diǎn)思考[A];2014年6月現(xiàn)代教育教學(xué)探索學(xué)術(shù)交流會(huì)論文集[C];2014年

9 陳妙;;讓數(shù)學(xué)課堂效率得到真正的提高——淺談新課改下學(xué)生學(xué)習(xí)興趣的培養(yǎng)[A];中華教育理論與實(shí)踐科研論文成果選編（第3卷）[C];2010年

10 黃春妙;;淺談?wù)Z文課堂合作學(xué)習(xí)的有效把握[A];中華教育理論與實(shí)踐科研論文成果選編（第3卷）[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 農(nóng)行浙江東陽(yáng)支行 吳新國(guó) 周龍飛;銀行如何創(chuàng)建學(xué)習(xí)型組織[N];上海金融報(bào);2003年

2 西北師范大學(xué) 李瑾瑜;校長(zhǎng)：如何引領(lǐng)和促進(jìn)教師學(xué)習(xí)[N];中國(guó)教育報(bào);2008年

3 永壽縣店頭中學(xué) 劉俊鋒;大力提倡合作學(xué)習(xí) 全面促進(jìn)有效教學(xué)[N];咸陽(yáng)日?qǐng)?bào);2009年

4 本報(bào)評(píng)論員;要在真學(xué)習(xí)上下功夫[N];酒泉日?qǐng)?bào);2009年

5 本報(bào)記者 李天然;學(xué)習(xí)應(yīng)該是一種終身行為[N];大連日?qǐng)?bào);2010年

6 劉繼芳;淺議建設(shè)學(xué)習(xí)型黨組織中的“學(xué)習(xí)”內(nèi)涵[N];伊犁日?qǐng)?bào)(漢);2010年

7 哈爾濱市第五醫(yī)院 蒙碩;淺談醫(yī)院創(chuàng)建學(xué)習(xí)型黨組織[N];黑龍江日?qǐng)?bào);2010年

8 翟愛霞;淺談如何深入推進(jìn)學(xué)習(xí)型黨組織建設(shè)[N];太行日?qǐng)?bào);2011年

9 李振 上海交通大學(xué)國(guó)際與公共事務(wù)學(xué)院;制度變遷中的制度學(xué)習(xí)[N];中國(guó)社會(huì)科學(xué)報(bào);2012年

10 重慶市教育評(píng)估院院長(zhǎng)、中國(guó)高等教育學(xué)會(huì)學(xué)習(xí)科學(xué)研究分會(huì)常務(wù)副會(huì)長(zhǎng) 龔春燕;實(shí)施新學(xué)習(xí)，建設(shè)學(xué)習(xí)型社會(huì)[N];中國(guó)教育報(bào);2013年

相關(guān)博士學(xué)位論文 前10條

1 徐峰;基于社會(huì)網(wǎng)絡(luò)的大學(xué)生學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)研究[D];江西財(cái)經(jīng)大學(xué);2014年

2 付亦寧;本科生深層學(xué)習(xí)過(guò)程及其教學(xué)策略研究[D];蘇州大學(xué);2014年

3 張鈺e，

本文編號(hào)：2105793