卷積神經(jīng)網(wǎng)絡(luò)（CNN）的快速發(fā)展,使得計(jì)算機(jī)視覺領(lǐng)域取得重大的突破,并在圖像識(shí)別、圖像分割及目標(biāo)檢測(cè)等方向取得了令人矚目的成績(jī)。卷積神經(jīng)網(wǎng)絡(luò)具有豐富的表示功能,能夠處理計(jì)算機(jī)視覺領(lǐng)域中很多的復(fù)雜問題。如自動(dòng)駕駛、目標(biāo)檢測(cè)和醫(yī)學(xué)圖像成像等問題。隨著數(shù)據(jù)規(guī)模的擴(kuò)大,導(dǎo)致處理問題的卷積神經(jīng)網(wǎng)絡(luò)層數(shù)加深。深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練大規(guī)模數(shù)據(jù)集需要耗費(fèi)很多的時(shí)間和占用大量的GPU計(jì)算資源。在實(shí)際中,往往沒有足夠的計(jì)算資源去處理大數(shù)據(jù)集,如何在小機(jī)器上處理大數(shù)據(jù)問題是在實(shí)際中是十分重要的。本文以卷積神經(jīng)網(wǎng)絡(luò)為研究對(duì)象,提出了一種區(qū)域分解和組合的遷移學(xué)習(xí)算法來解決這個(gè)問題。本文主要是圍繞卷積網(wǎng)絡(luò)的分解和組合兩個(gè)方面進(jìn)行深入研究。該算法是是受到域分解思想的啟發(fā),提出了一種分解和組合的遷移學(xué)習(xí)算法。首先,對(duì)卷積網(wǎng)絡(luò)的如何分解和組合過程進(jìn)行了詳細(xì)的介紹。其次是研究如何劃分卷積網(wǎng)絡(luò),即卷積網(wǎng)絡(luò)劃分成多少個(gè)子網(wǎng)絡(luò)。最后通過實(shí)驗(yàn)驗(yàn)證了分解和組合遷移學(xué)習(xí)算法的有效性。實(shí)驗(yàn)驗(yàn)證部分采用計(jì)算機(jī)視覺中圖像分類和圖像分割兩個(gè)常見的任務(wù)進(jìn)行驗(yàn)證,這體現(xiàn)了該算法的廣泛適用性。對(duì)于圖像分類任務(wù),本文采用CIFAR₁

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院)廣東省

【文章頁數(shù)】：59 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

基于區(qū)域分解的卷積神經(jīng)網(wǎng)絡(luò)的算法研究10特征信息。卷積層數(shù)越靠前，提取的特征級(jí)別越低，卷積層數(shù)越靠后，提取的特征級(jí)別越高。即前面幾個(gè)卷積層都是圖片的低級(jí)別特征，如圖像的顏色、邊緣信息等[6]。后幾個(gè)卷積層的特征都是高級(jí)別特征,如圖像的形狀和輪廓等。卷積層具有局部連接和權(quán)重共享的特點(diǎn)。局部連接的目的時(shí)學(xué)習(xí)到圖像的局部特征，就是卷積層的節(jié)點(diǎn)僅與上一層的部分節(jié)點(diǎn)相連接。在一張圖片中，像素點(diǎn)離得越近，相關(guān)性就越高，離得越遠(yuǎn)，相關(guān)性越低。由此可以看出，卷積層的局部連接非常適用于處理圖片數(shù)據(jù)。局部連接大大減少了神經(jīng)網(wǎng)絡(luò)參數(shù)的計(jì)算量，據(jù)統(tǒng)計(jì)，卷積層的參數(shù)量?jī)H占卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的5%左右，全連接層占了95%。由此可以見，相較于全連接神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)的局部連接能夠加快網(wǎng)絡(luò)的學(xué)習(xí)速率，并在一定程度上減少網(wǎng)絡(luò)過擬合的可能。權(quán)重共享是卷積層的另一特點(diǎn)。每個(gè)卷積核會(huì)以固定步長的方式從左向右、從上至下依次和圖像的局部區(qū)域進(jìn)行運(yùn)算。同一個(gè)卷積核處理圖片相同的特征，這就是權(quán)重共享。不用圖像特征需要使用不同卷積核來處理。卷積操作過程如下圖2.2所示。圖2.2卷積操作過程2.2.2池化層池化又稱為下采樣，它是卷積神經(jīng)網(wǎng)絡(luò)的重要部分。池化分為最大池化和平均池化兩種操作，其中使用最多的是最大池化。池化層操作過程是將上一個(gè)卷積層的輸出分解成若干個(gè)子區(qū)域，并對(duì)每個(gè)子區(qū)域求最大值(最大池化)或平均值(平均池化)。這種操作會(huì)讓特征失去在圖片上的位置信息，但特征在圖片上的位置信息遠(yuǎn)遠(yuǎn)沒有特征本身和其他特征的相對(duì)位置。最大池化通常能找到每個(gè)子區(qū)域最顯著的特征，這非常適合于圖像識(shí)別任務(wù)。池化操作有三個(gè)作用：1)池化操

池化操作


本文編號(hào)：3388705