深度神經(jīng)網(wǎng)絡(luò)在許多實(shí)際應(yīng)用中,如圖像分類、目標(biāo)檢測(cè)等,已經(jīng)打敗了許多傳統(tǒng)機(jī)器學(xué)習(xí)算法甚至超越了人類水平。但想要獲得更好的預(yù)測(cè)指標(biāo),加深神經(jīng)網(wǎng)絡(luò)層數(shù)是不可避免的,這意味著需要消耗巨大的計(jì)算資源。對(duì)嵌入式等資源受限設(shè)備是很難接受的,計(jì)算瓶頸極大地阻礙了人工智能產(chǎn)業(yè)化的發(fā)展。DenseNet是最近提出的神經(jīng)網(wǎng)絡(luò)架構(gòu),在許多視覺任務(wù)中達(dá)到了業(yè)界最先進(jìn)的水平。然而,由于內(nèi)部結(jié)構(gòu)中層與層之間測(cè)稠密連接,它具有很大的冗余度,導(dǎo)致這種密集網(wǎng)絡(luò)在實(shí)際部署推斷過(guò)程中具有高計(jì)算成本。人為無(wú)法判斷出DenseNet內(nèi)部哪些連接是不必要的,為了解決這個(gè)問題,本文使用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法（NAS）來(lái)自動(dòng)化學(xué)習(xí)和設(shè)計(jì)計(jì)算資源受限下的最優(yōu)子網(wǎng)絡(luò)架構(gòu)。具體地,將DenseNet拓?fù)浣Y(jié)構(gòu)定義為搜索空間,基于預(yù)訓(xùn)練DenseNet模型,設(shè)計(jì)了一個(gè)A2C強(qiáng)化學(xué)習(xí)框架作為搜索策略,使用長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM表示策略網(wǎng)絡(luò),多層感知機(jī)MLP表示價(jià)值網(wǎng)絡(luò)。策略網(wǎng)絡(luò)的輸出為高維伯努利分布,基于策略分布采樣可以制定原始DenseNet結(jié)構(gòu)中內(nèi)部新的連接方式,從而得到新的子網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。對(duì)于學(xué)習(xí)到的子網(wǎng)絡(luò),還制定了神經(jīng)網(wǎng)絡(luò)架構(gòu)性能評(píng)估策略... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：84 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

LeNet-5神經(jīng)網(wǎng)絡(luò)架構(gòu)，總共有７層神經(jīng)網(wǎng)絡(luò)構(gòu)成，圖中每一個(gè)截面表示一個(gè)

第二章 深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)發(fā)展概述Euclidean Radical Basis Function，ERBF）組成，輸出維度為等于 MINST 數(shù)據(jù)集類類別數(shù) 10。表 2-1 S2層與 C3層特征圖的連接方式[1]0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 150 X X X X X X X X X X1 X X X X X X X X X X2 X X X X X X X X X X3 X X X X X X X X X X4 X X X X X X X X X X5 X X X X X X X X X X.2 AlexNet 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

這種成功也伴隨著對(duì)神經(jīng)網(wǎng)絡(luò)架構(gòu)工程需求的日益增長(zhǎng)，為了更好地解決計(jì)算機(jī)任務(wù)，越來(lái)越復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)被手動(dòng)設(shè)計(jì)出來(lái)，如第二章介紹。而在第三章中，我們主要介紹了深度強(qiáng)化學(xué)習(xí)算法，而深度強(qiáng)化學(xué)習(xí)已經(jīng)代替人類專家在神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)領(lǐng)域做出了很多成功的方法[48]。本章我們主要介紹自動(dòng)化設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu)問題以及強(qiáng)化學(xué)習(xí)、演化學(xué)習(xí)在該領(lǐng)域的應(yīng)用。4.1 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索問題介紹神經(jīng)架構(gòu)搜索（Neural architecture search，NAS）是神經(jīng)網(wǎng)絡(luò)架構(gòu)工程自動(dòng)化的過(guò)程，其被提出的初衷是希望神經(jīng)網(wǎng)絡(luò)架構(gòu)學(xué)習(xí)與設(shè)計(jì)像深度學(xué)習(xí)對(duì)特征提取一樣，使得學(xué)習(xí)到的網(wǎng)絡(luò)模型比人工設(shè)計(jì)的模型性能更優(yōu)，并且可以不用耗費(fèi)大量的專家經(jīng)驗(yàn)。因此 NAS 是機(jī)器學(xué)習(xí)自動(dòng)化領(lǐng)域下一步需要解決的問題。NAS 可以看作是 AutoML 的子領(lǐng)域，并且與超級(jí)參數(shù)優(yōu)化（Hyperparameter optimization）和元學(xué)習(xí)（Meta learning）有較多交叉的地方。我們主要通過(guò)三個(gè)維度對(duì) NAS 的方法進(jìn)行介紹：搜索空間、搜索策略和性能評(píng)估策略。


本文編號(hào)：2905168