【摘要】：近年來深度神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)方法很難解決的認(rèn)知類任務(wù)(如語音識別,圖像識別,機(jī)器翻譯)上取得了顛覆性成功。神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)對其性能有著決定性的影響,近年來視覺領(lǐng)域中的很多研究集中于設(shè)計(jì)針對不同任務(wù)的特定網(wǎng)絡(luò)結(jié)構(gòu)。目前神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)主要靠人手工完成,網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)需要使用者擁有相關(guān)的專業(yè)知識并且設(shè)計(jì)過程耗時。近來一些自動化的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法陸續(xù)被提出,然而這些方法只考慮對所設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)測準(zhǔn)確率進(jìn)行優(yōu)化。在實(shí)際應(yīng)用中,除了預(yù)測準(zhǔn)確率,其他類型的代價也非常重要,例如網(wǎng)絡(luò)參數(shù)大小,對于內(nèi)存有限的嵌入式設(shè)備,其所能承受的網(wǎng)絡(luò)參數(shù)大小往往是有限的。因此研究限定代價下的網(wǎng)絡(luò)結(jié)構(gòu)自動化設(shè)計(jì)方法具有重要的應(yīng)用價值。2018年,Veniat和Denoyer提出了一種限定代價下的卷積網(wǎng)結(jié)構(gòu)自動化設(shè)計(jì)方法BSN(Budgeted Super Network),但該方法不能對需要對網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練后才能確定的代價進(jìn)行優(yōu)化,比如訓(xùn)練時間。針對BSN存在的不足,本文在現(xiàn)有基于強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)自動化設(shè)計(jì)方法的基礎(chǔ)上提出了一種限定代價下卷積網(wǎng)結(jié)構(gòu)自動化設(shè)計(jì)方法B-ENAS(Budgeted-Efficient Neural Architecture Search)。我們選取了推斷時間、參數(shù)大小和訓(xùn)練時間三類代表性代價在CIFAR10數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。在推斷時間和參數(shù)大小代價下的實(shí)驗(yàn)中B-ENAS可以像BSN一樣學(xué)得滿足不同代價約束的網(wǎng)絡(luò)結(jié)構(gòu),且網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)測準(zhǔn)確率更高。訓(xùn)練時間代價下的實(shí)驗(yàn)證明了BENAS可以對訓(xùn)練時間這種需要對采樣網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練后才能知道的代價進(jìn)行優(yōu)化,解決了BSN存在的不足。
【學(xué)位授予單位】：中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.41;TP18
【圖文】：

程中獲得的回報(bào)。圖 2.8 基于策略梯度的卷積網(wǎng)自動化設(shè)計(jì)方法基本思路Figure 2.8 The idea of policy gradient based neural architecture search methodsZoph 等.（2017）提出的網(wǎng)絡(luò)結(jié)構(gòu)自動化設(shè)計(jì)方法 NAS（Neuralrchitecture Search）是最早基于策略梯度進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的方法，接下來我將對其思路進(jìn)行詳細(xì)介紹。代理進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)采樣的過程如下：The controllerTrain a child model witharchitecture A to getaccuracy RSample architecture A with probabilityfunction pCompute gradient of p and scale it by Rto update the controller

圖 4.1 B-ENAS 流程圖Figure 4.1 The procedure of B-ENAS代理在定義好的搜索空間中進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)采樣。注意，在步驟一個小的網(wǎng)絡(luò)結(jié)構(gòu)單元，而不是一個完整的網(wǎng)絡(luò)結(jié)構(gòu)，也就是想，在下文中我們將會詳細(xì)介紹。在步驟 b，將采樣得到的網(wǎng)成一個完成的網(wǎng)絡(luò)結(jié)構(gòu)。在步驟 c，對采樣網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練獲取采樣網(wǎng)絡(luò)結(jié)構(gòu)在驗(yàn)證集上的準(zhǔn)確率。在步驟 f，用代價值，懲罰后的值作為即時獎勵。在步驟 g，代理利用獲得的即時.4 部分我們提到，現(xiàn)有限定代價下的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法 BSN 無種需要對采樣網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練后才能知道的代價進(jìn)行優(yōu)化。法 B-ENAS 中，因?yàn)椴蓸泳W(wǎng)絡(luò)結(jié)構(gòu)和代理的參數(shù)的訓(xùn)練并不是R

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 曾水玲,宋鸞嬌,徐蔚鴻;基于遺傳算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化[J];吉首大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年03期

2 王華偉,周經(jīng)倫,沙基昌;基于遺傳算法的一種新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模式研究[J];小型微型計(jì)算機(jī)系統(tǒng);2002年04期

3 王繼成,蔡義發(fā),呂維雪;一種自動生成神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的新方法[J];自動化學(xué)報(bào);1996年01期

4 孟祥武,程虎;優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[J];計(jì)算機(jī)研究與發(fā)展;1997年08期

5 金連文,徐秉錚;基于多級神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的手寫體漢字識別[J];通信學(xué)報(bào);1997年05期

6 楊鐘瑾,史忠科;快速自頂向下優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法[J];系統(tǒng)仿真學(xué)報(bào);2005年01期

7 楊鐘瑾,史忠科;神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法[J];計(jì)算機(jī)工程與應(yīng)用;2004年25期

8 周金榮，黃道，蔣慰孫;一種新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型的應(yīng)用研究[J];自動化學(xué)報(bào);1996年04期

9 江芳澤,李昕;一種用于圖像壓縮的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的研究[J];電子技術(shù)應(yīng)用;1995年07期

10 夏紅霞;王惠營;胡磊;;基于粗糙集的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法[J];計(jì)算機(jī)與數(shù)字工程;2010年05期

相關(guān)會議論文 前10條

1 周金榮;黃道;蔣慰孫;;基于機(jī)理的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及其應(yīng)用的研究[A];1994年中國控制會議論文集[C];1994年

2 舒懷林;李柱;;大純滯后系統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)PID控制器[A];1997中國控制與決策學(xué)術(shù)年會論文集[C];1997年

3 談冉;薛勝軍;;采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)智能通信[A];1996年中國智能自動化學(xué)術(shù)會議論文集（下冊）[C];1996年

4 王科俊;王克成;李國斌;李殿璞;;使用神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性動態(tài)系統(tǒng)辯識的結(jié)構(gòu)和可行性研究[A];1996年中國控制會議論文集[C];1996年

5 武俊;漆德寧;;基于粗集神經(jīng)網(wǎng)絡(luò)的目標(biāo)識別[A];第十七屆全國測控計(jì)量儀器儀表學(xué)術(shù)年會（MCMI'2007）論文集（下冊）[C];2007年

6 歐陽咸泰;;基于策略和經(jīng)驗(yàn)神經(jīng)網(wǎng)絡(luò)的過程控制[A];1997年中國控制會議論文集[C];1997年

7 劉新勇;單光恒;袁著祉;;基于遺傳算法的神經(jīng)網(wǎng)絡(luò)預(yù)測方法及其在上證指數(shù)預(yù)測中的應(yīng)用[A];1996年中國控制會議論文集[C];1996年

8 李明亮;王祖朝;母景琴;李聚光;趙戰(zhàn)明;;基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷研究[A];第四屆中國測試學(xué)術(shù)會議論文集[C];2006年

9 王金甲;王成儒;李靜;;自組織混合神經(jīng)網(wǎng)絡(luò)在說話人識別中的應(yīng)用[A];第一屆學(xué)生計(jì)算語言學(xué)研討會論文集[C];2002年

10 田大新;劉衍珩;朱建啟;王健;;無標(biāo)度神經(jīng)網(wǎng)絡(luò)構(gòu)造算法[A];2006全國復(fù)雜網(wǎng)絡(luò)學(xué)術(shù)會議論文集[C];2006年

相關(guān)博士學(xué)位論文 前3條

1 朱群雄;神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)理論與技術(shù)的研究及其在過程模擬與過程控制中的應(yīng)用[D];北京化工大學(xué);1996年

2 張昭昭;模塊化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自組織設(shè)計(jì)方法[D];北京工業(yè)大學(xué);2013年

3 任懷慶;非線性不確定系統(tǒng)的神經(jīng)網(wǎng)絡(luò)控制研究[D];吉林大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 許強(qiáng);基于強(qiáng)化學(xué)習(xí)的限定代價下卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自動化設(shè)計(jì)[D];中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院);2019年

2 盧劍彪;復(fù)雜環(huán)境下交通標(biāo)志牌的檢測和識別[D];廣東工業(yè)大學(xué);2018年

3 楊英;基于進(jìn)化算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化研究[D];廣東工業(yè)大學(xué);2007年

4 吳偉;基于改進(jìn)遺傳算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化研究[D];蘇州大學(xué);2012年

5 征進(jìn);高階神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化與改進(jìn)[D];大連理工大學(xué);2010年

6 劉曉艷;基于敏感性分析的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇研究[D];河北大學(xué);2008年

7 費(fèi)蕓潔;基于靈敏度分析的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法研究[D];蘇州大學(xué);2007年

8 張慶慶;基于粒子群的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化模型研究[D];西安工程大學(xué);2010年

9 沈而默;多種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在樹葉形狀分類中的應(yīng)用和比較[D];吉林大學(xué);2007年

10 楊萍;基于敏感性的Madaline神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)學(xué)習(xí)算法研究[D];南京信息工程大學(xué);2017年

本文編號：2798854