深度學習已在視覺、語音、自然語言等應(yīng)用領(lǐng)域取得巨大成功,然而隨著網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜,神經(jīng)網(wǎng)絡(luò)參數(shù)量也迅速增長,設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)和調(diào)節(jié)參數(shù)這一過程需要大量的專業(yè)知識與反復(fù)試驗,成本極高。此外,由于功耗限制與存儲空間等因素,移動端設(shè)備上的神經(jīng)網(wǎng)絡(luò)模型規(guī)模受限。設(shè)計了一種高效的移動端神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法,具體包括:（1）設(shè)計了一種在預(yù)先給定神經(jīng)網(wǎng)絡(luò)架構(gòu)的情況下可以自動計算模型浮點數(shù)運算次數(shù)的算法;（2）改進現(xiàn)有的基于梯度的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法,設(shè)計了一種帶約束的架構(gòu)搜索算法;（3）在神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索過程中加入對浮點數(shù)運算次數(shù)的約束,通過調(diào)節(jié)約束的強弱搜索到幾種不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。訓練搜索到的神經(jīng)網(wǎng)絡(luò),測試其在圖像分類任務(wù)上的性能,并與工業(yè)界常用的模型相比較。實驗結(jié)果表明,該方法搜索到的模型能達到目前工業(yè)界主流模型性能。 

【文章來源】：電子技術(shù)應(yīng)用. 2020,46(12)

【文章頁數(shù)】：6 頁

【部分圖文】：

神經(jīng)網(wǎng)絡(luò)總體結(jié)構(gòu)

由于搜索空間離散，搜索得到的模型很龐大，本文舍棄一些操作，減小模型的規(guī)模。為了形成這種離散的模型架構(gòu)，對于每一條邊(i,j)，本文選擇所有非零候選操作中前k個最好的操作(這k個操作需要來自不同節(jié)點)。操作的強度由α決定，它的定義為：本文只研究卷積神經(jīng)網(wǎng)絡(luò)，因此取k=2。模型導(dǎo)出如圖3所示。2 實驗和結(jié)果

在本文的算法中，架構(gòu)搜索涉及多維參數(shù)的嵌套優(yōu)化問題，因此選用近似的方法降低復(fù)雜度。一階近似和二階近似搜索過程中訓練集與測試集的準確率變化如圖4所示。一階近似和二階近似搜索到的計算單元如圖5所示。兩種近似都可以達到較好的效果。一階近似平均耗時9 h，二階近似平均耗時20 h，二階近似的收斂速度、穩(wěn)定性、驗證集準確率均略優(yōu)于一階近似。2.2.3 帶約束的架構(gòu)搜索

【參考文獻】：
期刊論文
[1]基于BP神經(jīng)網(wǎng)絡(luò)的終端區(qū)擁擠等級預(yù)測[J]. 阮昌,李印鳳,高旗.  指揮信息系統(tǒng)與技術(shù). 2019(04)



本文編號：3403136