發(fā)布時(shí)間：2021-09-22 04:26

　　深度學(xué)習(xí)已在視覺(jué)、語(yǔ)音、自然語(yǔ)言等應(yīng)用領(lǐng)域取得巨大成功,然而隨著網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜,神經(jīng)網(wǎng)絡(luò)參數(shù)量也迅速增長(zhǎng),設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)和調(diào)節(jié)參數(shù)這一過(guò)程需要大量的專業(yè)知識(shí)與反復(fù)試驗(yàn),成本極高。此外,由于功耗限制與存儲(chǔ)空間等因素,移動(dòng)端設(shè)備上的神經(jīng)網(wǎng)絡(luò)模型規(guī)模受限。設(shè)計(jì)了一種高效的移動(dòng)端神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法,具體包括:（1）設(shè)計(jì)了一種在預(yù)先給定神經(jīng)網(wǎng)絡(luò)架構(gòu)的情況下可以自動(dòng)計(jì)算模型浮點(diǎn)數(shù)運(yùn)算次數(shù)的算法;（2）改進(jìn)現(xiàn)有的基于梯度的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法,設(shè)計(jì)了一種帶約束的架構(gòu)搜索算法;（3）在神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索過(guò)程中加入對(duì)浮點(diǎn)數(shù)運(yùn)算次數(shù)的約束,通過(guò)調(diào)節(jié)約束的強(qiáng)弱搜索到幾種不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。訓(xùn)練搜索到的神經(jīng)網(wǎng)絡(luò),測(cè)試其在圖像分類任務(wù)上的性能,并與工業(yè)界常用的模型相比較。實(shí)驗(yàn)結(jié)果表明,該方法搜索到的模型能達(dá)到目前工業(yè)界主流模型性能。 

【文章來(lái)源】：電子技術(shù)應(yīng)用. 2020,46(12)

【文章頁(yè)數(shù)】：6 頁(yè)

【部分圖文】：

神經(jīng)網(wǎng)絡(luò)總體結(jié)構(gòu)

由于搜索空間離散，搜索得到的模型很龐大，本文舍棄一些操作，減小模型的規(guī)模。為了形成這種離散的模型架構(gòu)，對(duì)于每一條邊(i,j)，本文選擇所有非零候選操作中前k個(gè)最好的操作(這k個(gè)操作需要來(lái)自不同節(jié)點(diǎn))。操作的強(qiáng)度由α決定，它的定義為：本文只研究卷積神經(jīng)網(wǎng)絡(luò)，因此取k=2。模型導(dǎo)出如圖3所示。2 實(shí)驗(yàn)和結(jié)果

在本文的算法中，架構(gòu)搜索涉及多維參數(shù)的嵌套優(yōu)化問(wèn)題，因此選用近似的方法降低復(fù)雜度。一階近似和二階近似搜索過(guò)程中訓(xùn)練集與測(cè)試集的準(zhǔn)確率變化如圖4所示。一階近似和二階近似搜索到的計(jì)算單元如圖5所示。兩種近似都可以達(dá)到較好的效果。一階近似平均耗時(shí)9 h，二階近似平均耗時(shí)20 h，二階近似的收斂速度、穩(wěn)定性、驗(yàn)證集準(zhǔn)確率均略優(yōu)于一階近似。2.2.3 帶約束的架構(gòu)搜索

【參考文獻(xiàn)】：
期刊論文
[1]基于BP神經(jīng)網(wǎng)絡(luò)的終端區(qū)擁擠等級(jí)預(yù)測(cè)[J]. 阮昌,李印鳳,高旗.  指揮信息系統(tǒng)與技術(shù). 2019(04)



本文編號(hào)：3403136