發(fā)布時間：2021-12-28 07:40

　　隨著復(fù)雜的AI和機(jī)器學(xué)習(xí)應(yīng)用程序在邊緣計算設(shè)備上應(yīng)用需求的增加,支持微型機(jī)器學(xué)習(xí)的技術(shù)方法正在不斷涌現(xiàn)。原先的研究人員持有這樣的觀點(diǎn):對于小樣本一般不建議使用深度學(xué)習(xí)算法,但是現(xiàn)在有關(guān)研究人員開始認(rèn)為小樣本學(xué)習(xí)也具有潛在的適用場景,例如優(yōu)化后的機(jī)器學(xué)習(xí)（Machine Learning,ML）能夠部署在邊緣計算場合,從而有效地實現(xiàn)邊緣智能。在邊緣計算場景下,盡管設(shè)備可以把采集的數(shù)據(jù)送到數(shù)據(jù)中心進(jìn)行訓(xùn)練和獲取深度學(xué)習(xí)的模型,但是這依然受到很多約束,如推理時設(shè)備的內(nèi)存、設(shè)備的計算能力和通信時延。通過合理選擇規(guī)模量化方案以及定點(diǎn)與低精度整數(shù)運(yùn)算,壓縮后的神經(jīng)網(wǎng)絡(luò)模型的性能將在邊緣應(yīng)用中接近浮點(diǎn)運(yùn)算設(shè)計的性能。在探討神經(jīng)網(wǎng)絡(luò)規(guī)模壓縮基礎(chǔ)知識和微型機(jī)器學(xué)習(xí)等方法之后,本文將重點(diǎn)討論在邊緣計算設(shè)備的神經(jīng)網(wǎng)絡(luò)適配,即一種微型機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的規(guī)模壓縮�；谏鲜鏊枷�,本文第一個工作提出了一種適合邊緣設(shè)備的分布式訓(xùn)練架構(gòu)和一種包含8比特量化的前饋神經(jīng)網(wǎng)絡(luò)優(yōu)化設(shè)計。它可能便于在多個設(shè)備上進(jìn)行微型的、快速的分布式訓(xùn)練和推理以及降低總的網(wǎng)絡(luò)延遲。其次,本文第二個工作構(gòu)建一個淺層卷積神經(jīng)網(wǎng)絡(luò)。通過使用Pyto... 

【文章來源】：南京郵電大學(xué)江蘇省

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【部分圖文】：

全連接神經(jīng)網(wǎng)絡(luò)

ReLu非線性展示

南京郵電大學(xué)專業(yè)學(xué)位碩士研究生學(xué)位論文第二章神經(jīng)網(wǎng)絡(luò)模型壓縮基礎(chǔ)知識16圖2.3兩個完全連接的層的修剪連接圖2.3中，左側(cè)的圖顯示了修剪前的連接網(wǎng)絡(luò)，而右側(cè)的圖顯示了修剪后的連接網(wǎng)絡(luò)。修剪權(quán)重的一種方法是刪除相對不相關(guān)的連接。為此，我們將設(shè)置一個閾值并刪除該閾值以下的絕對值。為了確定該閾值，我們將利用權(quán)重矩陣的均值和方差。通過為不同的權(quán)重矩陣找到不同的閾值，我們將嘗試最大程度地提高此方法的效率。（2）修剪節(jié)點(diǎn)這種修剪方法通過從圖層中刪除節(jié)點(diǎn)以及與之相連的所有權(quán)重來減少浮點(diǎn)操作的數(shù)量，如圖2.4所示。讓我們假設(shè)兩個完全連接的，即k和k+1。計算這兩層輸出的計算復(fù)雜度為：()()111(1)()FCFCkkkkkkOoOmmm(2.41)假設(shè)我們從k層中刪除了一個節(jié)點(diǎn)，那么復(fù)雜度將降低-1+1+kkmm。圖2.4修剪完全連接到兩層的一層的節(jié)點(diǎn)圖2.4左側(cè)的圖顯示了修剪之前的節(jié)點(diǎn)結(jié)構(gòu)，而右側(cè)的圖顯示了修剪之后的節(jié)點(diǎn)結(jié)構(gòu)。類似于全連接層，卷積層k也包含m（k）個節(jié)點(diǎn)。唯一的不同是，在卷積層中，這些節(jié)點(diǎn)在維度kH和kW中重復(fù)。因此，可以將該技術(shù)應(yīng)用于卷積層。為了確定要修剪的節(jié)點(diǎn)，我們將其看成兩個簡單的修剪標(biāo)準(zhǔn)，激活計數(shù)和激活方差。之后將說明應(yīng)用修剪的訓(xùn)練周期。假設(shè)ReLU層激活，我們可以計算每個節(jié)點(diǎn)的激活次數(shù)，并確定不使用哪些節(jié)點(diǎn)。我們可以使用激活計數(shù)的平均值和方差來設(shè)置范圍，并修剪超出此范圍的節(jié)點(diǎn)。這樣，我們可以確定不經(jīng)常使用的節(jié)點(diǎn)或過于頻繁使用的節(jié)點(diǎn)。首先，我們使用隨機(jī)權(quán)重初始化模型。模型收斂后，我們將根據(jù)所選的修剪標(biāo)準(zhǔn)收集統(tǒng)計信息。使用這些統(tǒng)計數(shù)據(jù)，我們可以修剪模型。如果我們已經(jīng)成功修剪了所有節(jié)點(diǎn)，那么我們將返回訓(xùn)練步驟，并不斷重復(fù)這些步驟，直到

【參考文獻(xiàn)】：
期刊論文
[1]模型剪枝與低精度量化融合的DNN模型壓縮算法[J]. 吳進(jìn),楊雪,胡怡青.  電訊技術(shù). 2020(06)
[2]卷積神經(jīng)網(wǎng)絡(luò)算法模型的壓縮與加速算法比較[J]. 李思奇.  信息與電腦(理論版). 2019(11)
[3]大腦聽覺系統(tǒng)建模研究進(jìn)展[J]. 王聰,張巧麗,趙地,遲學(xué)斌.  計算機(jī)科學(xué). 2016(S2)

碩士論文
[1]神經(jīng)網(wǎng)絡(luò)規(guī)模自適應(yīng)技術(shù)研究[D]. 劉至家.南京大學(xué) 2019
[2]基于剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法研究[D]. 靳麗蕾.河北大學(xué) 2019
[3]基于深度學(xué)習(xí)的移動端圖像識別算法[D]. 黃萱昆.北京郵電大學(xué) 2018



本文編號：3553693