隨著技術(shù)的發(fā)展,深度神經(jīng)網(wǎng)絡(luò)所代表的AI,是被大家所公認(rèn)的技術(shù)。目前,深度卷積神經(jīng)網(wǎng)絡(luò)已被廣泛的在計(jì)算機(jī)視覺、語(yǔ)音、自然語(yǔ)言等各大領(lǐng)域應(yīng)用,并獲得很好的效果和巨大的成功。而深度卷積神經(jīng)網(wǎng)絡(luò)則是深度學(xué)習(xí)不可缺少的一部分,但是深度卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)巨大,遷移學(xué)習(xí)困難,硬件需求條件巨大,在較小的硬件上更是無法訓(xùn)練,或者使用這些效果較好的模型。如何將深度卷積神經(jīng)網(wǎng)絡(luò)模型壓縮的更小,使得模型能夠在較小的硬件設(shè)備上運(yùn)行,其好處是顯而易見的。因此,本文提出的一種深度網(wǎng)絡(luò)模型的壓縮方法,主要包括以下三大步驟:第一步,提出一個(gè)自適應(yīng)重復(fù)剪枝算法（Adaptive repetitive Pruning）,對(duì)網(wǎng)絡(luò)的權(quán)重進(jìn)行逐層閾值修剪,通過閾值遞增來修剪,同時(shí)對(duì)網(wǎng)絡(luò)進(jìn)行恢復(fù)性訓(xùn)練,找到影響模型精度的連接,然后重復(fù)裁剪權(quán)值連接,留下重要連接,裁剪不重要的連接,同時(shí)保證網(wǎng)絡(luò)的精度不變。完成對(duì)網(wǎng)絡(luò)模型的第一步壓縮,使得深度網(wǎng)絡(luò)參數(shù)得到有效的減少。第二步,使用Mini Batch-K-means聚類算法對(duì)權(quán)重每層進(jìn)行聚類,通過對(duì)每層權(quán)值進(jìn)行聚類后,將所得的聚類中心來表示每層的權(quán)值,這樣可以實(shí)現(xiàn)權(quán)值共享的效果,此時(shí)... 

【文章來源】：廣東工業(yè)大學(xué)廣東省

【文章頁(yè)數(shù)】：74 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

神經(jīng)網(wǎng)絡(luò)

圖 2-1 一個(gè)簡(jiǎn)單的生物神經(jīng)元Figure 2-1 A simple biological neuron傳遞信息并表達(dá)出所需的信息。早在 1943 年一個(gè)神經(jīng)元的簡(jiǎn)單模型，如下圖 2-2 所示。

10圖 2-2 簡(jiǎn)單的神經(jīng)元模型Figure 2-2 Simple neuron modeln所代表的該神經(jīng)元的輸入信號(hào)，wi1~win則重，不同的權(quán)重有著不同的影響，而求和號(hào)的處理。圖中還有一個(gè)比較特殊的就是因此神經(jīng)元不會(huì)被這個(gè)輸入激活，也就是個(gè)輸入 x 和其權(quán)值 w 進(jìn)行乘積和得到一個(gè)sum(*)1inii xw

【參考文獻(xiàn)】：
期刊論文
[1]人工智能大國(guó)戰(zhàn)略[J]. 趙剛.  當(dāng)代縣域經(jīng)濟(jì). 2017(06)
[2]人工智能的進(jìn)展及發(fā)展建議[J]. 王瑩.  電子產(chǎn)品世界. 2017(Z1)
[3]深度學(xué)習(xí)研究綜述[J]. 孫志軍,薛磊,許陽(yáng)明,王正.  計(jì)算機(jī)應(yīng)用研究. 2012(08)



本文編號(hào)：2944273