隨著物聯(lián)網(wǎng)（Internet of Things,IoT）逐步地對傳統(tǒng)行業(yè)進(jìn)行智能化升級,深度學(xué)習(xí)技術(shù)不斷被應(yīng)用到可穿戴設(shè)備、智能家居、無人數(shù)字工廠、無人物流運(yùn)輸和智慧醫(yī)療等方面。然而,如今性能強(qiáng)大的大型卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network,CNN）模型仍然難以在FPGA（Field Programmable Gate Array）和嵌入式等硬件資源非常有限的邊緣設(shè)備上部署使用。所以,亟需對CNN模型進(jìn)行有效地壓縮,從而使網(wǎng)絡(luò)模型滿足邊緣設(shè)備部署應(yīng)用的要求。目前,在CNN模型壓縮算法方面已有許多的工作,學(xué)者們使用不同的方式來降低網(wǎng)絡(luò)的冗余。然而,現(xiàn)有的這類方法在解決邊緣計算的需求時仍然面臨許多挑戰(zhàn)。在當(dāng)前的CNN模型壓縮方法中,都存在著局限于小型的數(shù)據(jù)集和網(wǎng)絡(luò)模型、僅考慮某一方面的要求和只針對GPU處理器實(shí)現(xiàn)加速推理等問題,難以滿足實(shí)際任務(wù)的大型CNN模型在邊緣部署應(yīng)用的要求。因此,針對現(xiàn)有上述邊緣設(shè)備的限制和CNN模型壓縮的問題,提出面向邊緣設(shè)備的壓縮方法。為了滿足既CNN模型在實(shí)際任務(wù)中精確率的要求,也要滿足模型的部署需求,因此針對CNN模型存在的中多... 

【文章來源】：廣東工業(yè)大學(xué)廣東省

【文章頁數(shù)】：63 頁

【學(xué)位級別】：碩士

【部分圖文】：

典型低秩分解方法

圖 2-1 神經(jīng)元的生物及及數(shù)學(xué)模型Figure 2-1 Biological and mathematical models of neuron如圖 2-2 所示，當(dāng) x 0時，則 f ( x ) 0；而 x 0時，則 f ( x )x。因此，ReLU的輸出值范圍是[0, + ]，與 sigmoid 函數(shù)和 tanh 函數(shù)有極大區(qū)別。并且由于不需要復(fù)雜的浮點(diǎn)預(yù)算操作，因此計算速度極快。同時，由于 ReLU 為正數(shù)時是線性的，并沒飽區(qū)間。因此它避免了模型訓(xùn)練時候梯度消失問題。圖 2-2 ReLU 激活函數(shù)

f ( x ) max (0, x )圖 2-1 神經(jīng)元的生物及及數(shù)學(xué)模型re 2-1 Biological and mathematical models of neuro當(dāng) x 0時，則 f ( x ) 0；而 x 0時，則 f ( x ) + ]，與 sigmoid 函數(shù)和 tanh 函數(shù)有極大區(qū)別。作，因此計算速度極快。同時，由于 ReLU 為正它避免了模型訓(xùn)練時候梯度消失問題。

【參考文獻(xiàn)】：
期刊論文
[1]《中國人工智能發(fā)展報告2018》正式發(fā)布[J]. 張涵.  中國國情國力. 2018(08)



本文編號：3420766