深度學(xué)習(xí)近年來得到了快速的發(fā)展,在計(jì)算機(jī)視覺,自然語(yǔ)言處理等眾多領(lǐng)域有著優(yōu)越的表現(xiàn),催生了一系列智能產(chǎn)品的落地。而深度學(xué)習(xí)的本質(zhì)是在大數(shù)據(jù)支撐下,由多層神經(jīng)網(wǎng)絡(luò)堆疊形成的信號(hào)處理系統(tǒng),具有參數(shù)量大,計(jì)算復(fù)雜度高等特點(diǎn),需要依靠高性能的服務(wù)器端來處理龐大的網(wǎng)絡(luò)參數(shù)運(yùn)算與更新。很多時(shí)候,出于響應(yīng)時(shí)間、隱私方面和服務(wù)穩(wěn)定性的考慮,更希望將這些網(wǎng)絡(luò)模型放在移動(dòng)終端上運(yùn)行,而移動(dòng)終端的運(yùn)算資源及計(jì)算能力有限,不能直接運(yùn)行模型。目前普遍的做法是將訓(xùn)練好的模型存放在在云端,通過云與移動(dòng)端進(jìn)行信息交互,這導(dǎo)致了產(chǎn)品的使用效果的下降。因此,對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮以降低其參數(shù)量和存儲(chǔ)要求,提升運(yùn)算效率,保持網(wǎng)絡(luò)性能,使其滿足通用移動(dòng)設(shè)備的要求,已經(jīng)成為是當(dāng)下的研究熱點(diǎn)之一,對(duì)移動(dòng)設(shè)備的發(fā)展也有著重要的工程及社會(huì)意義。論文分析了國(guó)內(nèi)外現(xiàn)有網(wǎng)絡(luò)參數(shù)壓縮模型的優(yōu)缺點(diǎn),結(jié)合網(wǎng)絡(luò)參數(shù)的低秩和稀疏特性,提出以下模型壓縮算法:1)基于克羅內(nèi)克分解(Kronecker Tensor Decomposition,KTD)的改進(jìn)方法壓縮神經(jīng)網(wǎng)絡(luò)。該方法利用張量數(shù)據(jù)的多重克羅內(nèi)克結(jié)構(gòu)成功地刻畫了數(shù)據(jù)在多重壓縮結(jié)構(gòu)上的內(nèi)在關(guān)系,...

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-2卷積運(yùn)算

融合張量結(jié)構(gòu)壓縮深度神經(jīng)網(wǎng)絡(luò)12后還需添加偏置則可以得到輸出矩陣。圖2-2卷積運(yùn)算2.2.3激勵(lì)層激勵(lì)層的作用可以理解為對(duì)卷積層的輸出結(jié)果做一次非線性映射。其實(shí)激勵(lì)函數(shù)就相當(dāng)于f(x)=x，而當(dāng)神經(jīng)網(wǎng)絡(luò)缺少激勵(lì)函數(shù)，每一層的輸出都是上一層輸入的線性函數(shù)。分析可知，無論有多少神經(jīng)網(wǎng)....

圖2-3激勵(lì)函數(shù)

融合張量結(jié)構(gòu)壓縮深度神經(jīng)網(wǎng)絡(luò)12后還需添加偏置則可以得到輸出矩陣。圖2-2卷積運(yùn)算2.2.3激勵(lì)層激勵(lì)層的作用可以理解為對(duì)卷積層的輸出結(jié)果做一次非線性映射。其實(shí)激勵(lì)函數(shù)就相當(dāng)于f(x)=x，而當(dāng)神經(jīng)網(wǎng)絡(luò)缺少激勵(lì)函數(shù)，每一層的輸出都是上一層輸入的線性函數(shù)。分析可知，無論有多少神經(jīng)網(wǎng)....

圖2-4最大池化

融合張量結(jié)構(gòu)壓縮深度神經(jīng)網(wǎng)絡(luò)132.2.4池化層池化（Pooling），也稱為欠采樣或下采樣，其作用是用于各個(gè)特征圖的降維，同時(shí)還能保留大部分重要信息。連續(xù)的卷積層中穿插著池化層，它不僅可以壓縮模型的參數(shù)數(shù)量，還可以防止過擬合，同時(shí)提高模型的容錯(cuò)性。最為常用的方法有：最大池化（M....

圖2-5全連接層

融合張量結(jié)構(gòu)壓縮深度神經(jīng)網(wǎng)絡(luò)14最后可能出現(xiàn)過擬合，為了避免出現(xiàn)過擬合引入Dropout操作，通過隨機(jī)刪除神經(jīng)網(wǎng)絡(luò)中的部分神經(jīng)元來解決問題。還可以利用局部歸一化（LRN）、數(shù)據(jù)增強(qiáng)等操作，來加強(qiáng)模型的魯棒性，提高模型的整體性能。全連接層可以整合卷積層和池化層中具有類別區(qū)分性的局部....

本文編號(hào)：3903558