發(fā)布時(shí)間：2020-05-14 07:00

【摘要】：深度神經(jīng)網(wǎng)絡(luò)的計(jì)算是一種計(jì)算、存儲(chǔ)密集型任務(wù)。網(wǎng)絡(luò)模型壓縮因可降低其計(jì)算所需的能耗、內(nèi)存、帶寬,而成為了研究的熱點(diǎn)。目前模型壓縮的主要關(guān)注點(diǎn)集中在剪枝量化上。而本文探索了另一個(gè)視角——在剪枝量化基礎(chǔ)上,如何選擇合適的無損壓縮和稀疏矩陣存儲(chǔ)算法以達(dá)到更好的壓縮效果。本文構(gòu)建了一個(gè)模型壓縮評(píng)估框架,框架具有可擴(kuò)展性,只需要按照一定輸入輸出規(guī)則準(zhǔn)備好待測(cè)試算法和測(cè)試用數(shù)據(jù),即可自動(dòng)完成待測(cè)算法針對(duì)指定數(shù)據(jù)的壓縮率測(cè)試。本文列舉了通用的無損壓縮算法和稀疏矩陣存儲(chǔ)算法,并分析了優(yōu)缺點(diǎn),在其基礎(chǔ)上選擇出6種待測(cè)試算法,形成36種算法組合,使用評(píng)估框架,在剪枝量化后的Resnet18和Mobilenet模型上進(jìn)行了測(cè)試。發(fā)現(xiàn)針對(duì)細(xì)粒度剪枝,熵編碼的壓縮率最高,但兩種熵編碼組合較單一熵編碼帶來的提升微弱。而在稀疏矩陣存儲(chǔ)算法中,bitmap取得不錯(cuò)的壓縮比,且運(yùn)算復(fù)雜度遠(yuǎn)遠(yuǎn)低于熵編碼。本文進(jìn)一步對(duì)兩個(gè)模型的參數(shù)進(jìn)行差分(相鄰參數(shù)間求差值),發(fā)現(xiàn)模型稀疏度大幅上升。在其他條件未變的情況下,差分可為壓縮率帶來1.3倍以上增幅,這證明了模型內(nèi)有可利用的數(shù)據(jù)結(jié)構(gòu)。相比于神經(jīng)網(wǎng)絡(luò)加速器中常用的壓縮算法CSC,使用差分+bitmap算法可提供1.5倍以上壓縮率增幅,而稍復(fù)雜的差分+Huffman可提供1.7倍以上增幅,可大大降低模型的傳輸帶寬和存儲(chǔ)空間需求。
【圖文】：

１６ｂｉｔ定點(diǎn)表示對(duì)ＣＮＮ進(jìn)行訓(xùn)練，以較小的精度損失，大大減少了內(nèi)存的使用和逡逑浮點(diǎn)運(yùn)算量。逡逑［４］提出“ｄｅｅｐ邋ｃｏｍｐｒｅｓｓｉｏｎ”壓縮方法，分三步壓縮網(wǎng)絡(luò)模型。如圖１所示，逡逑它從學(xué)習(xí)連接性開始，通過正常的網(wǎng)絡(luò)訓(xùn)練，獲得各個(gè)網(wǎng)絡(luò)連接的重要性，再進(jìn)逡逑行剪技，去除非重要連接；隨后對(duì)網(wǎng)絡(luò)進(jìn)行量化，進(jìn)一步壓縮網(wǎng)絡(luò)。在這兩步過逡逑后，對(duì)網(wǎng)絡(luò)模型進(jìn)行ｒｅｔｒａｉｎ，使網(wǎng)絡(luò)在保留的稀疏連接和量化權(quán)重上有更好的精逡逑度表現(xiàn)。最后一步，使用霍夫曼編碼對(duì)網(wǎng)絡(luò)模型進(jìn)一步壓縮。這份工作在所有基逡逑于量化的壓縮工作中取得了領(lǐng)先的壓縮比。＠表示Ｈｅｓｓｉａｎ邋ｗｅｉｇｈｔ可以用來衡量逡逑網(wǎng)絡(luò)參數(shù)重要性，并提出了以最小化平均Ｈｅｓｓｉａｎ邋ｗｅｉｇｈｔ量化誤差為目標(biāo)，對(duì)網(wǎng)逡逑絡(luò)參數(shù)進(jìn)行聚類。逡逑Ｑｕａｎｔｉｚａｔｉｏｎ：邋ｌｅｓｓ邋ｂｉｔｓ邋ｐｅｒ邋ｗｅｉｇｈｔ逡逑Ｐｒｕｎｉｎｇ：邋Ｉｅｓ９邋ｎｕｍｂｅｒ邋ｏｆ邋ｗｅｉｇｈｔｓ邐，邐■、邐Ｈｕｆｆｍａｎ邋Ｅｎｃｏｄｉｎｑ逡逑＾邐、邐／邐Ｎｘ逡逑、、邐Ｉ邋Ｃｌｕｓｔｅｒ邋ｔｈｅ邋Ｗｅｉｇｈｔｓ邋ｉ邐，邐、、逡逑１邋�。颍幔椋铄澹茫铮睿睿澹悖簦椋觯椋簦澹∵姡檫�？０＞邐ｉ邐ｉ邋ｆｌ邋．邋．．．邋．邋．邋４邐

１６ｂｉｔ定點(diǎn)表示對(duì)ＣＮＮ進(jìn)行訓(xùn)練，以較小的精度損失，，大大減少了內(nèi)存的使用和逡逑浮點(diǎn)運(yùn)算量。逡逑［４］提出“ｄｅｅｐ邋ｃｏｍｐｒｅｓｓｉｏｎ”壓縮方法，分三步壓縮網(wǎng)絡(luò)模型。如圖１所示，逡逑它從學(xué)習(xí)連接性開始，通過正常的網(wǎng)絡(luò)訓(xùn)練，獲得各個(gè)網(wǎng)絡(luò)連接的重要性，再進(jìn)逡逑行剪技，去除非重要連接；隨后對(duì)網(wǎng)絡(luò)進(jìn)行量化，進(jìn)一步壓縮網(wǎng)絡(luò)。在這兩步過逡逑后，對(duì)網(wǎng)絡(luò)模型進(jìn)行ｒｅｔｒａｉｎ，使網(wǎng)絡(luò)在保留的稀疏連接和量化權(quán)重上有更好的精逡逑度表現(xiàn)。最后一步，使用霍夫曼編碼對(duì)網(wǎng)絡(luò)模型進(jìn)一步壓縮。這份工作在所有基逡逑于量化的壓縮工作中取得了領(lǐng)先的壓縮比。＠表示Ｈｅｓｓｉａｎ邋ｗｅｉｇｈｔ可以用來衡量逡逑網(wǎng)絡(luò)參數(shù)重要性，并提出了以最小化平均Ｈｅｓｓｉａｎ邋ｗｅｉｇｈｔ量化誤差為目標(biāo)，對(duì)網(wǎng)逡逑絡(luò)參數(shù)進(jìn)行聚類。逡逑Ｑｕａｎｔｉｚａｔｉｏｎ：邋ｌｅｓｓ邋ｂｉｔｓ邋ｐｅｒ邋ｗｅｉｇｈｔ逡逑Ｐｒｕｎｉｎｇ：邋Ｉｅｓ９邋ｎｕｍｂｅｒ邋ｏｆ邋ｗｅｉｇｈｔｓ邐，邐■、邐Ｈｕｆｆｍａｎ邋Ｅｎｃｏｄｉｎｑ逡逑＾邐、邐／邐Ｎｘ逡逑、、邐Ｉ邋Ｃｌｕｓｔｅｒ邋ｔｈｅ邋Ｗｅｉｇｈｔｓ邋ｉ邐，邐、、逡逑１邋丁ｒａｉｎ邋Ｃｏｎｎｅｃｔｉｖｉｔｙ邋！邐ｉ邐？０＞邐ｉ邐ｉ邋ｆｌ邋．邋．．．邋．邋．邋４邐
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP183;TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 佟飛;;大數(shù)據(jù)時(shí)代圖片無損壓縮技術(shù)在攝影本科中的教學(xué)中的應(yīng)用[J];同行;2016年13期

2 尹維漢;孟令軍;龔敬;嚴(yán)帥;;高速無損壓縮的FPGA實(shí)現(xiàn)方法研究[J];電視技術(shù);2012年21期

3 陳楊;;無損壓縮技術(shù)和寬頻帶換能器[J];實(shí)用影音技術(shù);2008年01期

4 毋清明;;迎戰(zhàn)!無損壓縮挑戰(zhàn)極限![J];電腦愛好者;2006年11期

5 王締罡;趙曉群;張揚(yáng);徐靜云;;無損壓縮文件的參數(shù)特性分析[J];燕山大學(xué)學(xué)報(bào);2017年01期

6 黃志聰;張長(zhǎng)虹;王栓武;;醫(yī)學(xué)圖像的無損壓縮[J];中國醫(yī)療設(shè)備;2008年09期

7 李龍;周頑;;數(shù)字圖像無損壓縮[J];軟件導(dǎo)刊;2007年07期

8 王武進(jìn);;一種二值圖像無損壓縮方法[J];電腦開發(fā)與應(yīng)用;2006年02期

9 李平,李偉光;醫(yī)學(xué)圖像視覺無損壓縮的研究[J];長(zhǎng)春理工大學(xué)學(xué)報(bào);2005年03期

10 楊勝天,童勤業(yè);生物醫(yī)學(xué)信號(hào)的近無損壓縮[J];中國生物醫(yī)學(xué)工程學(xué)報(bào);2003年03期

相關(guān)會(huì)議論文 前10條

1 陳虹;宋磊;吳國清;;大規(guī)模數(shù)值模擬數(shù)據(jù)的無損壓縮[A];中國工程物理研究院科技年報(bào)（2005）[C];2005年

2 劉喜成;李聲沛;;基于前向神經(jīng)網(wǎng)絡(luò)的靜止圖象自適應(yīng)預(yù)測(cè)無損壓縮編碼[A];1995年中國智能自動(dòng)化學(xué)術(shù)會(huì)議暨智能自動(dòng)化專業(yè)委員會(huì)成立大會(huì)論文集（下冊(cè)）[C];1995年

3 魏歌;;無損壓縮編碼方法中的關(guān)聯(lián)性研究[A];全國第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

4 萬建邦;林小竹;;有損行程編碼方法研究[A];第二屆全國信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2004年

5 趙國毅;楊曉春;王斌;;面向相似數(shù)據(jù)的無損壓縮技術(shù)[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集A輯二[C];2010年

6 蔣宏;潘登;劉荻;孫志明;劉爾梅;;哈爾濱醫(yī)科大學(xué)第一臨床醫(yī)學(xué)院PACC系統(tǒng)一期工程總結(jié)[A];首屆中國IT與醫(yī)藥衛(wèi)生高層論壇論文集[C];2004年

7 況軍;羅建書;黃志雄;;基于三維自適應(yīng)預(yù)測(cè)的多光譜圖像的無損壓縮算法[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

8 李天偉;賈傳熒;李春鑫;;用整數(shù)小波和非均勻移位算法實(shí)現(xiàn)ROI編碼[A];第16屆中國過程控制學(xué)術(shù)年會(huì)暨第4屆全國故障診斷與安全性學(xué)術(shù)會(huì)議論文集[C];2005年

9 鄧冰;林宗堅(jiān);彭曉東;;遙感圖像信息度量的原理與方法[A];《測(cè)繪通報(bào)》測(cè)繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

10 孫蕾;羅建書;;基于分類預(yù)測(cè)的高光譜遙感圖像無損壓縮[A];第一屆建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2005）論文集[C];2005年

相關(guān)重要報(bào)紙文章 前10條

1 湖南 古銅;無損壓縮CD之APE[N];電腦報(bào);2003年

2 通訊員聶小清;電話線就能當(dāng)寬帶用[N];科技日?qǐng)?bào);2002年

3 遼寧 張迪;APE到MP3一步到位[N];電腦報(bào);2003年

4 鳴人;保存JPEG的兩個(gè)秘密[N];中國攝影報(bào);2010年

5 李劍峰;影音不分家，無損音頻知多少?[N];電腦報(bào);2014年

6 ;頂級(jí)MP3播放器挑戰(zhàn)賽[N];中國計(jì)算機(jī)報(bào);2005年

7 中國計(jì)算機(jī)報(bào)數(shù)字實(shí)驗(yàn)室 尚吉?jiǎng)?頂級(jí)MP3播放器挑戰(zhàn)賽[N];中國計(jì)算機(jī)報(bào);2005年

8 湖南 古銅;APE到MP3輕松轉(zhuǎn)換[N];電腦報(bào);2003年

9 浙江 方位;關(guān)于4K超高清藍(lán)光DVD開發(fā)的三點(diǎn)建議[N];電子報(bào);2015年

10 湖南 古銅;玩轉(zhuǎn)音樂[之CD刻錄][N];電腦報(bào);2004年

相關(guān)博士學(xué)位論文 前8條

1 武曉s

本文編號(hào)：2662994