【摘要】：近些年來,卷積神經(jīng)網(wǎng)絡(luò)已然成為計(jì)算機(jī)視覺領(lǐng)域的默認(rèn)支柱性方法。無論在高級(jí)視覺任務(wù)(如分類、檢測(cè)),還是在低級(jí)視覺任務(wù)(如神經(jīng)風(fēng)格遷移、超分辨率),都取得了令人矚目的成果。然而,卷積神經(jīng)網(wǎng)絡(luò)往往參數(shù)量巨大,導(dǎo)致所需要的存儲(chǔ)量、計(jì)算量、能耗均比較大,這嚴(yán)重限制了它們的實(shí)際應(yīng)用。模型壓縮是一個(gè)剔除深度神經(jīng)網(wǎng)絡(luò)冗余度從而降低存儲(chǔ)量、加快速度的新興研究領(lǐng)域。在本論文中,作者提出了兩種結(jié)構(gòu)化剪枝算法(SPP和IncReg)用于在分類任務(wù)上對(duì)現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)進(jìn)行加速。同時(shí),在低級(jí)視覺領(lǐng)域中的風(fēng)格遷移問題上,作者基于知識(shí)蒸餾提出了 StyleDistill模型壓縮方法對(duì)VGG19網(wǎng)絡(luò)進(jìn)行剪枝。與本領(lǐng)域其他最優(yōu)方法相比,本文中充足的實(shí)驗(yàn)驗(yàn)證了這三種方法的有效性。本文具體的創(chuàng)新點(diǎn)和貢獻(xiàn)總結(jié)如下:1.參數(shù)剪枝是一類很有潛力的模型壓縮方法,其目標(biāo)是剔除掉網(wǎng)絡(luò)中無用的參數(shù)同時(shí)保持精度不大幅下降。在眾多的剪枝方法中,結(jié)構(gòu)化剪枝是為了產(chǎn)生規(guī)整的稀疏性從而可以實(shí)現(xiàn)加速而非存儲(chǔ)量上的壓縮。對(duì)剪枝而言,一個(gè)至關(guān)重要但目前仍未解決的問題是參數(shù)的相對(duì)重要性標(biāo)準(zhǔn),它對(duì)于剪枝性能有著很重要的影響。由于神經(jīng)網(wǎng)絡(luò)的嚴(yán)重非凸性與過參,提出一個(gè)理論上完備、實(shí)際中可行的重要性標(biāo)準(zhǔn)是極其困難的。所以,本論文中,作者提出換一個(gè)角度提升剪枝性能,即設(shè)計(jì)一個(gè)更好的剪枝過程�；谶@樣的思想,SPP算法被提出。它對(duì)網(wǎng)絡(luò)中每一個(gè)權(quán)重分配一個(gè)剪枝概率,從而使得原來離散的剪枝變得連續(xù)化,這樣有利于網(wǎng)絡(luò)在剪枝過程中自我調(diào)整、恢復(fù)。同時(shí),通過調(diào)整這些剪枝概率,我們還可以糾正由于參數(shù)重要性標(biāo)準(zhǔn)(如L1-norm)不夠完善而導(dǎo)致的誤判。SPP算法配合列剪枝在大型卷積網(wǎng)絡(luò)(AlexNet,VGG16,ResNet50)在ImageNet數(shù)據(jù)集上得到了良好的結(jié)果。但是其缺點(diǎn)是訓(xùn)練中不夠穩(wěn)定。為了解決這個(gè)問題,作者進(jìn)一步提出IncReg算法。與SPP算法不同,IncReg是基于正則化的剪枝算法。IncReg以一種增量的方式來調(diào)節(jié)L2約束項(xiàng)前的系數(shù)。和SPP一樣,IncReg也具有糾正參數(shù)重要性誤判的情況,且比SPP的剪枝過程更加平滑。這對(duì)于剪掉大量參數(shù)和剪枝緊湊網(wǎng)絡(luò)(如ResNet)的場(chǎng)景特別有用。IncReg最終獲得了比SPP和其他眾多本領(lǐng)域最優(yōu)算法更好的結(jié)果。2.除了高級(jí)視覺任務(wù)上的模型壓縮,本文還關(guān)注低級(jí)視覺,在這些領(lǐng)域CNN的實(shí)際應(yīng)用也很大程度上被其復(fù)雜度所限制。具體來說,本文關(guān)注的是風(fēng)格遷移任務(wù)。作者基于知識(shí)蒸餾提出了 StyleDistill算法來對(duì)VGG19網(wǎng)絡(luò)的濾波器進(jìn)行剪枝。配合風(fēng)格化算法lNWCT,本文壓縮完的模型盡管只有原模型的1/15.5大小,但仍具有同樣甚至更優(yōu)的風(fēng)格遷移效果。更重要的是,基于該小模型,我們首次可以在12GB GPU上實(shí)現(xiàn)超高分辨率(超過4千萬像素)的任意風(fēng)格遷移。為了驗(yàn)證所提出的方法的通用性,本文還在照片風(fēng)格遷移(基于PhotoWCT算法)和基于優(yōu)化的風(fēng)格遷移(基于Gatys算法)場(chǎng)景下評(píng)估了壓縮后的模型,依然取得令人鼓舞的效果。
【圖文】：

盡管這些改進(jìn)取得了令人鼓舞的結(jié)果，但還有一項(xiàng)指標(biāo)卻少有人關(guān)注，即分辨率。對(duì)于逡逑低級(jí)視覺任務(wù)，能處理的圖片的分辨率大小在實(shí)際應(yīng)用中十分關(guān)鍵。而對(duì)于風(fēng)格遷移，如逡逑圖１．３所示，目前絕大多數(shù)方法只是在低分辨率圖片（如１０２４ｘ邋１０２４）上報(bào)告結(jié)果［３；９５；９６】，少逡逑數(shù)在高清圖上（如３０００邋ｘ邋３０００）１＂】，還沒有文章可以直接５在超高清圖上進(jìn)行風(fēng)格遷移。這逡逑其中，阻礙分辨率提升的主要因素是用來提取特征的ＣＮＮ濾波器個(gè)數(shù)較多，分辨率提升逡逑會(huì)導(dǎo)致產(chǎn)生的特征圖較大，而ＧＰＵ顯存有限，，這就限制了輸入分辨率。本文的目標(biāo)則是逡逑通過減少ＣＮＮ濾波器的個(gè)數(shù)，從而可以讓網(wǎng)絡(luò)可以處理更大分辨率的圖片。如圖１．３所示，逡逑我們的目標(biāo)是可以對(duì)超高清圖（如１０２４０邋ｘ邋４０９６）進(jìn)行任意風(fēng)格轉(zhuǎn)換。逡逑１．４邋所提出的方法：ＳＰＰ，邋ＩｎｃＲｅｇ，邋ＳｔｙｌｅＤｉｓｔｉｌｌ逡逑這一部分將介紹本論文中提出的三種方法：結(jié)構(gòu)化概率剪枝（Ｓｔｒｕｃｔｕｒｅｄ邋Ｐｒｏｂａｂｉｌｉｓｔｉｃ逡逑Ｐｒｕｎｉｎｇ，邋ＳＰＰ）、增量正則化（Ｉｎｃｒｅｍｅｎｔａｌ邋Ｒｅｇｕｌａｒｉｚａｔｉｏｎ，邋ＩｎｃＲｅｇ）、風(fēng)格蒸飽（Ｓｔｙｌｅ逡逑Ｄｉｓｔｉｌｌａｔｉｏｎ，邋ＳｔｙｌｅＤｉｓｔｉｌｌ）。前兩種方法針對(duì)高級(jí)視覺任務(wù)中的分類問題，第三種針對(duì)低級(jí)

邐（ｂ）邋ｓｈａｐｅ邋ｓｐａｒｓｉｔｙ／ｃｏｌｕｍｎ邋ｓｐａｒｓｉｔｙ邐（ｃ）邋ｃｈａｎｎｅｌ邋ｓｐａｒｓｉｔｙ逡逑圖２．１稀疏性結(jié)構(gòu)示意圖逡逑參數(shù)組成的一個(gè)向量，在某些文章中也被稱為ｓｈａｐｅ－ｗｉｓｅ邋ｓｐａｒｓｉｔｙ＿邋；通道（Ｃｈａｎｎｅｌ）是逡逑在展開成矩陣時(shí)會(huì)變成在特定位置連續(xù)的很多列，因此它可以認(rèn)為是列的特殊情況。把權(quán)逡逑重的一些通道置零后，輸入的相應(yīng)通道也就失效了，而該層輸入的通道是由上一層參數(shù)的逡逑濾波器得到，因此存在這樣的關(guān)系：對(duì)ｉ層的權(quán)重進(jìn)行通道剪枝，相當(dāng)于對(duì)ｉ一邋１層的權(quán)重逡逑進(jìn)行行剪枝。所以行剪枝、濾波器剪枝、通道剪枝其實(shí)是同一個(gè)概念，都是產(chǎn)生行稀疏性。逡逑那么綜合來說，就是兩種稀疏性結(jié)構(gòu)：行、列。本文研究基于Ｉｍ２ｃｏｌ方式的結(jié)構(gòu)化稀疏方逡逑法，因此將探索行稀疏與列稀疏之間的區(qū)別，從而選擇相對(duì)較優(yōu)的稀疏性結(jié)構(gòu)。逡逑２．２．２各層冗余度岕逡逑神經(jīng)網(wǎng)絡(luò)各層容量及其冗余度的衡量問題目前仍沒有公認(rèn)的理論解釋。目前常用的方逡逑法是在剪枝開始之前對(duì)各層冗余度進(jìn)行估計(jì)
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳立德;;計(jì)算機(jī)視覺研究進(jìn)入攻關(guān)階段[J];國(guó)際學(xué)術(shù)動(dòng)態(tài);1996年04期

2 張承進(jìn);;第9屆國(guó)際控制、自動(dòng)化、機(jī)器人與計(jì)算機(jī)視覺會(huì)議[J];國(guó)際學(xué)術(shù)動(dòng)態(tài);2007年06期

3 莫洪武;萬榮澤;;計(jì)算機(jī)視覺在水稻大面積制種中的應(yīng)用研究[J];農(nóng)機(jī)化研究;2019年03期

4 郭吉楠;;微課在計(jì)算機(jī)視覺課中的應(yīng)用探究[J];中國(guó)新通信;2018年23期

5 王一幃;;深度學(xué)習(xí)分類網(wǎng)絡(luò)研究及其在計(jì)算機(jī)視覺中的應(yīng)用[J];通訊世界;2019年03期

6 徐可源;;感知世界 洞察未來——2018年計(jì)算機(jī)視覺行業(yè)回顧與展望[J];中國(guó)城市金融;2019年02期

7 黃榮喜;;基于計(jì)算機(jī)視覺的玉米田間除草系統(tǒng)開發(fā)[J];農(nóng)機(jī)化研究;2018年03期

8 劉梅;;基于計(jì)算機(jī)視覺的玉米種子形態(tài)識(shí)別測(cè)量[J];農(nóng)機(jī)化研究;2018年04期

9 錢永濤;;基于計(jì)算機(jī)視覺的小麥長(zhǎng)勢(shì)監(jiān)控研究[J];農(nóng)機(jī)化研究;2018年04期

10 王彥輝;趙培琨;邊東良;;基于計(jì)算機(jī)視覺的瓜果采摘系統(tǒng)的運(yùn)用研究[J];農(nóng)機(jī)化研究;2018年01期

相關(guān)會(huì)議論文 前10條

1 ;中國(guó)計(jì)算機(jī)視覺行業(yè)研究報(bào)告[A];艾瑞咨詢系列研究報(bào)告（2017年第12期）[C];2017年

2 方漪;喬甜;;基于OpenGL的計(jì)算機(jī)視覺成像技術(shù)分析[A];中國(guó)幾何設(shè)計(jì)與計(jì)算新進(jìn)展2007——第三屆中國(guó)幾何設(shè)計(jì)與計(jì)算大會(huì)論文集[C];2007年

3 宋小華;歐陽丹彤;;時(shí)空推理在計(jì)算機(jī)視覺的應(yīng)用[A];2006年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2006年

4 周紅;劉光蓉;;計(jì)算機(jī)視覺及其在谷物籽粒檢測(cè)分級(jí)中的應(yīng)用[A];中國(guó)糧油學(xué)會(huì)第三屆學(xué)術(shù)年會(huì)論文選集（下冊(cè)）[C];2004年

5 管宇杰;;人工智能的眼睛——計(jì)算機(jī)視覺[A];2017智能電網(wǎng)新技術(shù)發(fā)展與應(yīng)用研討會(huì)論文集[C];2017年

6 鄭群;邸錚;;計(jì)算機(jī)視覺法在測(cè)量金屬鑄造表面粗糙度的應(yīng)用研究[A];2017冶金企業(yè)管理創(chuàng)新論壇論文集[C];2017年

7 熊凌;;計(jì)算機(jī)視覺中的圖像匹配綜述[A];湖北省機(jī)械工程學(xué)會(huì)設(shè)計(jì)與傳動(dòng)專業(yè)委員會(huì)第十四屆學(xué)術(shù)年會(huì)論文集[C];2006年

8 王平凱;岳曉峰;韓立強(qiáng);;灌裝桶口計(jì)算機(jī)視覺定位系統(tǒng)的研究[A];增強(qiáng)自主創(chuàng)新能力 促進(jìn)吉林經(jīng)濟(jì)發(fā)展——啟明杯·吉林省第四屆科學(xué)技術(shù)學(xué)術(shù)年會(huì)論文集（上冊(cè)）[C];2006年

9 熊凌;;計(jì)算機(jī)視覺中的圖像匹配綜述[A];12省區(qū)市機(jī)械工程學(xué)會(huì)2006年學(xué)術(shù)年會(huì)湖北省論文集[C];2006年

10 趙榮椿;;體視學(xué)、體視化與計(jì)算機(jī)視覺[A];面向21世紀(jì)的科技進(jìn)步與社會(huì)經(jīng)濟(jì)發(fā)展（上冊(cè)）[C];1999年

相關(guān)重要報(bào)紙文章 前10條

1 記者 鄭金武;國(guó)際計(jì)算機(jī)視覺算法競(jìng)賽揭曉[N];科學(xué)時(shí)報(bào);2011年

2 宋琪;中科院自動(dòng)化所在國(guó)際計(jì)算機(jī)視覺算法競(jìng)賽中獲優(yōu)異成績(jī)[N];科學(xué)時(shí)報(bào);2011年

3 本報(bào)記者 呂紅星;2020年中國(guó)計(jì)算機(jī)視覺行業(yè)市場(chǎng)規(guī)模將達(dá)725億元[N];中國(guó)經(jīng)濟(jì)時(shí)報(bào);2017年

4 王茜 賽迪智庫電子信息產(chǎn)業(yè)研究所;巨頭搶灘計(jì)算機(jī)視覺入口，中國(guó)該做什么？[N];通信產(chǎn)業(yè)報(bào);2017年

5 斯坦福大學(xué)教授、谷歌云首席科學(xué)家 李飛飛;計(jì)算機(jī)視覺要多久才能理解這個(gè)世界[N];中國(guó)信息化周報(bào);2018年

6 謝靜;我國(guó)計(jì)算機(jī)視覺應(yīng)用市場(chǎng)規(guī)模達(dá)15.45億元[N];人民郵電;2018年

7 本報(bào)記者 馮娜娜;計(jì)算機(jī)視覺助力農(nóng)險(xiǎn)查勘降低成本[N];中國(guó)保險(xiǎn)報(bào);2018年

8 本報(bào)記者 倪雨晴;計(jì)算機(jī)視覺應(yīng)用遍地開花 “護(hù)城河”如何建立？[N];21世紀(jì)經(jīng)濟(jì)報(bào)道;2018年

9 記者 段倩倩;騰訊優(yōu)圖升級(jí) 強(qiáng)化計(jì)算機(jī)視覺研發(fā)投入[N];第一財(cái)經(jīng)日?qǐng)?bào);2018年

10 本報(bào)記者 游寰臻;2016年人工智能升溫 巨頭爭(zhēng)相押注欲引爆未來市場(chǎng)[N];通信信息報(bào);2016年

相關(guān)博士學(xué)位論文 前10條

1 于祥春;機(jī)器學(xué)習(xí)在計(jì)算機(jī)視覺和癌癥生物信息學(xué)中的若干關(guān)鍵問題研究[D];吉林大學(xué);2019年

2 徐偉;小樣本計(jì)算機(jī)視覺問題的研究[D];上海交通大學(xué);2018年

3 郭聰;基于關(guān)注度機(jī)制的圖像理解[D];中國(guó)科學(xué)技術(shù)大學(xué);2018年

4 顧欽;移動(dòng)變尺度目標(biāo)檢測(cè)與跟蹤算法研究[D];電子科技大學(xué);2018年

5 李偉;基于計(jì)算機(jī)視覺的播種精度檢測(cè)技術(shù)研究[D];中國(guó)農(nóng)業(yè)大學(xué);2004年

6 伍雪冬;計(jì)算機(jī)視覺中攝像機(jī)定標(biāo)及位姿和運(yùn)動(dòng)估計(jì)方法的研究[D];湖南大學(xué);2005年

7 楊述平;基于計(jì)算機(jī)視覺的三維測(cè)試技術(shù)研究[D];中北大學(xué);2005年

8 段發(fā)階;計(jì)算機(jī)視覺檢測(cè)基礎(chǔ)理論及應(yīng)用技術(shù)研究[D];天津大學(xué);1994年

9 趙書濤;基于計(jì)算機(jī)視覺的直讀儀表校驗(yàn)方法研究[D];華北電力大學(xué)（河北）;2006年

10 孔明;顆粒粒徑和形態(tài)計(jì)算機(jī)視覺測(cè)量方法研究[D];東南大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 趙雪云;基于深度學(xué)習(xí)的行人檢測(cè)技術(shù)研究[D];華北電力大學(xué);2019年

2 姜映舟;基于計(jì)算機(jī)視覺的測(cè)距技術(shù)研究[D];桂林電子科技大學(xué);2019年

3 王歡;計(jì)算機(jī)視覺中的深度模型壓縮[D];浙江大學(xué);2019年

4 沈俊凱;基于計(jì)算機(jī)視覺的混凝土裂縫檢測(cè)算法研究[D];中國(guó)地震局工程力學(xué)研究所;2019年

5 趙曉陽;基于計(jì)算機(jī)視覺的建筑工程結(jié)構(gòu)構(gòu)件影像識(shí)別模式研究[D];華北電力大學(xué)(北京);2019年

6 陳燕鋒;卷積網(wǎng)絡(luò)在視頻目標(biāo)跟蹤問題中的應(yīng)用[D];上海交通大學(xué);2018年

7 鞏曉云;計(jì)算機(jī)視覺在藥品包裝檢測(cè)中的應(yīng)用[D];哈爾濱理工大學(xué);2019年

8 曾澤宇;基于計(jì)算機(jī)視覺的枸杞分級(jí)方法研究[D];蘭州理工大學(xué);2019年

9 趙凱;基于深度學(xué)習(xí)的暴恐視頻識(shí)別關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2019年

10 王華東;融合目標(biāo)先驗(yàn)知識(shí)的目標(biāo)跟蹤策略研究[D];內(nèi)蒙古大學(xué);2019年

本文編號(hào)：2676652