深度神經(jīng)網(wǎng)絡(luò)近年來普遍應(yīng)用在圖像分類、物體檢測(cè)、目標(biāo)跟蹤等計(jì)算機(jī)視覺任務(wù)中,已逐步成為研究熱點(diǎn)。不過因?yàn)閰?shù)數(shù)目巨大、存儲(chǔ)空間有限和計(jì)算資源代價(jià)高昂的限制,在移動(dòng)設(shè)備上的存儲(chǔ)和計(jì)算已經(jīng)阻礙了深度學(xué)習(xí)的發(fā)展。為此,本論文開展了深度學(xué)習(xí)網(wǎng)絡(luò)的快速計(jì)算技術(shù)研究,主要工作如下:論文首先分析了目前主流的幾種深度學(xué)習(xí)網(wǎng)絡(luò)的快速計(jì)算技術(shù),包括參數(shù)修剪與共享、低秩分解、緊性卷積核的設(shè)計(jì)以及知識(shí)蒸餾等等。在參數(shù)修剪與共享的基礎(chǔ)上,尋找并消除網(wǎng)絡(luò)中存在的冗余,但會(huì)因?yàn)榫鹊膿p失而造成準(zhǔn)確率的降低;在低秩分解的基礎(chǔ)上,利用向量分解對(duì)卷積網(wǎng)絡(luò)里信息量大的參數(shù)進(jìn)行估計(jì),但是低秩方法真正實(shí)施起來特別困難,涉及到計(jì)算成本昂貴的分解操作;在緊性卷積核的基礎(chǔ)上,使用特殊濾波器對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行估計(jì),設(shè)計(jì)特殊的卷積模塊結(jié)構(gòu),能大大改善網(wǎng)絡(luò)性能;知識(shí)蒸餾提煉出一個(gè)小模型來再現(xiàn)大型網(wǎng)絡(luò)的輸出,雖然能減少計(jì)算成本但是適用范圍比較局限。然后,論文提出了基于激活函數(shù)的快速計(jì)算算法,即設(shè)計(jì)了基于SELUs的自歸一化分段線性激活函數(shù)SPeLUs。該激活函數(shù)的實(shí)現(xiàn)流程如下:用分段線性函數(shù)PeLUs去擬合ELUs;用參數(shù)λ與PeLUs相乘得到... 

【文章來源】：南京郵電大學(xué)江蘇省

【文章頁(yè)數(shù)】：79 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

ELU和PeLU的曲線圖

SELU和SPeLU的曲線圖

南京郵電大學(xué)碩士研究生學(xué)位論文 第三章 基于激活函數(shù)的快速計(jì)算算法3.3 實(shí)驗(yàn)及分析3.3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境介紹這一部分先對(duì)實(shí)驗(yàn)所用到的數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境作個(gè)總體的介紹。（1） 數(shù)據(jù)集先對(duì)實(shí)驗(yàn)所用到的三種數(shù)據(jù)集進(jìn)行簡(jiǎn)單介紹。（a）MNISTMNIST 數(shù)據(jù)集由訓(xùn)練集和測(cè)試集構(gòu)成。訓(xùn)練集中有 60000 張圖片，測(cè)試集中有 10000 張圖片。每張圖片的尺寸都是 28× 28，而且都是純黑白。所有圖片全都是各種人手寫的數(shù)字，范圍均是從 0 至 9。下圖 3.12 就是 10 張 MNIST 圖片。


本文編號(hào)：3614304