發(fā)布時間：2021-05-19 23:58

　　深度神經(jīng)網(wǎng)絡(luò)是目前是許多人工智能應(yīng)用的基礎(chǔ),在語音識別和圖像識別等諸多人工智能領(lǐng)域引發(fā)了突破。這些深度神經(jīng)網(wǎng)絡(luò)被部署到了從自動駕駛、癌癥檢測到復(fù)雜游戲等各種實際場景中。然而,現(xiàn)在深度神經(jīng)網(wǎng)絡(luò)的層級數(shù)量十分巨大,可以達到5層到1000多層,導(dǎo)致了其運行和存儲所需的內(nèi)存開銷巨大。體積如此龐大的神經(jīng)網(wǎng)絡(luò)模型難以應(yīng)用于移動端設(shè)備,無法適應(yīng)如今移動設(shè)備的快速發(fā)展。因此,如何對神經(jīng)網(wǎng)絡(luò)體積進行壓縮成為了最近人工智能領(lǐng)域重要的研究方向。本文通過對神經(jīng)網(wǎng)絡(luò)壓縮方法和超參數(shù)優(yōu)化方法的研究,提出了HORD-HD壓縮神經(jīng)網(wǎng)絡(luò)架構(gòu)。首先本文介紹了卷積神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成和原理,解釋了分類器、特征抽象、全連接網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)的基本概念。然后對Hash量化、矢量量化、標(biāo)量量化以及SVD分解等幾種簡單實用的壓縮方法進行了研究,通過理論分析和實驗對比,證明了Hash量化在同等壓縮比率下較其他方法有更高的準(zhǔn)確率。在實驗階段,實驗結(jié)果表明Hash量化方法能夠在精度損失不到1%的情況下,將一個五層的卷積神經(jīng)網(wǎng)絡(luò)的最后一個隱含層與輸出層間的連接權(quán)值矩陣壓縮至1/8。并能夠在損失8%精度的情況下將其壓縮至1/16。其次,為了優(yōu)化H... 

【文章來源】：湖北工業(yè)大學(xué)湖北省

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)的研究現(xiàn)狀
        1.2.2 超參數(shù)優(yōu)化技術(shù)的研究現(xiàn)狀
    1.3 本文的內(nèi)容及組織結(jié)構(gòu)
    1.4 本章小結(jié)
第二章 卷積神經(jīng)網(wǎng)絡(luò)概述
    2.1 SoftMax分類器
    2.2 自編碼器與多層感知機
    2.3 卷積神經(jīng)網(wǎng)絡(luò)
    2.4 本章小結(jié)
第三章 自動超參數(shù)優(yōu)化算法研究
    3.1 超參數(shù)優(yōu)化算法概述
    3.2 貝葉斯超參數(shù)優(yōu)化方法
        3.2.1 高斯過程模型
        3.2.2 指引函數(shù)搜索策略
    3.3 HORD超參數(shù)自動優(yōu)化模型
        3.3.1 RBF徑向基插值模型
        3.3.2 協(xié)調(diào)動態(tài)搜索
    3.4 HORD超參數(shù)優(yōu)化算法實驗
        3.4.1 HORD算法實驗設(shè)計及環(huán)境
        3.4.2 HORD算法實驗數(shù)據(jù)
        3.4.3 HORD算法實驗結(jié)果及分析
    3.5 本章小結(jié)
第四章 Hash神經(jīng)網(wǎng)絡(luò)壓縮算法
    4.1 神經(jīng)網(wǎng)絡(luò)壓縮算法概述
    4.2 神經(jīng)網(wǎng)絡(luò)剪枝算法
    4.3 基于低秩次級矩陣分解的壓縮算法
    4.4 量化壓縮算法
        4.4.1 二值量化方法
        4.4.2 標(biāo)量量化方法
        4.4.3 向量量化方法
        4.4.4 Hash量化方法
    4.5 壓縮算法實驗
        4.5.1 壓縮算法實驗設(shè)計
        4.5.2 壓縮算法實驗環(huán)境
        4.5.3 壓縮算法實驗結(jié)果及分析
    4.6 本章小結(jié)
第五章 基于HORD的壓縮神經(jīng)網(wǎng)絡(luò)模型
    5.1 Hash量化算法優(yōu)化
    5.2 HORD-HD
    5.3 HORD-HD算法實驗設(shè)計
    5.4 HORD-HD算法實驗環(huán)境
    5.5 HORD-HD算法實驗分析
    5.6 本章小結(jié)
第六章 總結(jié)與展望
參考文獻
致謝
附錄：在校期間個人成果


【參考文獻】：
期刊論文
[1]深度神經(jīng)網(wǎng)絡(luò)的壓縮研究[J]. 韓云飛,蔣同海,馬玉鵬,徐春香,張睿.  計算機應(yīng)用研究. 2018(10)
[2]基于改進激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)研究[J]. 曲之琳,胡曉飛.  計算機技術(shù)與發(fā)展. 2017(12)
[3]深度學(xué)習(xí)中的自編碼器的表達能力研究[J]. 王雅思,姚鴻勛,孫曉帥,許鵬飛,趙思成.  計算機科學(xué). 2015(09)
[4]深度學(xué)習(xí)的昨天、今天和明天[J]. 余凱,賈磊,陳雨強,徐偉.  計算機研究與發(fā)展. 2013(09)
[5]深度學(xué)習(xí)研究綜述[J]. 孫志軍,薛磊,許陽明,王正.  計算機應(yīng)用研究. 2012(08)
[6]基于HOG特征和SVM的手勢識別[J]. 任彧,顧成成.  科技通報. 2011(02)
[7]關(guān)于多層感知器的函數(shù)逼近能力[J]. 韋崗,賀前華,歐陽景正.  信息與控制. 1996(06)

碩士論文
[1]SIFT算法的研究和改進[D]. 馮嘉.吉林大學(xué) 2010
[2]徑向基插值近似方法理論與應(yīng)用研究[D]. 魏月興.國防科學(xué)技術(shù)大學(xué) 2009



本文編號：3196678