卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）在目標(biāo)檢測、圖像分類領(lǐng)域有著廣泛的應(yīng)用,但由于其海量的參數(shù)量和計(jì)算量限制了在算力匱乏的移動終端上的部署。參數(shù)量化（Parameter Quantization）可以有效降低模型存儲空間、提升運(yùn)算速度,是降低CNN計(jì)算負(fù)載的方式之一。當(dāng)CNN中乘法的乘數(shù)均被量化,所有乘數(shù)組合的乘積可在推斷前預(yù)先計(jì)算并存儲,原本的乘法操作可替換為在乘積查找表（Lookup Table,LUT）中的查值操作。相比于浮點(diǎn)乘法,基于查找表的乘法具有占用資源少、運(yùn)算效率高的優(yōu)點(diǎn)。然而由于模型的不同層級、不同通道之間參數(shù)的分布差異較大,此前基于查找表的CNN為維持模型量化后的性能,往往采用較大規(guī)模的查找表存儲乘積,或者各卷積層獨(dú)立進(jìn)行量化,每層采用獨(dú)立的乘法查找表存儲乘積的結(jié)果。以上兩個方式導(dǎo)致查找表內(nèi)存占用過大、內(nèi)存反復(fù)重載成本高等問題。為解決上述問題,本文通過引入權(quán)重標(biāo)準(zhǔn)化（Weight Standardization）操作使各層分布趨同,從而CNN的不同層次可以共用同一個查找表;同時,本文引入迭代式聚類的參數(shù)非均勻量化方式,補(bǔ)償參... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：71 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景及研究意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 卷積神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)概述
        1.2.2 卷積神經(jīng)網(wǎng)絡(luò)的硬件級加速技術(shù)概述
    1.3 主要內(nèi)容與貢獻(xiàn)
    1.4 本文的組織結(jié)構(gòu)
第2章 相關(guān)理論及技術(shù)介紹
    2.1 深度卷積神經(jīng)網(wǎng)絡(luò)介紹
        2.1.1 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與推斷
        2.1.2 卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)
        2.1.3 卷積神經(jīng)網(wǎng)絡(luò)算力評估
    2.2 量化技術(shù)基礎(chǔ)理論介紹
        2.2.1 權(quán)重與激活值的量化
        2.2.2 量化感知訓(xùn)練
    2.3 FPGA及基于HLS的開發(fā)技術(shù)介紹
        2.3.1 現(xiàn)場可編程門陣列(FPGA)介紹
        2.3.2 基于HLS進(jìn)行FPGA開發(fā)
第3章 基于查找表的卷積神經(jīng)網(wǎng)絡(luò)壓縮算法研究
    3.1 背景與動機(jī)
    3.2 基于查找表的卷積神經(jīng)網(wǎng)絡(luò)量化壓縮算法
        3.2.1 量化算法流程
        3.2.2 權(quán)重標(biāo)準(zhǔn)化
        3.2.3 激活值量化
        3.2.4 權(quán)重聚類以及權(quán)重量化
    3.3 基于查找表的推斷優(yōu)化
    3.4 實(shí)驗(yàn)方法與實(shí)驗(yàn)結(jié)果
        3.4.1 實(shí)驗(yàn)配置
        3.4.2 權(quán)重標(biāo)準(zhǔn)化操作的性能對比分析
        3.4.3 基于查找表的CNN性能分析
        3.4.4 基于查找表的CNN與其他低比特量化網(wǎng)絡(luò)的性能對比
    3.5 本章小結(jié)
第4章 基于查找表的神經(jīng)網(wǎng)絡(luò)推斷在FPGA上的實(shí)現(xiàn)
    4.1 整體架構(gòu)設(shè)計(jì)
    4.2 基于FPGA的查找表CNN實(shí)現(xiàn)
        4.2.1 部署流程
        4.2.2 基于查找表的卷積模塊設(shè)計(jì)
        4.2.3 池化層的實(shí)現(xiàn)
        4.2.4 全連接層的實(shí)現(xiàn)
    4.3 實(shí)驗(yàn)方法與實(shí)驗(yàn)結(jié)果
        4.3.1 實(shí)驗(yàn)平臺介紹
        4.3.2 實(shí)驗(yàn)網(wǎng)絡(luò)及參數(shù)配置
        4.3.3 驗(yàn)證流程
        4.3.4 基于查找表的卷積層實(shí)現(xiàn)性能分析
        4.3.5 硬件架構(gòu)性能測試
    4.4 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及其他成果
致謝



本文編號：3194417