最近幾年,隨著深度神經(jīng)網(wǎng)絡(luò)爆發(fā)式的研究和發(fā)展,其強(qiáng)大的特征提取和擬合能力使其在圖像識(shí)別、自然語言處理、語音識(shí)別等領(lǐng)域得到了廣泛的應(yīng)用。為了提高神經(jīng)網(wǎng)絡(luò)模型的性能,研究人員普遍會(huì)設(shè)計(jì)更深和更復(fù)雜的網(wǎng)絡(luò),這樣會(huì)使模型的參數(shù)量和計(jì)算量大大增加,這對(duì)硬件資源（CPU,GPU內(nèi)存,帶寬）的要求也越來越高,成本十分昂貴。同時(shí),將如此復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)直接部署在計(jì)算能力和續(xù)航能力有限移動(dòng)設(shè)備上（如手機(jī)、無人機(jī)、機(jī)器人、智能眼鏡）具有很大的難度,如何應(yīng)對(duì)設(shè)備存儲(chǔ)空間和計(jì)算能力有限是其中的重大挑戰(zhàn)。本文從提高模型的緊湊性和計(jì)算的高效性這兩方面來解決該問題。本文的主要工作有:1.在主流的輕量型神經(jīng)網(wǎng)絡(luò)Mobile Net的基礎(chǔ)上,使用Tensor-Train張量分解技術(shù)對(duì)深度可分離卷積中的1×1卷積進(jìn)行壓縮。提出了自適應(yīng)Tensor-Train分解算法解決了尋找最優(yōu)分解秩繁瑣的調(diào)優(yōu)問題。對(duì)于Cifar-10數(shù)據(jù)集,本文所提出模型中的參數(shù)量?jī)H為Mobile Net 20%-30%。2.針對(duì)Tensor-Train分解算法在GPU端前向加速不明顯的問題,本文在自適應(yīng)Tensor-Train分解的基礎(chǔ)上,使用較... 

【文章頁數(shù)】：62 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第1章 引言
    1.1 研究背景和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 參數(shù)剪枝
        1.2.2 參數(shù)共享
        1.2.3 低秩分解
        1.2.4 緊湊卷積核
        1.2.5 知識(shí)蒸餾
    1.3 本文的研究?jī)?nèi)容和工作
    1.4 本文的主體結(jié)構(gòu)
    1.5 本章小結(jié)
第2章 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)和張量分解
    2.1 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
        2.1.1 卷積層
        2.1.2 全連接層
    2.2 張量分解
        2.2.1 CP分解
        2.2.2 Tucker分解
        2.2.3 Tensor-Train分解
    2.3 使用Tensor-Train張量分解壓縮傳統(tǒng)神經(jīng)網(wǎng)絡(luò)
        2.3.1 壓縮全連接層
        2.3.2 壓縮卷積層
        2.3.3 實(shí)驗(yàn)設(shè)計(jì)
        2.3.4 實(shí)驗(yàn)結(jié)果
    2.4 存在的問題分析及改進(jìn)
        2.4.1 自適應(yīng)Tensor-Train分解算法
        2.4.2 實(shí)驗(yàn)設(shè)計(jì)
        2.4.3 實(shí)驗(yàn)結(jié)果
    2.5 本章小結(jié)
第3章 Tensor-Train分解和量化技術(shù)加速輕量型神經(jīng)網(wǎng)絡(luò)
    3.1 輕量型神經(jīng)網(wǎng)絡(luò)
        3.1.1 MobileNet V1
        3.1.2 MobileNet V2
    3.2 基于Tensor-Train張量分解的深度可分離卷積
        3.2.1 MobileNet卷積結(jié)構(gòu)存在的問題分析
        3.2.2 自適應(yīng)Tensor-Train分解算法壓縮深度可分離卷積
        3.2.3 實(shí)驗(yàn)設(shè)計(jì)
        3.2.4 實(shí)驗(yàn)結(jié)果
    3.3 模型推斷速度的提升不足的分析及改進(jìn)
        3.3.1 缺陷分析
        3.3.2 改進(jìn)Tensor-Train分解秩策略
        3.3.3 改進(jìn)矩陣運(yùn)算方式
        3.3.4 改進(jìn)后的實(shí)驗(yàn)結(jié)果
    3.4 量化網(wǎng)絡(luò)參數(shù)
        3.4.1 量化方法
        3.4.2 實(shí)驗(yàn)結(jié)果
    3.5 本章小結(jié)
第4章 基于Tensor-Train和量化技術(shù)的輕量型SSD檢測(cè)網(wǎng)絡(luò)
    4.1 輕量型實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)
        4.1.1 SSD目標(biāo)檢測(cè)網(wǎng)絡(luò)簡(jiǎn)介
        4.1.2 基于Tensor-Train張量分解和量化技術(shù)的輕量型目標(biāo)檢測(cè)網(wǎng)絡(luò)
    4.2 實(shí)驗(yàn)設(shè)計(jì)
        4.2.1 COCO數(shù)據(jù)集介紹
        4.2.2 實(shí)驗(yàn)詳情
        4.2.3 實(shí)驗(yàn)結(jié)果
    4.3 本章小結(jié)
第5章 總結(jié)與展望
    5.1 本文工作總結(jié)
    5.2 未來研究展望
參考文獻(xiàn)
致謝
作者簡(jiǎn)歷及攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與研究成果



本文編號(hào)：3694101