最近幾年,隨著深度神經網絡爆發(fā)式的研究和發(fā)展,其強大的特征提取和擬合能力使其在圖像識別、自然語言處理、語音識別等領域得到了廣泛的應用。為了提高神經網絡模型的性能,研究人員普遍會設計更深和更復雜的網絡,這樣會使模型的參數量和計算量大大增加,這對硬件資源（CPU,GPU內存,帶寬）的要求也越來越高,成本十分昂貴。同時,將如此復雜的深度神經網絡直接部署在計算能力和續(xù)航能力有限移動設備上（如手機、無人機、機器人、智能眼鏡）具有很大的難度,如何應對設備存儲空間和計算能力有限是其中的重大挑戰(zhàn)。本文從提高模型的緊湊性和計算的高效性這兩方面來解決該問題。本文的主要工作有:1.在主流的輕量型神經網絡Mobile Net的基礎上,使用Tensor-Train張量分解技術對深度可分離卷積中的1×1卷積進行壓縮。提出了自適應Tensor-Train分解算法解決了尋找最優(yōu)分解秩繁瑣的調優(yōu)問題。對于Cifar-10數據集,本文所提出模型中的參數量僅為Mobile Net 20%-30%。2.針對Tensor-Train分解算法在GPU端前向加速不明顯的問題,本文在自適應Tensor-Train分解的基礎上,使用較... 

【文章頁數】：62 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 引言
    1.1 研究背景和意義
    1.2 國內外研究現狀
        1.2.1 參數剪枝
        1.2.2 參數共享
        1.2.3 低秩分解
        1.2.4 緊湊卷積核
        1.2.5 知識蒸餾
    1.3 本文的研究內容和工作
    1.4 本文的主體結構
    1.5 本章小結
第2章 傳統卷積神經網絡和張量分解
    2.1 傳統卷積神經網絡結構
        2.1.1 卷積層
        2.1.2 全連接層
    2.2 張量分解
        2.2.1 CP分解
        2.2.2 Tucker分解
        2.2.3 Tensor-Train分解
    2.3 使用Tensor-Train張量分解壓縮傳統神經網絡
        2.3.1 壓縮全連接層
        2.3.2 壓縮卷積層
        2.3.3 實驗設計
        2.3.4 實驗結果
    2.4 存在的問題分析及改進
        2.4.1 自適應Tensor-Train分解算法
        2.4.2 實驗設計
        2.4.3 實驗結果
    2.5 本章小結
第3章 Tensor-Train分解和量化技術加速輕量型神經網絡
    3.1 輕量型神經網絡
        3.1.1 MobileNet V1
        3.1.2 MobileNet V2
    3.2 基于Tensor-Train張量分解的深度可分離卷積
        3.2.1 MobileNet卷積結構存在的問題分析
        3.2.2 自適應Tensor-Train分解算法壓縮深度可分離卷積
        3.2.3 實驗設計
        3.2.4 實驗結果
    3.3 模型推斷速度的提升不足的分析及改進
        3.3.1 缺陷分析
        3.3.2 改進Tensor-Train分解秩策略
        3.3.3 改進矩陣運算方式
        3.3.4 改進后的實驗結果
    3.4 量化網絡參數
        3.4.1 量化方法
        3.4.2 實驗結果
    3.5 本章小結
第4章 基于Tensor-Train和量化技術的輕量型SSD檢測網絡
    4.1 輕量型實時目標檢測系統
        4.1.1 SSD目標檢測網絡簡介
        4.1.2 基于Tensor-Train張量分解和量化技術的輕量型目標檢測網絡
    4.2 實驗設計
        4.2.1 COCO數據集介紹
        4.2.2 實驗詳情
        4.2.3 實驗結果
    4.3 本章小結
第5章 總結與展望
    5.1 本文工作總結
    5.2 未來研究展望
參考文獻
致謝
作者簡歷及攻讀學位期間發(fā)表的學術論文與研究成果



本文編號：3694101