深度模型——泛指各類采用了深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,簡稱DNN)的模型,它們往往包含龐大的參數(shù)數(shù)量和復雜的計算流程,這使得這些模型在計算和存儲方面需要消耗大量的資源。故而很多包含深度模型的應用無法布置到資源受限的硬件平臺上——計算和存儲資源較少且不易擴充的硬件環(huán)境(例如:無人機),此時就需要對深度模型進行簡化。深度模型簡化的目的,是在保持模型精度(具體應用設(shè)置的評價指標)的前提下,針對性地加快模型計算速度或是壓縮模型存儲大小。據(jù)此,本文分別針對深度模型的加速和深度模型的壓縮進行了相應的研究。首先,針對深度模型常用的組成部分——深度神經(jīng)網(wǎng)絡(luò),本文提出了一種通用的壓縮方法,其能極大地壓縮模型的存儲大小。對于深度模型壓縮,有一類常用的方法是基于重要性的連接裁剪法(Magnitude-based Pruning,簡稱MP),該方法主要假設(shè)網(wǎng)絡(luò)中連接權(quán)重的絕對值可以視為對應連接的重要性度量;當給定一個重要性閾值后,將神經(jīng)網(wǎng)絡(luò)中所有重要性(也即是連接權(quán)值的絕對值)低于該閾值的連接都刪去。目前在深度神經(jīng)網(wǎng)絡(luò)中取得顯著效果的MP方法主要是它的一個變種,既基于層級結(jié)構(gòu)的重要性...

【文章頁數(shù)】：118 頁

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究內(nèi)容與背景
    1.2 研究意義
        1.2.1 場景舉例
        1.2.2 資源受限平臺運行深度模型的難點
    1.3 本文的主要工作及組織結(jié)構(gòu)
        1.3.1 本文的主要工作
        1.3.2 本文的組織結(jié)構(gòu)
    1.4 本章小結(jié)
第2章 背景知識及調(diào)研綜述
    2.1 深度模型介紹
        2.1.1 人工神經(jīng)網(wǎng)絡(luò)
        2.1.2 深度神經(jīng)網(wǎng)絡(luò)
        2.1.3 深度卷積神經(jīng)網(wǎng)絡(luò)
        2.1.4 針對物體檢測的R-CNN模型
        2.1.5 針對機器翻譯的深度模型
    2.2 深度神經(jīng)網(wǎng)絡(luò)簡化綜述
        2.2.1 工程性加速
        2.2.2 參數(shù)約減
        2.2.3 高維模型降維
    2.3 本章小結(jié)
第3章 基于優(yōu)化的深度模型壓縮
    3.1 概述
    3.2 相關(guān)研究
    3.3 算法介紹
        3.3.1 OLMP
        3.3.2 使用OLMP進行DNN壓縮
        3.3.3 OLMP實現(xiàn)
    3.4 實驗及分析
        3.4.1 LeNet系列模型上的壓縮效果對比
        3.4.2 AlexNet結(jié)構(gòu)上的壓縮效果對比
        3.4.3 δ和σ之間的敏感度分析
        3.4.4 不組合迭代式壓縮流程的OLMP裁剪性能
    3.5 本章小結(jié)
第4章 針對機器翻譯深度模型的壓縮研究
    4.1 概述
    4.2 相關(guān)研究
    4.3 NMT常用連接結(jié)構(gòu)
        4.3.1 反饋式模型
        4.3.2 前饋式模型
    4.4 連接分組策略與模型裁剪
        4.4.1 Time-wise連接分組策略
        4.4.2 Residual-wise連接分組策略
        4.4.3 其他連接分組策略
        4.4.4 模型裁剪方案
    4.5 實驗及分析
        4.5.1 數(shù)據(jù)集與評價指標
        4.5.2 實驗設(shè)置
        4.5.3 分組策略效果對比
        4.5.4 不同δ值下分組策略裁剪效果的變化
        4.5.5 RNNSearch和Luong-Net變體模型上的裁剪效果
    4.6 本章小結(jié)
第5章 針對物體檢測深度模型的加速研究
    5.1 概述
    5.2 相關(guān)工作
        5.2.1 加速分類過程
        5.2.2 加速RoI生成過程
    5.3 R²-CNN方法:RoI生成
        5.3.1 步驟一:生成Integrate Feature Map
        5.3.2 步驟二:生成Feature Level
        5.3.3 步驟三:生成RoI
        5.3.4 步驟四:Local Search
    5.4 R²-CNN方法:整體框架
        5.4.1 遞歸微調(diào)(Recursive Fine-tuning)與其實現(xiàn)
    5.5 實驗及分析
        5.5.1 實驗設(shè)置
        5.5.2 RoI生成速度對比
        5.5.3 物體檢測的性能對比
        5.5.4 RoI質(zhì)量對比
        5.5.5 不同卷積層選擇對R²-CNN的影響
    5.6 本章小結(jié)
第6章 總結(jié)
參考文獻
致謝
在讀期間發(fā)表的學術(shù)論文與取得的研究成果



本文編號：3899317