二維卷積神經(jīng)網(wǎng)絡已經(jīng)被廣泛應用于二維圖像領域,并取得了令人矚目的成績。利用多維卷積操作,可將二維的卷積網(wǎng)絡模型直接推廣到多維卷積網(wǎng)絡模型,然而隨著信號維度的增加,模型參數(shù)急劇增加,卷積操作的時間和空間復雜度提高,從而導致網(wǎng)絡計算和存儲代價大幅度的提升。為此,本文利用兩類可分離結構降低卷積的運算復雜度,提出兩種輕量級的卷積神經(jīng)網(wǎng)絡。本文的工作主要集中在如下兩個方面:第一,提出基于序貫結構的多維可分離卷積神經(jīng)網(wǎng)絡,在網(wǎng)絡中采用一組一維卷積操作取代傳統(tǒng)的一次多維卷積操作,模型在每個維度上交替進行一維的卷積運算。與傳統(tǒng)卷積網(wǎng)絡相比,該模型降低了空間復雜度,而且將指數(shù)級時間復雜度降為線性級復雜度。在MNIST和KTH數(shù)據(jù)集上對該模型進行測試,實驗表明該模型在較低的時空復雜度下獲得與傳統(tǒng)卷積網(wǎng)絡模型相似的識別精度,同時在小樣本時,該模型的識別精度比傳統(tǒng)模型高9%。第二,提出基于多路并行結構的多維可分離卷積神經(jīng)網(wǎng)絡。該模型利用高階張量表示多維信號,由多層的輸入和輸出均為高階張量的模塊組成。在每個模塊中,通過張量運算、利用一組一維卷積并行操作提取信號在不同維度的特性,通過特征融合,獲得該模塊層的多維信...

【文章頁數(shù)】：68 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 深度學習方法
        1.2.2 輕量級的深度網(wǎng)絡
    1.3 本文組織結構
第2章 卷積神經(jīng)網(wǎng)絡技術
    2.1 引言
    2.2 神經(jīng)網(wǎng)絡結構
    2.3 常見的CNN結構
        2.3.1 序貫結構
        2.3.2 Inception結構
        2.3.3 殘差網(wǎng)絡結構
    2.4 網(wǎng)絡訓練算法
        2.4.1 參數(shù)初始化
        2.4.2 參數(shù)更新
    2.5 卷積神經(jīng)網(wǎng)絡輕量化技術
        2.5.1 網(wǎng)絡冗余度
        2.5.2 低秩分解
        2.5.3 參數(shù)修剪
        2.5.4 緊湊濾波器
    2.6 本章小結
第3章 基于序貫結構的輕量級多維卷積神經(jīng)網(wǎng)絡
    3.1 引言
    3.2 卷積層模型
    3.3 網(wǎng)絡結構
    3.4 實驗結果與分析
        3.4.1 MNIST和KTH行為數(shù)據(jù)集
        3.4.2 網(wǎng)絡結構及訓練策略設置
        3.4.3 視頻通道采樣
        3.4.4 性能比較
    3.5 本章小結
第4章 基于多路并行的輕量級多維卷積神經(jīng)網(wǎng)絡
    4.1 引言
    4.2 卷積層模型
    4.3 特征融合
    4.4 網(wǎng)絡結構模塊化設計
        4.4.1 網(wǎng)絡結構
        4.4.2 超參設計
    4.5 實驗結果與分析
        4.5.1 CIFAR-10 數(shù)據(jù)集
        4.5.2 網(wǎng)絡結構調(diào)優(yōu)及訓練策略
        4.5.3 特征融合的有效性驗證
        4.5.4 性能對比
    4.6 本章小結
結論
參考 文獻
攻讀碩士學位期間所發(fā)表的學術論文
致謝



本文編號：3820381