模型壓縮與優(yōu)化是當(dāng)下深度學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一,致力于解決深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)模型過(guò)度冗余,參數(shù)過(guò)大導(dǎo)致的運(yùn)算量或存儲(chǔ)要求過(guò)高的問(wèn)題。當(dāng)前主流的基于低秩與稀疏分解的網(wǎng)絡(luò)壓縮方法沒(méi)有整體考慮權(quán)重的這兩種特性,忽略了它們之間的關(guān)聯(lián)。其次,模型壓縮涉及的超參數(shù),如秩、稀疏度等的搜索空間極大,高度依賴領(lǐng)域?qū)＜医?jīng)驗(yàn)進(jìn)行選擇。此外,在稀疏網(wǎng)絡(luò)的學(xué)習(xí)中,網(wǎng)絡(luò)連接結(jié)構(gòu)與模型參數(shù)作為保證壓縮性能的關(guān)鍵,往往難以得到較理想的設(shè)置與訓(xùn)練。大量試錯(cuò)過(guò)程不僅浪費(fèi)人力成本,也會(huì)造成嚴(yán)重的計(jì)算負(fù)擔(dān),且最后只能找到單一的所謂“最優(yōu)解”,無(wú)法滿足用戶對(duì)不同場(chǎng)景下模型壓縮效果的需求。因此可見,在DNN模型壓縮學(xué)習(xí)與優(yōu)化方面,仍有較多亟待解決的問(wèn)題。準(zhǔn)確捕獲權(quán)重的結(jié)構(gòu)特征,設(shè)計(jì)合理并高效的壓縮學(xué)習(xí)算法,是一個(gè)富有挑戰(zhàn)性的科學(xué)難題。本論文深入分析網(wǎng)絡(luò)權(quán)重的低秩與稀疏特性,提出新型的壓縮結(jié)構(gòu),并基于進(jìn)化多目標(biāo)優(yōu)化(Evolutionary Multi-objective Optimization,EMO)的思想,解決該類DNN模型壓縮所涉及的超參數(shù)難調(diào),搜索難度高等難題。同時(shí)也基于該思...

【文章頁(yè)數(shù)】：83 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 引言
    1.2 論文研究背景與意義
    1.3 國(guó)內(nèi)外研究現(xiàn)狀
        1.3.1 神經(jīng)網(wǎng)絡(luò)模型壓縮
        1.3.2 進(jìn)化多目標(biāo)機(jī)器學(xué)習(xí)
    1.4 本文研究?jī)?nèi)容與組織結(jié)構(gòu)
第2章 模型壓縮與進(jìn)化多目標(biāo)技術(shù)概述
    2.1 引言
    2.2 模型壓縮技術(shù)概述
        2.2.1 壓縮方法分類
        2.2.2 壓縮方法基本框架
    2.3 進(jìn)化多目標(biāo)優(yōu)化技術(shù)
        2.3.1 多目標(biāo)優(yōu)化簡(jiǎn)介
        2.3.2 經(jīng)典多目標(biāo)進(jìn)化算法
    2.4 本章小結(jié)
第3章 基于低秩與稀疏特性的聯(lián)合壓縮方法
    3.1 引言
    3.2 聯(lián)合壓縮模型
        3.2.1 壓縮模型結(jié)構(gòu)
        3.2.2 低秩與稀疏聯(lián)合分解
        3.2.3 全局稀疏矩陣性能補(bǔ)償
    3.3 模型壓縮實(shí)驗(yàn)結(jié)果與分析
        3.3.1 基于Image Net的 VGG-16 壓縮結(jié)果
        3.3.2 基于CIFAR-10的VGG壓縮結(jié)果
        3.3.3 模型壓縮方法對(duì)比
    3.4 本章小結(jié)
第4章 進(jìn)化多目標(biāo)模型壓縮學(xué)習(xí)
    4.1 引言
    4.2 多目標(biāo)壓縮學(xué)習(xí)模型
        4.2.1 多目標(biāo)問(wèn)題構(gòu)建
        4.2.2 多目標(biāo)進(jìn)化壓縮學(xué)習(xí)模型框架
    4.3 高效子代壓縮模型生成
        4.3.1 遺傳算子設(shè)計(jì)
        4.3.2 超參數(shù)調(diào)優(yōu)
    4.4 候選子代模型評(píng)估與篩選
        4.4.1 適應(yīng)度代理函數(shù)
        4.4.2 非支配排序機(jī)制
        4.4.3 基于種群分布性的距離度量準(zhǔn)則
    4.5 仿真驗(yàn)證與性能分析
        4.5.1 壓縮模型微調(diào)分析
        4.5.2 候選模型選擇效果
        4.5.3 基于CIFAR-10數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果
        4.5.4 基于CIFAR-10數(shù)據(jù)集的模型性能分析
        4.5.5 基于CIFAR-100數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果
    4.6 本章小結(jié)
第5章 進(jìn)化多目標(biāo)稀疏網(wǎng)絡(luò)學(xué)習(xí)與優(yōu)化
    5.1 引言
    5.2 多目標(biāo)稀疏網(wǎng)絡(luò)訓(xùn)練模型
        5.2.1 多目標(biāo)模型構(gòu)建
        5.2.2 網(wǎng)絡(luò)稀疏特性挖掘
        5.2.3 聯(lián)合訓(xùn)練模型框架
    5.3 進(jìn)化多目標(biāo)稀疏網(wǎng)絡(luò)優(yōu)化
        5.3.1 網(wǎng)絡(luò)連接結(jié)構(gòu)搜索
        5.3.2 模型參數(shù)微調(diào)
        5.3.3 區(qū)域進(jìn)化
    5.4 仿真驗(yàn)證與性能分析
        5.4.1 基于單層網(wǎng)絡(luò)的BP算法分析
        5.4.2 單層網(wǎng)絡(luò)聯(lián)合訓(xùn)練實(shí)驗(yàn)
        5.4.3 多層網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果
        5.4.4 基于CIFAR-10的多層網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果
    5.5 本章小結(jié)
第6章 總結(jié)和展望
    6.1 全文工作總結(jié)
    6.2 未來(lái)研究展望
參考文獻(xiàn)
指導(dǎo)教師對(duì)研究生學(xué)位論文的學(xué)術(shù)評(píng)語(yǔ)
研究生學(xué)位論文答辯委員會(huì)決議書
致謝
攻讀碩士學(xué)位期間的研究成果



本文編號(hào)：3767618