在深度學(xué)習(xí)中,GPU通常用于加速深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程,然而GPU有限的物理內(nèi)存意味著它很難訓(xùn)練大規(guī)模的深度神經(jīng)網(wǎng)絡(luò)模型。現(xiàn)有的內(nèi)存優(yōu)化方法包括重新計(jì)算方法和CPU-GPU遷移方法,它們對(duì)神經(jīng)網(wǎng)絡(luò)中的所有層應(yīng)用單一的優(yōu)化方式,不能實(shí)現(xiàn)理想的訓(xùn)練性能,忽視了神經(jīng)網(wǎng)絡(luò)中不同層的數(shù)據(jù)遷移成本和計(jì)算成本不一致的重要特征。針對(duì)現(xiàn)有優(yōu)化方法的不足,提出一種基于層的內(nèi)存復(fù)用和優(yōu)化方法——Layup,包含兩個(gè)策略:第一,結(jié)合GPU異步執(zhí)行的特性,通過分析神經(jīng)網(wǎng)絡(luò)中不同層的遷移開銷和重新計(jì)算開銷,將神經(jīng)網(wǎng)絡(luò)中的層劃分為計(jì)算敏感型和遷移敏感型兩類,不同類型的層使用不同的優(yōu)化策略。使用CPU-GPU遷移方法優(yōu)化計(jì)算敏感型層的特征圖,使用重新計(jì)算方法優(yōu)化遷移敏感型層的特征圖,同時(shí)使用流水線并行的方式將數(shù)據(jù)傳輸過程與計(jì)算過程重疊起來,進(jìn)一步降低神經(jīng)網(wǎng)絡(luò)模型整體的訓(xùn)練性能開銷。第二,通過分析神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的內(nèi)存使用情況,提出多種中間數(shù)據(jù)的內(nèi)存復(fù)用策略。使用滑動(dòng)窗口的方式復(fù)用梯度圖的內(nèi)存空間,并基于神經(jīng)網(wǎng)絡(luò)逐層計(jì)算的特性,逐層復(fù)用卷積工作空間和cuDNN句柄數(shù)據(jù),進(jìn)一步降低深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)的內(nèi)存使用量。上述方... 

【文章頁數(shù)】：66 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景
    1.2 問題提出
    1.3 國內(nèi)外研究現(xiàn)狀
    1.4 研究內(nèi)容
    1.5 文章框架結(jié)構(gòu)
2 問題分析和方法設(shè)計(jì)
    2.1 問題分析與設(shè)計(jì)思路
    2.2 層自適應(yīng)策略選擇機(jī)制
    2.3 基于多種中間數(shù)據(jù)的內(nèi)存復(fù)用策略
    2.4 本章小結(jié)
3 關(guān)鍵技術(shù)實(shí)現(xiàn)
    3.1 策略選擇機(jī)制的算法實(shí)現(xiàn)
    3.2 內(nèi)存復(fù)用策略的算法實(shí)現(xiàn)
    3.3 系統(tǒng)工作流程
    3.4 本章小結(jié)
4 測試與分析
    4.1 測試系統(tǒng)與實(shí)驗(yàn)軟硬件環(huán)境
    4.2 測試數(shù)據(jù)與實(shí)驗(yàn)方案
    4.3 實(shí)驗(yàn)結(jié)果與分析
    4.4 本章小結(jié)
5 總結(jié)與展望
致謝
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間投稿及發(fā)表的論文
附錄2 攻讀碩士學(xué)位期間申請(qǐng)的國家發(fā)明專利
附錄3 攻讀碩士學(xué)位期間參與的項(xiàng)目


【參考文獻(xiàn)】：
期刊論文
[1]深度神經(jīng)網(wǎng)絡(luò)壓縮與加速綜述[J]. 紀(jì)榮嶸,林紹輝,晁飛,吳永堅(jiān),黃飛躍.  計(jì)算機(jī)研究與發(fā)展. 2018(09)
[2]Survey of recent progress in semantic image segmentation with CNNs[J]. Qichuan GENG,Zhong ZHOU,Xiaochun CAO.  Science China（Information Sciences）. 2018(05)
[3]深度神經(jīng)網(wǎng)絡(luò)并行化研究綜述[J]. 朱虎明,李佩,焦李成,楊淑媛,侯彪.  計(jì)算機(jī)學(xué)報(bào). 2018(08)
[4]深度學(xué)習(xí)研究綜述[J]. 尹寶才,王文通,王立春.  北京工業(yè)大學(xué)學(xué)報(bào). 2015(01)
[5]深度學(xué)習(xí)的昨天、今天和明天[J]. 余凱,賈磊,陳雨強(qiáng),徐偉.  計(jì)算機(jī)研究與發(fā)展. 2013(09)



本文編號(hào)：3674075