大數(shù)據(jù)時(shí)代的到來促進(jìn)了數(shù)據(jù)分析方法的創(chuàng)新,基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)在多個(gè)領(lǐng)域取得了突破性的進(jìn)展。遞歸神經(jīng)網(wǎng)絡(luò)（RNN）在處理連續(xù)時(shí)間序列的問題中起到了主導(dǎo)地位,被廣泛應(yīng)用于自然語言處理、計(jì)算機(jī)視覺、語音識(shí)別等多個(gè)研究領(lǐng)域。然而,RNN在實(shí)際應(yīng)用場景中仍面臨著模型結(jié)構(gòu)復(fù)雜、訓(xùn)練耗時(shí)、計(jì)算通信比低、分布式訓(xùn)練實(shí)現(xiàn)困難、解碼延遲高、長期依賴關(guān)系難以學(xué)習(xí)等諸多問題。本文圍繞RNN的高效訓(xùn)練算法、可擴(kuò)展分布式訓(xùn)練、快速解碼算法和長期依賴關(guān)系學(xué)習(xí)等關(guān)鍵問題展開研究,主要研究內(nèi)容包括以下四個(gè)部分。（1）針對RNN訓(xùn)練中存在的數(shù)據(jù)耦合性高、難以并行化等問題,實(shí)現(xiàn)了一種數(shù)據(jù)解耦的流水線時(shí)域反向傳播（BPTT）算法。該算法以基于GPU平臺(tái)的RNN訓(xùn)練為研究對象,對RNN訓(xùn)練中的計(jì)算邏輯關(guān)系進(jìn)行梳理,發(fā)掘其中可并行化的模塊,將RNN訓(xùn)練中的前后向計(jì)算流程劃分為多個(gè)可并行模塊,利用多個(gè)計(jì)算流獨(dú)立地加載各個(gè)模塊的計(jì)算任務(wù),從而有效地提升了 RNN訓(xùn)練算法在GPU平臺(tái)上的執(zhí)行效率。（2）針對現(xiàn)有的RNN分布式訓(xùn)練算法帶寬需求高、可擴(kuò)展性差等問題,設(shè)計(jì)了一種基于數(shù)據(jù)并行方式的RNN分布式訓(xùn)練算法。該算法將計(jì)算節(jié)點(diǎn)... 

【文章頁數(shù)】：110 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試算法
        1.2.2 深度學(xué)習(xí)模型的分布式訓(xùn)練
        1.2.3 長期依賴關(guān)系的學(xué)習(xí)
    1.3 本文研究內(nèi)容和主要工作
    1.4 本文組織結(jié)構(gòu)
第2章 遞歸神經(jīng)網(wǎng)絡(luò)相關(guān)知識(shí)
    2.1 人工神經(jīng)網(wǎng)絡(luò)
        2.1.1 網(wǎng)絡(luò)結(jié)構(gòu)
        2.1.2 學(xué)習(xí)過程
        2.1.3 激活函數(shù)
        2.1.4 參數(shù)初始化
        2.1.5 參數(shù)優(yōu)化方法
    2.2 遞歸神經(jīng)網(wǎng)絡(luò)
        2.2.1 發(fā)展歷史
        2.2.2 基本結(jié)構(gòu)
        2.2.3 時(shí)域后向傳播算法
    2.3 遞歸神經(jīng)網(wǎng)絡(luò)在統(tǒng)計(jì)語言模型中的應(yīng)用
    2.4 遞歸神經(jīng)網(wǎng)絡(luò)在時(shí)序分類問題中的應(yīng)用
    2.5 本章小結(jié)
第3章 基于流水線并行的遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法
    3.1 GPU編程結(jié)構(gòu)
    3.2 遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法回顧
    3.3 遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的數(shù)據(jù)解耦合
        3.3.1 時(shí)域反向傳播中的數(shù)據(jù)依賴關(guān)系分析
        3.3.2 流水線并行方法
    3.4 流水線并行算法的性能分析
    3.5 遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的GPU實(shí)現(xiàn)
        3.5.1 基本流程實(shí)現(xiàn)
        3.5.2 輸出層拆分
        3.5.3 多流并行
        3.5.4 基于并行規(guī)約的softmax實(shí)現(xiàn)
    3.6 實(shí)驗(yàn)與分析
        3.6.1 實(shí)驗(yàn)環(huán)境
        3.6.2 實(shí)驗(yàn)結(jié)果與分析
    3.7 本章小結(jié)
第4章 基于數(shù)據(jù)并行的遞歸神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練算法
    4.1 數(shù)據(jù)并行算法
        4.1.1 中心化并行方案
        4.1.2 去中心化的并行方案
    4.2 令牌環(huán)并行算法
        4.2.1 算法性能分析
    4.3 分布式訓(xùn)練中的通信壓力
        4.3.1 截?cái)嗵荻认陆?br>    4.4 實(shí)驗(yàn)與分析
        4.4.1 實(shí)驗(yàn)數(shù)據(jù)集
        4.4.2 實(shí)現(xiàn)細(xì)節(jié)
        4.4.3 實(shí)驗(yàn)結(jié)果與分析
    4.5 本章小結(jié)
第5章 遞歸神經(jīng)網(wǎng)絡(luò)的快速解碼算法研究
    5.1 遞歸神經(jīng)網(wǎng)絡(luò)-連接時(shí)序分類序列識(shí)別框架
        5.1.1 圖像預(yù)處理
        5.1.2 圖像特征學(xué)習(xí)
        5.1.3 特征序列建模
        5.1.4 序列解碼
    5.2 遞歸神經(jīng)網(wǎng)絡(luò)的參數(shù)重構(gòu)
    5.3 實(shí)驗(yàn)和分析
        5.3.1 實(shí)驗(yàn)數(shù)據(jù)集
        5.3.2 評估標(biāo)準(zhǔn)
        5.3.3 實(shí)驗(yàn)結(jié)果與分析
    5.4 本章小結(jié)
第6章 針對長期依賴關(guān)系的遞歸神經(jīng)網(wǎng)絡(luò)擴(kuò)展結(jié)構(gòu)
    6.1 相關(guān)工作
    6.2 梯度消失問題
    6.3 輕量級門控循環(huán)單元(LRU)
        6.3.1 LRU模型設(shè)計(jì)
        6.3.2 相關(guān)分析及討論
    6.4 實(shí)驗(yàn)與分析
        6.4.1 加法問題
        6.4.2 MNIST手寫字母分類
    6.5 本章小結(jié)
第7章 總結(jié)和展望
    7.1 本文主要工作
    7.2 未來工作展望
參考文獻(xiàn)
致謝
在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果


【參考文獻(xiàn)】：
期刊論文
[1]Minimal Gated Unit for Recurrent Neural Networks[J]. Guo-Bing Zhou,Jianxin Wu,Chen-Lin Zhang,Zhi-Hua Zhou.  International Journal of Automation and Computing. 2016(03)
[2]一種異步BSP模型及其程序優(yōu)化技術(shù)[J]. 劉方愛,劉志勇,喬香珍.  計(jì)算機(jī)學(xué)報(bào). 2002(04)



本文編號(hào)：3704178