本文關(guān)鍵詞：深度學(xué)習(xí)模型的高效訓(xùn)練算法研究　出處：《中國科學(xué)技術(shù)大學(xué)》2016年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 深度學(xué)習(xí) 樣本分離邊距 最小分類誤差 上下文敏感區(qū)塊 并行訓(xùn)練可擴展訓(xùn)練 變方向乘子法 逐塊模型更新濾波 深度神經(jīng)網(wǎng)絡(luò) 長短時記憶元 連接時序分類

【摘要】：近年來,深度學(xué)習(xí)技術(shù)被成功應(yīng)用于語音識別、手寫識別、計算機視覺、自然語言處理等領(lǐng)域,取得了顯著成果。隨著深度學(xué)習(xí)模型結(jié)構(gòu)日趨復(fù)雜,訓(xùn)練數(shù)據(jù)不斷增加,如何實現(xiàn)模型的高效訓(xùn)練,成為亟待解決的問題,當下計算技術(shù),特別是高性能計算(HPC)和圖形處理單元(GPU)技術(shù)的發(fā)展使得我們可以利用的計算資源越來越多,這為該問題的解決提供了良好的契機。本文圍繞整流線性單元(ReLU)深度神經(jīng)網(wǎng)絡(luò)(DNN)的新訓(xùn)練準則,深度雙向長短時記憶元(DBLSTM)遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的快速訓(xùn)練以及深度學(xué)習(xí)模型的可擴展訓(xùn)練等三個方面對該問題進行了研究,并有所創(chuàng)新。首先,針對用于分類問題的ReLU-DNN,本文提出用基于樣本分離邊距(SSM)的最小分類誤差(MCE)準則替代傳統(tǒng)的交叉熵(CE)準則對模型進行訓(xùn)練。對于給定的訓(xùn)練樣本,如果忽略ReLU-DNN中輸出為0的隱層節(jié)點,該網(wǎng)絡(luò)可被視作線性分類器,SSM-MCE作為適用于線性分類器的訓(xùn)練準則,其損失函數(shù)直接與分類錯誤率相關(guān),在最小化損失函數(shù)的同時,可以增大SSM,改善模型在測試集上的泛化能力。實驗結(jié)果表明,SSM-MCE在中小規(guī)模的網(wǎng)絡(luò)上可以取得優(yōu)于CE的結(jié)果。其次,本文針對DBLSTM訓(xùn)練緩慢,解碼延遲高的問題,提出了基于上下文敏感區(qū)塊(CSC)的時域后傳(BPTT)訓(xùn)練算法及其相應(yīng)的解碼算法。該算法將長序列的DBLSTM建模的問題轉(zhuǎn)化成短CSC的建模,提高了模型訓(xùn)練的并行度,加快了訓(xùn)練速度,降低了解碼延遲,為DBLSTM的實時應(yīng)用奠定了基礎(chǔ)。實驗結(jié)果表明,在大詞匯量連續(xù)語音識別(LVCSR)任務(wù)上,該方法取得了與傳統(tǒng)方法相同的識別效果,而訓(xùn)練速度加快了3.4倍,解碼延遲大大降低。再次,為了利用大規(guī)模數(shù)據(jù)對深度學(xué)習(xí)模型進行并行訓(xùn)練,我們提出了增量塊訓(xùn)練(IBT)框架下的變方向乘子(ADMM)算法。作為一種數(shù)據(jù)并行算法,基于ADMM的IBT算法將無約束的深度學(xué)習(xí)模型訓(xùn)練問題轉(zhuǎn)化成全局一致約束下的優(yōu)化問題進行求解。我們在HPC集群上對其進行了實現(xiàn),實驗結(jié)果表明,在1,860小時的LVCSR的DNN訓(xùn)練任務(wù)上,該算法取得了與模型平均(MA)算法大致相同的結(jié)果,且實現(xiàn)了訓(xùn)練的線性加速。最后,針對MA并行訓(xùn)練算法隨并行機器增多,模型性能顯著下降的問題,本文將全局模型的更新看作隨機優(yōu)化過程,提出了逐塊模型更新濾波(BMUF)算法。該算法使用塊沖量(BM)技術(shù),補償了MA算法中取平均操作帶來的負面作用。在1,860小時LVCSR的神經(jīng)網(wǎng)絡(luò)訓(xùn)練任務(wù)上,本算法在多達64塊卡的DNN CE訓(xùn)練和32塊卡的帶投影層DBLSTM (DBLSTMP) CE訓(xùn)練上均實現(xiàn)了近乎線性加速,在一百萬行手寫識別的DBLSTM訓(xùn)練任務(wù)上,使用32塊卡實現(xiàn)了DBLSTM連接時序分類(CTC)訓(xùn)練的28倍加速,這些并行訓(xùn)練得到的模型與單機訓(xùn)練得到的相比,性能基本沒有下降,有些情況下甚至更好。
[Abstract]:In recent years , advanced learning techniques have been successfully applied to speech recognition , handwriting recognition , computer vision , natural language processing , etc . Compared with single - machine training , these parallel training models have substantially no degradation in performance , and in some cases even better .

【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP181

【相似文獻】

相關(guān)期刊論文 前10條

1 王學(xué)雷,邵惠鶴,李亞芬;一種徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練算法及其在非線性控制中的應(yīng)用[J];信息與控制;2001年03期

2 朱慶保;多層神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制訓(xùn)練算法及仿真實驗[J];計算機工程;2000年12期

3 王新民;王勤;姚天任;;基于混合因子分析隱馬爾科夫模型的訓(xùn)練算法[J];系統(tǒng)仿真學(xué)報;2008年15期

4 雷曉義;曹柳林;余晉;;回聲狀態(tài)網(wǎng)絡(luò)的遞推訓(xùn)練算法[J];北京化工大學(xué)學(xué)報(自然科學(xué)版);2013年02期

5 白亮,老松楊,胡艷麗;支持向量機訓(xùn)練算法比較研究[J];計算機工程與應(yīng)用;2005年17期

6 王新民;一種改進的隱馬爾可夫模型訓(xùn)練算法[J];孝感學(xué)院學(xué)報;2004年03期

7 喬士東;沈振康;;網(wǎng)絡(luò)群負相關(guān)訓(xùn)練算法的等價形式[J];信號處理;2006年04期

8 汪輝,皮道映,孫優(yōu)賢;支持向量機在線訓(xùn)練算法及其應(yīng)用[J];浙江大學(xué)學(xué)報(工學(xué)版);2004年12期

9 馬海興;;支持向量機訓(xùn)練算法研究[J];福建電腦;2007年10期

10 王書舟;傘冶;;支持向量機的訓(xùn)練算法綜述[J];智能系統(tǒng)學(xué)報;2008年06期

相關(guān)會議論文 前4條

1 林關(guān)成;李亞安;李國輝;;支持向量回歸的連續(xù)過松弛訓(xùn)練算法研究[A];2010’中國西部聲學(xué)學(xué)術(shù)交流會論文集[C];2010年

2 ;增量支持向量機的動態(tài)訓(xùn)練算法研究(英文)[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2007年

3 邢建春;王榮浩;楊啟亮;向崢嶸;盧居亮;;基于改進的加權(quán)最小二乘支持向量機在線訓(xùn)練算法研究[A];第二十九屆中國控制會議論文集[C];2010年

4 馬宗強;黃泰翼;;基于一種改進的TDNN的漢語全音節(jié)的識別[A];第二屆全國人機語音通訊學(xué)術(shù)會議論文集[C];1992年

相關(guān)博士學(xué)位論文 前2條

1 陳凱;深度學(xué)習(xí)模型的高效訓(xùn)練算法研究[D];中國科學(xué)技術(shù)大學(xué);2016年

2 汪輝;增量型支持向量機回歸訓(xùn)練算法及在控制中的應(yīng)用[D];浙江大學(xué);2006年

相關(guān)碩士學(xué)位論文 前9條

1 車四方;前饋神經(jīng)網(wǎng)絡(luò)的混合訓(xùn)練算法及其離群魯棒回歸問題研究[D];中國計量學(xué)院;2015年

2 蘭霞;半監(jiān)督協(xié)同訓(xùn)練算法的研究[D];四川師范大學(xué);2011年

3 袁凱;多視角協(xié)同訓(xùn)練算法研究[D];西安電子科技大學(xué);2013年

4 蘭光華;支持向量機訓(xùn)練算法實現(xiàn)及其改進[D];南京理工大學(xué);2005年

5 張瑩;支持向量機加速訓(xùn)練算法研究[D];河北大學(xué);2010年

6 劉閃電;大規(guī)模SVM訓(xùn)練算法的研究[D];南京航空航天大學(xué);2010年

7 張^，

本文編號：1400200