神經網絡特別是深度學習的訓練非常耗時,并且需要大量的訓練數(shù)據(jù),這使得其適合于云計算平臺。云計算平臺可以分布式存儲訓練數(shù)據(jù),并能使用多個主機對神經網絡進行并行計算從而提高訓練速度。然而,當前神經網絡并行訓練的加速比不夠高,和線性加速比存在較大差距。為了提高基于云計算平臺的神經網絡訓練速度,本文提出了神經網絡并行的加速方法,并將該方法應用到語音關鍵詞識別和聲紋驗證中。本文使用Hadoop和Spark搭建云計算平臺,并基于Tensorflow On Spark框架實現(xiàn)神經網絡分布式并行訓練。本文的基于云計算平臺的神經網絡并行計算方法主要包含兩方面內容:一是在每個云節(jié)點上啟動多個工作者,這可以提高云平臺GPU等資源的利用率;二是基于Downpour SGD來改進異步數(shù)據(jù)并行。異步數(shù)據(jù)并行是基于云計算平臺的神經網絡并行訓練的常用方法,然而計算節(jié)點與參數(shù)服務器之間協(xié)同參數(shù)時的通信開銷嚴重影響了異步數(shù)據(jù)并行的加速效果,Downpour SGD可以減少計算節(jié)點與參數(shù)服務器之間的通信次數(shù)從而降低通信開銷,提高并行訓練速度。在語音關鍵詞識別方面,本文提出了結合Dense Net和Bi LSTM的神經網絡模... 

【文章來源】：華南理工大學廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：68 頁

【學位級別】：碩士

【部分圖文】：

梯度下降法

部特征提取能力。根據(jù)網絡層之間的連接結構，卷積網絡可分為常規(guī)卷積神經網絡（CNN，ConvolutionalNeuralNetwork）、殘差網絡（ResNet，ResidualNeuralNetwork）[20]和DenseNet[21]。2.1.2.1CNN卷積神經網絡通過設定卷積核，將目標數(shù)據(jù)與卷積核執(zhí)行卷積運算，從而提取目標數(shù)據(jù)的特征。卷積核也被稱為濾波器。例如對一個二維灰度圖片，通過設置邊界濾波器可以提取圖片的邊界特征，如圖2-2所示。設置多個濾波器可以提取圖片的各個特征。CNN的核心就是使用大量數(shù)據(jù)讓神經網絡模型學習濾波器的參數(shù)，從而擬合目標任務。圖2-2CNN通過邊界濾波器提取二維圖片邊界CNN中的卷積存在如下3個基本概念：1)填充（padding）。圖2-2中二維圖片的尺寸為（6,6），卷積運算后尺寸為（4,4），圖片變小了。圖片特征每卷積一次尺寸變小一次，如果尺寸太小將無法執(zhí)行進一步的卷積。此外該圖的邊緣點參與的運算少，邊緣信息容易丟失。為了解決這個問題，卷積操作前可以先將圖片向外拓展一圈，即圖片尺寸變?yōu)椋?,8），這樣卷積運算后尺寸為（6,6），和原圖片尺寸保持一致。2)步長（stride）。步長是指卷積操作時，濾波器移動的間隔。圖2-2中的步長為1，如果步長為2，則輸出的尺寸為（2,2）。3)池化（pooling）。池化可以進一步提取一定區(qū)域的主要特征，減少模型參數(shù)，防止過擬合。常見的池化包括最大池化（MaxPooling）、平均池化（AveragePooling）等。深度學習中常使用多層卷積網絡，低層神經網絡提取目標低層次特征，高層神經網

第二章神經網絡和云計算平臺的理論基礎7絡基于低層次特征進一步提取高層次特征。提高CNN網絡深度，能加強網絡對特征的提取能力。然而，當神經網絡層數(shù)較深時，誤差信息難以反饋到前面層的網絡，梯度的相關性隨著層數(shù)增加持續(xù)衰減，從而使得其訓練效果反而不如稍淺層神經網絡。為了解決這個問題，文獻[20]提出了ResNet。2.1.2.2ResNetResNet的核心是殘差塊，一個殘差塊的結構如圖2-3所示。右側的曲線為跳接（shortcutconnection），通過跳接，殘差塊將前幾層的輸出與本層的計算輸出相加，然后將結果通過激活函數(shù)后得到本層的輸出。跳接能有效進行誤差反饋，保持梯度相關性。對于層的神經網絡，普通連接的梯度相關性的衰減為12，而ResNet的衰減只有1√，梯度相關性大大增強[22]。圖2-3殘差塊ResNet使得神經網絡可以向更深層次發(fā)展，常見的ResNet包括Res18、Res34、Res50、Res101、Res152等。ResNet在圖像識別等領域比CNN取得了更高的準確率。2.1.2.3DenseNet鑒于ResNet通過跳接取得了更好的效果，文獻[21]提出一種新架構DenseNet，進一步利用跳接，將一定范圍內的所有層連接在一起。DenseNet主要由DenseLayer和TransitionLayer交替組成。在每個DenseLayer中，第層將前面所有層的特征映射的連接作為輸入。假設每層的特征映射個數(shù)為（該值也被稱為增長率），則DenseLayer中第層的輸入特征映射個數(shù)為0+(1)×，其中0是該DenseLayer的輸入通道數(shù)。DenseLayer中輸入特征映射數(shù)隨著層數(shù)的增加而增長，為了避免輸入特征個數(shù)太大，DenseNet在DenseLayer之間添加TransitionLayer來減小輸入特征映射個數(shù)。相比常規(guī)卷積神經網絡，DenseNet可以更好的緩解梯度消失、增強特征傳播、鼓勵特征重用及減少參數(shù)。DenseNet在CIFAR、SVHN等數(shù)據(jù)集上

【參考文獻】：
期刊論文
[1]深度神經網絡并行化研究綜述[J]. 朱虎明,李佩,焦李成,楊淑媛,侯彪.  計算機學報. 2018(08)
[2]分布式深度學習研究[J]. 辜陽,楊大為.  科技創(chuàng)新與應用. 2017(29)
[3]基于LPC和MFCC得分融合的說話人辨認[J]. 單燕燕.  計算機技術與發(fā)展. 2016(01)



本文編號：3277195