當(dāng)面臨越來(lái)越龐大的數(shù)據(jù)集、亦或是規(guī)模較大的分布式集群環(huán)境時(shí),LSTM算法進(jìn)行時(shí)間序列預(yù)測(cè)分析會(huì)暴露出較為明顯的訓(xùn)練效率問題,為此,本文提出了一種并行化LSTM的解決方案。該解決方案主要依靠YARN框架針對(duì)大數(shù)據(jù)的處理能力和分布式資源調(diào)度能力,以及TensorFlow架構(gòu)提供的分布式框架設(shè)計(jì),將兩者進(jìn)行結(jié)合,將YARN框架作為頂層的任務(wù)分配和資源調(diào)度模塊,TensorFlow架構(gòu)作為中間層,銜接底層的并行化LSTM算法和頂層的YARN架構(gòu),LSTM算法也通過切片分組的方式進(jìn)行并行化修改。文章重點(diǎn)說(shuō)明了YARN層與TensorFlow層的適配方案,通過對(duì)原有框架的修改,保留其對(duì)資源調(diào)度和任務(wù)分配方面的功能,將TensorFlow封裝在YARN框架的節(jié)點(diǎn)容器中,通過相關(guān)機(jī)制,YARN可以向下層的TensorFlow發(fā)布任務(wù),并快速提供所需資源。而關(guān)于LSTM算法的并行化解決方案,則主要是基于時(shí)間片進(jìn)行切片的方式進(jìn)行分組,在組內(nèi)串行訓(xùn)練,組間并行化訓(xùn)練,一輪訓(xùn)練結(jié)果作為二輪的輸入,重復(fù)進(jìn)行,多次迭代,直到得到最終訓(xùn)練結(jié)果為止。此外,文章介紹了作為橋梁的TensorFlow框架的分布式架構(gòu)設(shè)計(jì),... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：94 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

源數(shù)據(jù)記錄本節(jié)使用的數(shù)據(jù)為https://data.matr.io/1/提供的電池?cái)?shù)據(jù)，電池?cái)?shù)據(jù)來(lái)源如下：所有電池均采用一步或兩步充電策略進(jìn)行循環(huán)

電子科技大學(xué)碩士學(xué)位論文26電循環(huán)次數(shù)Cycle_Index、當(dāng)前的電池充電容量Charge_Capacity、放電容量Discharge_Capacity等。為了能夠直觀的表現(xiàn)電池容量的大致規(guī)律，本文僅針對(duì)放電容量和循環(huán)次數(shù)制圖，所得圖表如圖3-3所示。圖3-3放電容量與循環(huán)次數(shù)可以看出，大體上而言，隨著充放電循環(huán)次數(shù)增加，電池容量逐漸減少，直至最后降至0。本LSTM算法的核心任務(wù)，即為能夠根據(jù)給出的電池前T時(shí)間步內(nèi)的電池狀態(tài)，預(yù)測(cè)出第T+1到T+N時(shí)間步內(nèi)的電池狀態(tài)。LSTM模塊（或單元）具有5個(gè)基本組件，可用于對(duì)長(zhǎng)期和短期數(shù)據(jù)進(jìn)行建模。單元狀態(tài)-表示單元的內(nèi)部存儲(chǔ)器，該單元既存儲(chǔ)短期存儲(chǔ)器又存儲(chǔ)長(zhǎng)期存儲(chǔ)器。隱藏狀態(tài)-這是根據(jù)當(dāng)前輸入，先前的隱藏狀態(tài)和當(dāng)前單元格輸入計(jì)算得出的輸出狀態(tài)信息，最終可以使用這些信息來(lái)預(yù)測(cè)未來(lái)的股票市場(chǎng)價(jià)格。另外，隱藏狀態(tài)可以決定僅檢索存儲(chǔ)在單元狀態(tài)中的短期或長(zhǎng)期或兩種類型的存儲(chǔ)器，以進(jìn)行下一次預(yù)測(cè)。輸入門-確定從當(dāng)前輸入流到單元狀態(tài)i的信息量。忘記門-確定當(dāng)前輸入和先前單元狀態(tài)中有多少信息流入當(dāng)前單元狀態(tài)。輸出門-確定當(dāng)前單元狀態(tài)中有多少信息流入隱藏狀態(tài)，因此，如果需要，LSTM只能選擇長(zhǎng)期記憶或短期記憶和長(zhǎng)期記憶。

第四章仿真實(shí)驗(yàn)結(jié)果分析65圖4-7訓(xùn)練過程中的損失和訓(xùn)練精度變化（取每200步打印一次）為了能夠針對(duì)當(dāng)前算法對(duì)于GPU的利用情況，本小節(jié)采用了TensorFlow自帶的timeline模塊針對(duì)GPU進(jìn)行跟蹤監(jiān)視。timeline模塊不僅能夠有效的記錄CPU的使用情況，更為重要的是，其本身支持將記錄數(shù)據(jù)導(dǎo)出成為.json文件，該.json文件可以通過包括Chrome在內(nèi)的瀏覽器所讀取，生成直觀的圖表，方便進(jìn)行分析。timeline模塊核心示例代碼如表4-5所示。


本文編號(hào)：3553882