伴隨著信息與通信技術(shù)的高速發(fā)展,全球數(shù)據(jù)量呈現(xiàn)爆炸式增長。如何對海量復(fù)雜的數(shù)據(jù)進(jìn)行有效分析,挖掘?qū)崿F(xiàn)其中潛在價值并合理利用,是當(dāng)前的重要課題之一。在語音識別、圖像理解、自然語言處理、視頻推薦等數(shù)據(jù)處理及應(yīng)用領(lǐng)域,深度學(xué)習(xí)不僅改變著傳統(tǒng)的機(jī)器學(xué)習(xí)方法,而且已引發(fā)了突破性的變革。深度學(xué)習(xí)的蓬勃發(fā)展使得各行業(yè)對深度學(xué)習(xí)的使用需要越加迫切。然而深度學(xué)習(xí)對于普通行業(yè)使用者而言使用門檻相對較高,既需要大量的時間成本用于學(xué)習(xí)使用及復(fù)雜的底層模型編寫,又需要大量的計(jì)算服務(wù)器等硬件成本用于搭建深度學(xué)習(xí)框架。基于上述的研究背景及現(xiàn)狀,本文設(shè)計(jì)并實(shí)現(xiàn)了基于深度學(xué)習(xí)的大數(shù)據(jù)分析預(yù)測系統(tǒng),旨在支持深度學(xué)習(xí)使用、降低使用者使用成本與操作復(fù)雜性。首先本文調(diào)研現(xiàn)有的大數(shù)據(jù)與深度學(xué)習(xí)相關(guān)的處理框架與有關(guān)技術(shù),結(jié)合對系統(tǒng)設(shè)計(jì)場景、功能需求、性能需求等分析,設(shè)計(jì)提出了包含數(shù)據(jù)吸收、系統(tǒng)框架、算法模型、集成組件、服務(wù)應(yīng)用的五層整體架構(gòu),為系統(tǒng)具體實(shí)現(xiàn)奠定基礎(chǔ)。接著對大數(shù)據(jù)分析預(yù)測系統(tǒng)中的各功能模塊的具體設(shè)計(jì)與實(shí)現(xiàn)目標(biāo)進(jìn)行了詳細(xì)介紹。此外,本文為提升系統(tǒng)中所使用算法模型的訓(xùn)練效率,對于深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究分析,并... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

HDFS節(jié)點(diǎn)組織架構(gòu)圖

：?；？?．：??Ｊ３ｖＳ／?Ｆ?…二■．廠＇?Ｉ?：＾＾５２Ｓ５ＳＢｉ??Ｉｂｈｒｈｈｈｒ?ＩｈｍＨＨＩ?ＲＨＨｆｌＨＲ??圖２－１?ＨＤＦＳ節(jié)點(diǎn)組織架構(gòu)圖??散存儲于各ＤａｔａＮｏｄｅ節(jié)點(diǎn)，每個存儲的文件塊的元數(shù)據(jù)信息則將存儲于ＮａｍｅＮｏｄｅ??以供定位存儲文件塊。用戶進(jìn)行ＨＤＦＳ的數(shù)據(jù)存取操作時，通過ＨＤＦＳ中的客戶端??機(jī)器節(jié)點(diǎn)與ＮａｍｅＮｏｄｅ節(jié)點(diǎn)進(jìn)行通信來進(jìn)一步數(shù)據(jù)交互操作。??當(dāng)用戶進(jìn)行數(shù)據(jù)寫入操作時如圖２－２所示，首先通過ＨＤＦＳ客戶端節(jié)點(diǎn)創(chuàng)新虛擬??文件系統(tǒng)與對應(yīng)服務(wù)器集群的ＮａｍｅＮｏｄｅ節(jié)點(diǎn)通信以創(chuàng)建一個沒有任何文件塊關(guān)聯(lián)??的新數(shù)據(jù)文件及其元數(shù)據(jù)信息，并獲取得到可以進(jìn)行數(shù)據(jù)存儲的ＤａｔａＮｏｄｅ節(jié)點(diǎn)列??表。接著通過ＨＤＦＳ客戶端節(jié)點(diǎn)將寫入的文件內(nèi)容輸入文件寫入本地緩沖區(qū)。當(dāng)緩??沖區(qū)內(nèi)容大小達(dá)到ＨＤＦＳ的文件塊大小時，再與接收得到的ＤａｔａＮｏｄｅ節(jié)點(diǎn)列表中的??某一?ＤａｔａＮｏｄｅ節(jié)點(diǎn)進(jìn)行通信，并將溢寫發(fā)送至該節(jié)點(diǎn)。該ＤａｔａＮｏｄｅ節(jié)點(diǎn)每接收一??

第二章相關(guān)技術(shù)研究綜述??個數(shù)據(jù)文件塊完成時，將遵守ＨＤＦＳ默認(rèn)的３副本模式，與另一個ＤａｔａＮｏｄｅ節(jié)點(diǎn)進(jìn)??行通信并傳輸該文件塊，同時下一?ＤａｔａＮｏｄｅ節(jié)點(diǎn)也將重復(fù)此操作。這一機(jī)制通過冗??余存儲保證了?ＨＤＦＳ數(shù)據(jù)存儲服務(wù)的高容錯和高可靠性，是ＨＤＦＳ中重要的一部分。??而當(dāng)用戶進(jìn)行數(shù)據(jù)讀取操作時如圖２－３所示，也首先通過ＨＤＦＳ客戶端節(jié)點(diǎn)創(chuàng)新??擬文件系統(tǒng)與對應(yīng)服務(wù)器集群的ＮａｍｅＮｏｄｅ節(jié)點(diǎn)通信，獲取得到該數(shù)據(jù)文件所對??的元數(shù)據(jù)信息，包含數(shù)據(jù)文件的各文件塊所在ＤａｔａＮｏｄｅ節(jié)點(diǎn)及其中存儲位置。接??通過ＨＤＦＳ客戶端節(jié)點(diǎn)直接與包含對應(yīng)數(shù)據(jù)文件塊三副本中任一?ＤａｔａＮｏｄｅ節(jié)點(diǎn)進(jìn)??通信獲取數(shù)據(jù)文件塊。ＨＤＦＳ客戶端節(jié)點(diǎn)接收完該文件的全部文件塊再重組形成??始文件信息傳輸給用戶。??

【參考文獻(xiàn)】：
期刊論文
[1]基于并行卷積神經(jīng)網(wǎng)絡(luò)的軍事目標(biāo)圖像分類技術(shù)[J]. 張春雷.  電子設(shè)計(jì)工程. 2019(08)
[2]卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法的FPGA并行結(jié)構(gòu)設(shè)計(jì)[J]. 王巍,周凱利,王伊昌,王廣,楊正琳,袁軍.  微電子學(xué)與計(jì)算機(jī). 2019(04)
[3]基于訓(xùn)練數(shù)據(jù)動態(tài)分配的深度學(xué)習(xí)并行優(yōu)化機(jī)制[J]. 顏?zhàn)咏?陳孟強(qiáng),吳維剛.  計(jì)算機(jī)工程與科學(xué). 2018(S1)
[4]基于Spark的并行化協(xié)同深度推薦模型[J]. 賈曉光.  計(jì)算機(jī)工程與應(yīng)用. 2018(14)
[5]基于Caffe的嵌入式多核處理器深度學(xué)習(xí)框架并行實(shí)現(xiàn)[J]. 高榕,張良,梅魁志.  西安交通大學(xué)學(xué)報. 2018(06)
[6]深度神經(jīng)網(wǎng)絡(luò)并行化研究綜述[J]. 朱虎明,李佩,焦李成,楊淑媛,侯彪.  計(jì)算機(jī)學(xué)報. 2018(08)
[7]深度學(xué)習(xí)相關(guān)研究綜述[J]. 張軍陽,王慧麗,郭陽,扈嘯.  計(jì)算機(jī)應(yīng)用研究. 2018(07)
[8]基于深度學(xué)習(xí)的并行負(fù)荷預(yù)測方法[J]. 盧杏堅(jiān),高小征.  自動化與信息工程. 2017(04)
[9]深度學(xué)習(xí)框架和加速技術(shù)探討[J]. 余偉豪,李忠,安建琴,宋奕瑤.  軟件. 2017(06)
[10]深度學(xué)習(xí)框架下LSTM網(wǎng)絡(luò)在短期電力負(fù)荷預(yù)測中的應(yīng)用[J]. 陳亮,王震,王剛.  電力信息與通信技術(shù). 2017(05)

碩士論文
[1]卷積神經(jīng)網(wǎng)絡(luò)算法及應(yīng)用研究[D]. 趙井飛.沈陽航空航天大學(xué) 2018



本文編號：3575706