隨著社會科技的快速發(fā)展,智能化裝備也日新月異,對于裝備運行狀況的分析伴隨著傳感器節(jié)點多,采樣頻率高和分析周期長的特點,對應(yīng)著裝備生成的數(shù)據(jù)量也不斷增多,甚至能達到TB級別。對于如此大規(guī)模的數(shù)據(jù)分析,傳統(tǒng)的分析技術(shù)已經(jīng)不能滿足要求,需要采取相關(guān)大數(shù)據(jù)分析技術(shù)。因為大數(shù)據(jù)往往隱藏著某些知識規(guī)則和關(guān)聯(lián)關(guān)系,在數(shù)據(jù)量有限的情況下無法有效進行判斷和識別,通過大數(shù)據(jù)分析技術(shù),可以進一步挖掘和判斷[1.2]。云計算能夠提供大量低成本的計算和存儲資源,并且具有易部署,擴展性強的特點,能夠滿足大數(shù)據(jù)分析的軟件和硬件需要。因此將云計算和大數(shù)據(jù)技術(shù)進行有效融合,發(fā)揮各自的優(yōu)勢,在裝備故障的大數(shù)據(jù)分析上具有重要的實踐意義[3]。本文圍繞裝備故障分析存在的問題,以大數(shù)據(jù)分析作為切入點,對大數(shù)據(jù)處理技術(shù)進行深入研究。以國內(nèi)某風場的風力發(fā)電機裝備故障分析為例,設(shè)計并實現(xiàn)了用于裝備故障分析的大數(shù)據(jù)平臺,為開發(fā)人員提供數(shù)據(jù)和技術(shù)支持。研究內(nèi)容包括基于系統(tǒng)設(shè)計的分層思想,研究并設(shè)計出計算平臺的整體架構(gòu),架構(gòu)分成數(shù)據(jù)源、數(shù)據(jù)接入層、數(shù)據(jù)存儲層、資源管理層、業(yè)務(wù)層和應(yīng)用層;探究Hadoop-Spark集群及其相關(guān)組件部署的最... 

【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：65 頁

【學位級別】：碩士

【部分圖文】：

圖２－１?ＨＤＦＳ架構(gòu)??

ＭａｐＲｅｄｕｃｅ計算模型通過Ｍａｐ和Ｒｅｄｕｃｅ兩個步驟來拆解大規(guī)模的數(shù)據(jù)??集，并行處理大批量的任務(wù)，同時提供了相應(yīng)接口讓用戶和具體的開發(fā)人員進??行調(diào)用。ＭａｐＲｅｄｕｃｅ的工作機制流程如圖２－２所示。??７??

進行讀寫的磁盤，進而降低運行效率的問題。??ＭａｐＲｅｄｕｃｅ計算框架的工作原理在２．２．２節(jié)提到過，這里主要講下它在工作??時產(chǎn)生的弊端。具體流程如圖２－４所示。當有計算任務(wù)開始時，ＨＤＦＳ首先讀??取存儲在底盤的文件，然后進行迭代計算，計算完后將得到的中間結(jié)果存儲在??ＨＤＦＳ上，也就是硬盤上，但下一個任務(wù)還會從硬盤讀取上一個計算過程得到??的結(jié)果，通過計算將最終結(jié)果保存在硬盤上。可以看出，在實際的計算過程??中，囊括了硬盤數(shù)據(jù)的多次讀寫，復(fù)制，序列化，而硬盤的Ｉ／Ｏ時間占比很??大，硬盤的Ｉ／Ｏ速度將會成為計算任務(wù)限制的瓶頸。??第一次迭代?第二次迭代??讀取ＨＩＴＳ數(shù)Ａ將中間結(jié)果讀�。龋欤妫妫訑�(shù)將中間結(jié)果??據(jù)?，入ＭＦＳ?據(jù)?Ｒ１?＼、寫入ＷＦＳ??圖?２－４?ＭａｐＲｅｄｕｃｅ?過程??Ｓｐａｒｋ計算框架通過引入ＲＤＤ解決了硬盤Ｉ／Ｏ速率限制問題，因為ＲＤＤ完??全是在內(nèi)存進行計算

【參考文獻】：
期刊論文
[1]基于大數(shù)據(jù)的液壓支架電液控制系統(tǒng)故障診斷[J]. 張雪梅.  工礦自動化. 2018(12)
[2]基于大數(shù)據(jù)的電力二次設(shè)備故障診斷研究[J]. 陸曉,吳奕,崔玉,杜云龍.  電工技術(shù). 2018(21)
[3]一種基于Yarn云計算平臺與NMF的大數(shù)據(jù)聚類算法[J]. 馮新?lián)P,沈建京.  信息網(wǎng)絡(luò)安全. 2018(08)
[4]云計算和大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀與趨勢[J]. 傅耀威,楊國威,徐泓,孟憲佳,宋陽.  中國基礎(chǔ)科學. 2018(03)
[5]工業(yè)大數(shù)據(jù)技術(shù)綜述[J]. 王建民.  大數(shù)據(jù). 2017(06)
[6]基于大數(shù)據(jù)挖掘技術(shù)的輸變電設(shè)備故障診斷方法[J]. 胡軍,尹立群,李振,郭麗娟,段煉,張玉波.  高電壓技術(shù). 2017(11)
[7]Spark環(huán)境下并行立方體計算方法[J]. 薩初日拉,周國亮,時磊,王劉旺,石鑫,朱永利.  計算機應(yīng)用. 2016(02)
[8]軌道電路故障診斷大數(shù)據(jù)處理技術(shù)綜述[J]. 程建云,魏文軍.  電子科技. 2015(11)
[9]面向大數(shù)據(jù)分析的在線學習算法綜述[J]. 李志杰,李元香,王峰,何國良,匡立.  計算機研究與發(fā)展. 2015(08)
[10]Hadoop YARN大數(shù)據(jù)計算框架及其資源調(diào)度機制研究[J]. 董春濤,李文婷,沈晴霓,吳中海.  信息通信技術(shù). 2015(01)

碩士論文
[1]基于大數(shù)據(jù)分析的風電機組運行狀態(tài)評估及故障診斷[D]. 段震清.山西大學 2018
[2]基于YARN高并發(fā)性的機會資源調(diào)度器的研究與實現(xiàn)[D]. 彭陽.哈爾濱工業(yè)大學 2017
[3]基于Spark的數(shù)據(jù)管理平臺的設(shè)計與實現(xiàn)[D]. 劉鵬.浙江大學 2016
[4]基于大數(shù)據(jù)的數(shù)據(jù)挖掘引擎[D]. 樊嘉麒.北京郵電大學 2015



本文編號：2999086