發(fā)布時間：2017-04-24 11:22

  本文關鍵詞：基于Hadoop的海量電能質量數據云計算平臺研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著科學技術的發(fā)展和國民經濟的增長,對電能的需求量日益增加,同時電力用戶對電能質量的要求也越來越高。為了提高電能質量,電能質量監(jiān)測數據采集系統(tǒng)的監(jiān)測數據采樣頻率需要明顯提高,監(jiān)測范圍也將大大擴展,由此涌現出海量的電能質量監(jiān)測數據。目前電力系統(tǒng)的電能質量的分析計算基于調度中心的集中式計算平臺實現,面對大規(guī)模電能質量數據,其計算速度慢,任務執(zhí)行效率低,分析結果存在嚴重滯后性。基于傳統(tǒng)關系型數據庫的數據管理難以滿足其要求,或需付出高昂的成本代價實現。如何對海量電能質量數據進行可靠快速的處理成為電能質量分析中的重要問題。 本文通過對Hadoop計算框架和MapReduce并行編程模型等云計算關鍵技術進行研究,在現有的電能質量分析計算平臺的基礎上,結合Hadoop在海量數據存儲和處理方面的優(yōu)勢,開展基于Hadoop的海量電能質量數據云計算平臺設計和實現工作。在數據存儲方面,通過對電能質量監(jiān)測數據存儲和處理特征分析,實現了基于HBase的大規(guī)模數據存儲平臺,具有可擴展性和高可靠性,同時結合面向列存儲數據庫HBase和關系數據庫SQL Server各自的特點,分別存儲不同類型的數據,不僅提升了平臺性能,而且使平臺可以較為方便地整合到現有的電能質量監(jiān)測系統(tǒng)中,以增強現有系統(tǒng)；在數據處理方面,通過對現有的電能質量分析算法程序重構,實現了基于MapReduce的電能質量分析處理,并對基于MapReduce電能質量分析作業(yè)提出了一些配置參數優(yōu)化方式,增強了分析處理過程并發(fā)性,提高了電能質量計算分析效率。此外,針對HDFS存在的單點故障問題,課題設計的平臺增加了熱備節(jié)點,實現了具有高可用性的存儲系統(tǒng)。 在實驗部分,對比現有傳統(tǒng)方式電能質量分析處理,計算了不同時間段的電能質量穩(wěn)態(tài)諧波指標,驗證了基于Hadoop電能質量分析平臺的正確性和優(yōu)越性。
【關鍵詞】：電能質量 海量數據 Hadoop MapReduce 云計算
【學位授予單位】：華北電力大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TM711;TP3
【目錄】：

• 摘要5-6
• Abstract6-9
• 第1章 緒論9-15
• 1.1 問題提出9-11
• 1.1.1 研究背景9-10
• 1.1.2 Hadoop在數據處理方面的優(yōu)勢10-11
• 1.2 研究現狀11-12
• 1.2.1 Hadoop應用現狀11-12
• 1.2.2 電力系統(tǒng)云計算平臺研究現狀12
• 1.3 主要研究內容12-13
• 1.4 論文結構13-15
• 第2章 Hadoop概述15-23
• 2.1 Hadoop應用現狀簡介15
• 2.2 HDFS分布式文件系統(tǒng)15-18
• 2.2.1 HDFS設計目標15-16
• 2.2.2 HDFS體系結構16-17
• 2.2.3 HDFS數據存儲17
• 2.2.4 HDFS容錯機制17-18
• 2.3 MapReduce計算模型18-20
• 2.3.1 MapReduce編程模型18
• 2.3.2 MapReduce體系結構18
• 2.3.3 MapReduce執(zhí)行流程18-20
• 2.3.4 MapReduce容錯機制20
• 2.4 HBase分布式數據庫20-22
• 2.4.1 HBase簡介20-21
• 2.4.2 HBase邏輯模型21-22
• 2.4.3 HBase物理模型22
• 2.5 本章小結22-23
• 第3章 電能質量數據云計算平臺分析23-29
• 3.1 電能質量監(jiān)測系統(tǒng)分析23-25
• 3.1.1 電能質量監(jiān)測系統(tǒng)概述23-24
• 3.1.2 電能質量監(jiān)測數據特征24
• 3.1.3 電能質量監(jiān)測數據處理24-25
• 3.2 平臺結構分析25-27
• 3.2.1 平臺簡介25
• 3.2.2 平臺總體結構25-26
• 3.2.3 平臺數據處理26-27
• 3.3 平臺關鍵問題分析27-28
• 3.3.1 電能質量監(jiān)測數據存儲27
• 3.3.2 電能質量分析算法調用27
• 3.3.3 電能質量分析作業(yè)調度27-28
• 3.3.4 電能質量分析結果處理28
• 3.3.5 平臺監(jiān)測數據存儲可靠性28
• 3.4 本章小結28-29
• 第4章 電能質量數據云計算平臺設計與實現29-46
• 4.1 電能質量數據存儲方案設計與實現29-37
• 4.1.1 電能質量監(jiān)測數據存儲29-30
• 4.1.2 電能質量分析結果存儲30
• 4.1.3 監(jiān)測數據存儲HA方案30-32
• 4.1.4 平臺集群環(huán)境關鍵配置32-37
• 4.2 電能質量數據處理方案設計與實現37-45
• 4.2.1 MapReduce作業(yè)輸入輸出37-38
• 4.2.2 電能質量分析算法38-39
• 4.2.3 電能質量監(jiān)測數據預處理作業(yè)39-40
• 4.2.4 電能質量分析作業(yè)40-44
• 4.2.5 MapReduce作業(yè)優(yōu)化44-45
• 4.3 本章小結45-46
• 第5章 實驗與數據分析46-50
• 5.1 實驗設計46
• 5.2 實驗配置46
• 5.3 實驗分析46-49
• 5.3.1 電能質量計算效率實驗分析46-47
• 5.3.2 平臺HDFS可靠性實驗分析47-49
• 5.4 本章小結49-50
• 第6章 總結與展望50-52
• 參考文獻52-55
• 攻讀碩士學位期間發(fā)表的論文及其它成果55-56
• 致謝56

【參考文獻】

中國期刊全文數據庫 前3條

1 劉越;;云計算綜述與移動云計算的應用研究[J];信息通信技術;2010年02期

2 王憲磊;;電能質量與在線監(jiān)測方法研究[J];科技創(chuàng)新導報;2012年10期

3 王淑祥;馬素霞;;基于Hadoop的海量電能質量監(jiān)測數據分析平臺研究[J];中國科技信息;2013年13期

  本文關鍵詞：基于Hadoop的海量電能質量數據云計算平臺研究，由筆耕文化傳播整理發(fā)布。

本文編號：324125