發(fā)布時間：2020-01-25 00:53

【摘要】：隨著社會經(jīng)濟的不斷發(fā)展,電網(wǎng)規(guī)模和用電量不斷增加,同時對用電的安全性和可靠性的要求也越來越高。為了提高電力系統(tǒng)的運行可靠性,負荷模型的準確性的重要性明顯提高。精確負荷數(shù)據(jù)的獲取對負荷建模至關(guān)重要,暫態(tài)數(shù)據(jù)的記錄頻率不斷提高,測量裝置數(shù)量、監(jiān)測范圍不斷擴大,由此產(chǎn)生了大量待處理的監(jiān)測數(shù)據(jù)。目前電力系統(tǒng)的各種監(jiān)測數(shù)據(jù)分析計算主要基于調(diào)控中心的集中式計算平臺實現(xiàn),計算能力、數(shù)據(jù)存儲能力有限。面對海量的數(shù)據(jù),傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)管理復雜、擴展成本高昂。如何對海量的負荷特性監(jiān)測數(shù)據(jù)進行可靠快速的處理已經(jīng)成為負荷建模中的重要問題。本文通過對Hadoop云計算平臺的研究,以MapReduce計算框架和HDFS存儲結(jié)構(gòu)為基礎(chǔ),Hive數(shù)據(jù)倉庫為核心,結(jié)合HBase數(shù)據(jù)庫的快速查詢技術(shù)和信息融合技術(shù),開展基于Hadoop的海量負荷數(shù)據(jù)云計算平臺研究工作。在數(shù)據(jù)存儲方面,通過對不同監(jiān)測裝置數(shù)據(jù)記錄格式的解析,構(gòu)建了能夠處理不同來源的基于Hive的數(shù)據(jù)庫存儲結(jié)構(gòu)。同時針對半結(jié)構(gòu)化數(shù)據(jù),結(jié)合HBase處理非結(jié)構(gòu)化數(shù)據(jù)的特性,構(gòu)建了存儲COMTRADE中的半結(jié)構(gòu)化數(shù)據(jù)的HBase表。對不同特點的數(shù)據(jù)庫的使用,提高了平臺的整合能力并增強了處理數(shù)據(jù)的性能。在數(shù)據(jù)優(yōu)化查詢方面,Hive的查詢要轉(zhuǎn)化為MapReduce任務(wù),耗費的時間較長,實現(xiàn)了 Hive表到HBase的映射,能夠同時利用Hive和HBase各自的特點分別存儲靜態(tài)采樣數(shù)據(jù)和負荷特征數(shù)據(jù),減少了數(shù)據(jù)處理時延,提高了數(shù)據(jù)處理的效率。在數(shù)據(jù)計算與數(shù)據(jù)處理方面,通過在數(shù)據(jù)記錄的電氣量提取過程,采用了并行遞推的算法,減少了計算量加快了計算的速度;通過Sqoop工具將數(shù)據(jù)ETL任務(wù)轉(zhuǎn)化為MapReduce任務(wù),簡化了編程壓力和操作步驟;同時結(jié)合數(shù)據(jù)平滑算法,抑制數(shù)據(jù)噪聲,提高了數(shù)據(jù)的精度。在實驗部分,對比了 Hadoop的分布式數(shù)據(jù)庫Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)庫的導入與查詢大量數(shù)據(jù)的速度,分析了 Hive和HBase數(shù)據(jù)庫導入與查詢數(shù)據(jù)的性能。利用Sqoop轉(zhuǎn)化數(shù)據(jù)處理為MapReduce任務(wù),驗證了基于Hadoop云計算平臺對海量負荷特性數(shù)據(jù)處理的優(yōu)越性。
【學位授予單位】：山東大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TM743

【參考文獻】

相關(guān)期刊論文 前10條

1 王遠;陶燁;袁軍;何衛(wèi);;一種基于HBase的智能電網(wǎng)時序大數(shù)據(jù)處理方法[J];系統(tǒng)仿真學報;2016年03期

2 王遠;陶燁;蔣英明;陳波;陳立宇;;智能電網(wǎng)時序大數(shù)據(jù)實時處理系統(tǒng)[J];計算機應用;2015年S2期

3 王珂;吳靜沁;王偉;;基于時序模型的負荷不良數(shù)據(jù)研究[J];信息通信;2015年06期

4 桂勛;;基于遞推算法的海量COMTRADE數(shù)據(jù)計算并行化[J];電力系統(tǒng)自動化;2014年01期

5 桂勛;;面向IEEE COMTRADE格式的海量錄波數(shù)據(jù)并行壓縮/解壓算法[J];電力自動化設(shè)備;2013年05期

6 王德文;肖凱;肖磊;;基于Hive的電力設(shè)備狀態(tài)信息數(shù)據(jù)倉庫[J];電力系統(tǒng)保護與控制;2013年09期

7 宋亞奇;周國亮;朱永利;;智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J];電網(wǎng)技術(shù);2013年04期

8 劉樹仁;宋亞奇;朱永利;王德文;;基于Hadoop的智能電網(wǎng)狀態(tài)監(jiān)測數(shù)據(jù)存儲研究[J];計算機科學;2013年01期

9 黎宏劍;劉恒;黃廣文;卜立;;基于Hadoop的海量電信數(shù)據(jù)云計算平臺研究[J];電信科學;2012年08期

10 葛利;印桂生;;基于小波和過程神經(jīng)網(wǎng)絡(luò)的時序聚類分析[J];電機與控制學報;2011年12期

相關(guān)博士學位論文 前1條

1 張紅斌;電力系統(tǒng)負荷模型結(jié)構(gòu)與參數(shù)辨識的研究[D];華北電力大學（北京）;2003年

相關(guān)碩士學位論文 前8條

1 王丹;基于Hadoop平臺的時序數(shù)據(jù)處理方法研究[D];中國科學技術(shù)大學;2015年

2 王淑祥;基于Hadoop的海量電能質(zhì)量數(shù)據(jù)云計算平臺研究[D];華北電力大學;2014年

3 平利強;基于云計算的海量時空數(shù)據(jù)存儲及挖掘方法的研究和應用[D];杭州電子科技大學;2014年

4 陳銘;電力系統(tǒng)“調(diào)度云”關(guān)鍵技術(shù)的研究與實現(xiàn)[D];廣西大學;2013年

5 馮懿;基于云計算的電力系統(tǒng)不良數(shù)據(jù)辨識算法研究[D];南京理工大學;2013年

6 徐婷婷;基于云計算的電力系統(tǒng)潮流分析[D];合肥工業(yè)大學;2012年

7 黃鐘元;Hadoop平臺下的關(guān)系數(shù)據(jù)庫查詢與實現(xiàn)[D];復旦大學;2011年

8 葉文宸;基于hive的性能優(yōu)化方法的研究與實踐[D];南京大學;2011年

，

本文編號：2572845