本文關(guān)鍵詞：智能電網(wǎng)中數(shù)據(jù)處理技術(shù)的應(yīng)用研究

  更多相關(guān)文章： MapReduce 關(guān)聯(lián)規(guī)則挖掘 FP-Growth算法 K-Means算法

【摘要】：隨著智能電網(wǎng)建設(shè)的不斷發(fā)展和深入推進,積累的電網(wǎng)數(shù)據(jù)呈指數(shù)級增長。如何從這些歷史數(shù)據(jù)中挖掘出“寶藏”,已經(jīng)成為堅強智能電網(wǎng)建設(shè)過程中的迫切需求,而大數(shù)據(jù)存儲和處理技術(shù)的崛起為其數(shù)據(jù)的挖掘帶來了新的機遇。在使用大數(shù)據(jù)技術(shù)挖掘海量數(shù)據(jù)的過程中,Hadoop平臺優(yōu)良的集群特性、MapReduce強大的計算能力以及HDFS的存儲能力都發(fā)揮了極大的優(yōu)勢。本文將Hadoop平臺與關(guān)聯(lián)規(guī)則挖掘技術(shù)相結(jié)合,根據(jù)電網(wǎng)數(shù)據(jù)的實際需求,采用K-Means聚類算法對連續(xù)型數(shù)據(jù)離散化處理,再采用改進的FP-Growth算法挖掘關(guān)聯(lián)關(guān)系,最后設(shè)計并實現(xiàn)了基于Hadoop的關(guān)聯(lián)規(guī)則挖掘系統(tǒng)。本文主要完成了以下三方面的工作:第一,給出一種改進的基于MapReduce并行FP-Growth算法,該算法在保證并行算法劃分事務(wù)集相互獨立的基礎(chǔ)上,引入矩陣存儲事務(wù),減少了數(shù)據(jù)庫掃描次數(shù)。與此同時,在生成頻繁模式項時,設(shè)計了IDFPTree數(shù)據(jù)結(jié)構(gòu),減少程序運行所需內(nèi)存空間,提高了算法的效率。第二,基于MapReduce框架實現(xiàn)了K-Means算法和FP-Growth算法,并將其移植到Hadoop平臺上。第三,構(gòu)建了基于MapReduce編程框架的智能電網(wǎng)數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘系統(tǒng),采用B/S架構(gòu),服務(wù)器建立在Hadoop平臺上,負責對用戶提交的任務(wù)進行分布式計算。本文將所設(shè)計的系統(tǒng)應(yīng)用到電力企業(yè)營銷數(shù)據(jù)的分析之中,挖掘出用戶的分類屬性(用戶屬性、市場屬性等)與決策屬性(分時用電量)之間的強關(guān)聯(lián)規(guī)則,從而揭示出傳統(tǒng)方法無法發(fā)現(xiàn)的售電規(guī)律,對電力市場營銷分析意義重大。
【學(xué)位授予單位】：華北電力大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13;TM76

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 施亮;錢雪忠;;基于Hadoop的并行FP-Growth算法的研究與實現(xiàn)[J];微電子學(xué)與計算機;2015年04期

2 張東霞;苗新;劉麗平;張焰;劉科研;;智能電網(wǎng)大數(shù)據(jù)技術(shù)發(fā)展研究[J];中國電機工程學(xué)報;2015年01期

3 崔莉霞;;基于Hadoop的并行聚類算法的研究[J];計算機光盤軟件與應(yīng)用;2014年23期

4 章志剛;吉根林;;一種基于FP-Growth的頻繁項目集并行挖掘算法[J];計算機工程與應(yīng)用;2014年02期

5 宋亞奇;周國亮;朱永利;;智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J];電網(wǎng)技術(shù);2013年04期

6 呂雪驥;李龍澍;;FP-Growth算法MapReduce化研究[J];計算機技術(shù)與發(fā)展;2012年11期

7 王千;王成;馮振元;葉金鳳;;K-means聚類算法研究綜述[J];電子設(shè)計工程;2012年07期

8 李建江;崔健;王聃;嚴林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報;2011年11期

9 江務(wù)學(xué);張t，

本文編號：1231747