【摘要】：隨著智能化時代的到來,各行業(yè)的數(shù)據(jù)量呈快速增長趨勢。同時,電網(wǎng)的建設(shè)規(guī)模在逐漸擴(kuò)大,建設(shè)速度在不斷加快,涉及的領(lǐng)域也越來越多,使得電力數(shù)據(jù)的數(shù)量越來越大。如何能夠快速處理大規(guī)模電力數(shù)據(jù)的問題也就應(yīng)運(yùn)而生。同時,我國電力部門也開始重視電力用戶側(cè),通過對用戶電力負(fù)荷數(shù)據(jù)的分類來分析電力用戶行為,所以如何對電力負(fù)荷數(shù)據(jù)分類成為了一大熱點(diǎn)。本文針對這兩大問題,對電力負(fù)荷數(shù)據(jù)分類和數(shù)據(jù)處理效率展開了研究。首先本文研究了數(shù)據(jù)分類問題,對電力數(shù)據(jù)分類需要尋找合適的算法,適用分類的算法主要有聚類算法和分類算法。本文列舉出常用的聚類算法和分類算法,通過對各個算法特點(diǎn)和功能的分析,利用電力負(fù)荷數(shù)據(jù)進(jìn)行了各算法的仿真實(shí)驗(yàn),由實(shí)驗(yàn)結(jié)果并結(jié)合電力負(fù)荷數(shù)據(jù)的特點(diǎn),選取了 K-means聚類算法對電力負(fù)荷數(shù)據(jù)進(jìn)行歸類。接著,本文對K-means聚類算法進(jìn)行了分析,發(fā)現(xiàn)該算法在K值的選取上存在不確定性,無法確定合適的K值。同時數(shù)據(jù)與數(shù)據(jù)之間的空間距離計算方式不嚴(yán)謹(jǐn),很難體現(xiàn)出數(shù)據(jù)與聚類中點(diǎn)的聯(lián)系�；谏鲜鰞蓚�問題,提出了將計算閾值應(yīng)用于電力數(shù)據(jù)的方法,然后對數(shù)據(jù)與聚類中心的距離閾閩值進(jìn)行比較來判斷K值是否合適。并通過分析用戶行為指標(biāo)來對空間距離公式附加權(quán)重值,以展現(xiàn)數(shù)據(jù)點(diǎn)與數(shù)據(jù)中心的影響力。通過以上分析和優(yōu)化,得到了一種基于電力負(fù)荷數(shù)據(jù)的K-means改進(jìn)算法。最后本文對電力數(shù)據(jù)處理效率問題進(jìn)行了分析,發(fā)現(xiàn)電力部門使用的集中式處理方式己無法滿足當(dāng)前的需求�，F(xiàn)利用Hadoop平臺并行集群的方式對大規(guī)模電力數(shù)據(jù)進(jìn)行處理,同時搭建多個節(jié)點(diǎn)來進(jìn)一步體現(xiàn)集群的優(yōu)勢。然后將改進(jìn)后的算法基于MapReduce編程框架進(jìn)行優(yōu)化,使其與Hadoop平臺更好的結(jié)合。實(shí)驗(yàn)結(jié)果表明,本文提出的優(yōu)化算法能夠?qū)﹄娏ω?fù)荷數(shù)據(jù)進(jìn)行有效的分類,且每類數(shù)據(jù)都具有代表性,能夠體現(xiàn)本類用戶的用電特點(diǎn)。同時在Hadoop平臺并行集群上的數(shù)據(jù)處理效率遠(yuǎn)高于集中式處理模式。最后利用電力負(fù)荷分類結(jié)果可以有效的分析用戶用電行為,為電力部門提供決策上的建議。
【圖文】：

圖 5.2 集群節(jié)點(diǎn)及對應(yīng) IP(2)配置 SSH。為了保證在遠(yuǎn)程管理 Hadoop 節(jié)點(diǎn)以及 Hadoop 節(jié)點(diǎn)間用戶共享訪問時的安全oop 系統(tǒng)需要配置和使用 SSH（安全外殼協(xié)議）。在單機(jī)模式下無需任何守護(hù)進(jìn)不需要進(jìn)行 SSH 設(shè)置，但是在單機(jī)偽分布模式和集群分布模式下需要進(jìn)行 SSHadoop 需要通過 SSH 來啟動 Slave 列表中各臺主機(jī)的守護(hù)進(jìn)程。但是由于 SS戶密碼登錄，因此為了在系統(tǒng)運(yùn)行中完成節(jié)點(diǎn)的免密碼登錄和訪問，需要將成免密碼登錄方式。配置SSH的主要工作是創(chuàng)建一個認(rèn)證文件，使得用戶以public key方式登錄，工輸入密碼�；九渲貌襟E如下：第一步，生成秘鑰對，執(zhí)行一下命令：$ ssh - keygen -t rsa第二步，接著按住<Enter>鍵不放，就會默認(rèn)的選項(xiàng)將生成的秘鑰對sh/id_rsa 文件中，如圖 5.3 所示。

圖 5.3 秘鑰配置圖第三步，進(jìn)入.ssh 目錄，執(zhí)行以下命令：$ cp id_rsa.pub authorized_keys執(zhí)行以下命令：$ ssh localhost測試配置能否登錄，，且 SSH 免秘鑰能否正常使用。(3)Hadoop 平臺配置。切換到 Hadoop 的安裝路徑找到 Hadoop-1.2.1 下的 conf/ Hadoop-env.sh 文件夾 編輯器打開，加入如下語句：$ export JAVA_HOME = /usr /java /jdk1.6.0Hadoop 的配置文件主要存放在 Hadoop 安裝目錄的 conf 目錄中，需要更改的：conf/ Hadoop- env.sh : Hadoop 環(huán)境變量的設(shè)置。conf/ core- site.xml : 主要完成 NameNode 的 IP 和端口設(shè)置。
【學(xué)位授予單位】：西安科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP311.13;TM714

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 侯丹;李剛;趙文清;楊璐;;大數(shù)據(jù)分析及可視化技術(shù)在電網(wǎng)公司的應(yīng)用[J];智能電網(wǎng);2015年12期

2 周國軍;程裕強(qiáng);吳慶軍;;基于Hadoop的并行樸素貝葉斯分類算法[J];玉林師范學(xué)院學(xué)報;2015年05期

3 王德文;孫志偉;;電力用戶側(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測[J];中國電機(jī)工程學(xué)報;2015年03期

4 張素香;趙丙鎮(zhèn);王風(fēng)雨;張東;;海量數(shù)據(jù)下的電力負(fù)荷短期預(yù)測[J];中國電機(jī)工程學(xué)報;2015年01期

5 王睿;;基于MapReduce的并行KNN分類算法研究[J];計算機(jī)與數(shù)字工程;2013年11期

6 張雪萍;龔康莉;趙廣才;;基于MapReduce的K-Medoids并行算法[J];計算機(jī)應(yīng)用;2013年04期

7 黨倩;崔亮;張華峰;;基于MapReduce模型的智能電網(wǎng)數(shù)據(jù)平臺研究[J];電力信息化;2012年05期

相關(guān)碩士學(xué)位論文 前10條

1 寇磊;基于SOM算法改進(jìn)的K-medoids算法及其研究[D];太原理工大學(xué);2017年

2 李正杰;基于Hadoop平臺的數(shù)據(jù)挖掘分類算法分析與研究[D];南京郵電大學(xué);2016年

3 楊佳駒;基于MapReduce和深度學(xué)習(xí)的負(fù)荷分析與預(yù)測[D];東南大學(xué);2016年

4 陳琦;基于Hadoop的電力大數(shù)據(jù)特征分析研究[D];華北電力大學(xué)(北京);2016年

5 孫兵率;基于MapReduce的數(shù)據(jù)挖掘算法并行化研究與應(yīng)用[D];西安工程大學(xué);2015年

6 肖琪;基于優(yōu)化K-means算法的電力負(fù)荷分類研究[D];大連理工大學(xué);2015年

7 鄭牡丹;基于云計算的充電站充電負(fù)荷預(yù)測體系結(jié)構(gòu)研究[D];華北電力大學(xué);2015年

8 李海龍;電力云數(shù)據(jù)分析平臺數(shù)據(jù)挖掘算法的研究與應(yīng)用[D];華北電力大學(xué);2014年

9 趙碩;云計算和機(jī)器學(xué)習(xí)算法在電力負(fù)荷預(yù)測中的研究與應(yīng)用[D];華北電力大學(xué);2014年

10 程艷柳;基于云計算的智能電網(wǎng)數(shù)據(jù)挖掘的研究[D];華北電力大學(xué);2013年

本文編號：2617805