【摘要】：隨著智能化時(shí)代的到來(lái),各行業(yè)的數(shù)據(jù)量呈快速增長(zhǎng)趨勢(shì)。同時(shí),電網(wǎng)的建設(shè)規(guī)模在逐漸擴(kuò)大,建設(shè)速度在不斷加快,涉及的領(lǐng)域也越來(lái)越多,使得電力數(shù)據(jù)的數(shù)量越來(lái)越大。如何能夠快速處理大規(guī)模電力數(shù)據(jù)的問(wèn)題也就應(yīng)運(yùn)而生。同時(shí),我國(guó)電力部門(mén)也開(kāi)始重視電力用戶(hù)側(cè),通過(guò)對(duì)用戶(hù)電力負(fù)荷數(shù)據(jù)的分類(lèi)來(lái)分析電力用戶(hù)行為,所以如何對(duì)電力負(fù)荷數(shù)據(jù)分類(lèi)成為了一大熱點(diǎn)。本文針對(duì)這兩大問(wèn)題,對(duì)電力負(fù)荷數(shù)據(jù)分類(lèi)和數(shù)據(jù)處理效率展開(kāi)了研究。首先本文研究了數(shù)據(jù)分類(lèi)問(wèn)題,對(duì)電力數(shù)據(jù)分類(lèi)需要尋找合適的算法,適用分類(lèi)的算法主要有聚類(lèi)算法和分類(lèi)算法。本文列舉出常用的聚類(lèi)算法和分類(lèi)算法,通過(guò)對(duì)各個(gè)算法特點(diǎn)和功能的分析,利用電力負(fù)荷數(shù)據(jù)進(jìn)行了各算法的仿真實(shí)驗(yàn),由實(shí)驗(yàn)結(jié)果并結(jié)合電力負(fù)荷數(shù)據(jù)的特點(diǎn),選取了 K-means聚類(lèi)算法對(duì)電力負(fù)荷數(shù)據(jù)進(jìn)行歸類(lèi)。接著,本文對(duì)K-means聚類(lèi)算法進(jìn)行了分析,發(fā)現(xiàn)該算法在K值的選取上存在不確定性,無(wú)法確定合適的K值。同時(shí)數(shù)據(jù)與數(shù)據(jù)之間的空間距離計(jì)算方式不嚴(yán)謹(jǐn),很難體現(xiàn)出數(shù)據(jù)與聚類(lèi)中點(diǎn)的聯(lián)系�；谏鲜鰞蓚�(gè)問(wèn)題,提出了將計(jì)算閾值應(yīng)用于電力數(shù)據(jù)的方法,然后對(duì)數(shù)據(jù)與聚類(lèi)中心的距離閾閩值進(jìn)行比較來(lái)判斷K值是否合適。并通過(guò)分析用戶(hù)行為指標(biāo)來(lái)對(duì)空間距離公式附加權(quán)重值,以展現(xiàn)數(shù)據(jù)點(diǎn)與數(shù)據(jù)中心的影響力。通過(guò)以上分析和優(yōu)化,得到了一種基于電力負(fù)荷數(shù)據(jù)的K-means改進(jìn)算法。最后本文對(duì)電力數(shù)據(jù)處理效率問(wèn)題進(jìn)行了分析,發(fā)現(xiàn)電力部門(mén)使用的集中式處理方式己無(wú)法滿(mǎn)足當(dāng)前的需求�，F(xiàn)利用Hadoop平臺(tái)并行集群的方式對(duì)大規(guī)模電力數(shù)據(jù)進(jìn)行處理,同時(shí)搭建多個(gè)節(jié)點(diǎn)來(lái)進(jìn)一步體現(xiàn)集群的優(yōu)勢(shì)。然后將改進(jìn)后的算法基于MapReduce編程框架進(jìn)行優(yōu)化,使其與Hadoop平臺(tái)更好的結(jié)合。實(shí)驗(yàn)結(jié)果表明,本文提出的優(yōu)化算法能夠?qū)﹄娏ω?fù)荷數(shù)據(jù)進(jìn)行有效的分類(lèi),且每類(lèi)數(shù)據(jù)都具有代表性,能夠體現(xiàn)本類(lèi)用戶(hù)的用電特點(diǎn)。同時(shí)在Hadoop平臺(tái)并行集群上的數(shù)據(jù)處理效率遠(yuǎn)高于集中式處理模式。最后利用電力負(fù)荷分類(lèi)結(jié)果可以有效的分析用戶(hù)用電行為,為電力部門(mén)提供決策上的建議。
【圖文】：

圖 5.2 集群節(jié)點(diǎn)及對(duì)應(yīng) IP(2)配置 SSH。為了保證在遠(yuǎn)程管理 Hadoop 節(jié)點(diǎn)以及 Hadoop 節(jié)點(diǎn)間用戶(hù)共享訪問(wèn)時(shí)的安全oop 系統(tǒng)需要配置和使用 SSH（安全外殼協(xié)議）。在單機(jī)模式下無(wú)需任何守護(hù)進(jìn)不需要進(jìn)行 SSH 設(shè)置，但是在單機(jī)偽分布模式和集群分布模式下需要進(jìn)行 SSHadoop 需要通過(guò) SSH 來(lái)啟動(dòng) Slave 列表中各臺(tái)主機(jī)的守護(hù)進(jìn)程。但是由于 SS戶(hù)密碼登錄，因此為了在系統(tǒng)運(yùn)行中完成節(jié)點(diǎn)的免密碼登錄和訪問(wèn)，需要將成免密碼登錄方式。配置SSH的主要工作是創(chuàng)建一個(gè)認(rèn)證文件，使得用戶(hù)以public key方式登錄，工輸入密碼。基本配置步驟如下：第一步，生成秘鑰對(duì)，執(zhí)行一下命令：$ ssh - keygen -t rsa第二步，接著按住<Enter>鍵不放，就會(huì)默認(rèn)的選項(xiàng)將生成的秘鑰對(duì)sh/id_rsa 文件中，如圖 5.3 所示。

圖 5.3 秘鑰配置圖第三步，進(jìn)入.ssh 目錄，執(zhí)行以下命令：$ cp id_rsa.pub authorized_keys執(zhí)行以下命令：$ ssh localhost測(cè)試配置能否登錄，，且 SSH 免秘鑰能否正常使用。(3)Hadoop 平臺(tái)配置。切換到 Hadoop 的安裝路徑找到 Hadoop-1.2.1 下的 conf/ Hadoop-env.sh 文件夾 編輯器打開(kāi)，加入如下語(yǔ)句：$ export JAVA_HOME = /usr /java /jdk1.6.0Hadoop 的配置文件主要存放在 Hadoop 安裝目錄的 conf 目錄中，需要更改的：conf/ Hadoop- env.sh : Hadoop 環(huán)境變量的設(shè)置。conf/ core- site.xml : 主要完成 NameNode 的 IP 和端口設(shè)置。
【學(xué)位授予單位】：西安科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：TP311.13;TM714

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 侯丹;李剛;趙文清;楊璐;;大數(shù)據(jù)分析及可視化技術(shù)在電網(wǎng)公司的應(yīng)用[J];智能電網(wǎng);2015年12期

2 周?chē)?guó)軍;程裕強(qiáng);吳慶軍;;基于Hadoop的并行樸素貝葉斯分類(lèi)算法[J];玉林師范學(xué)院學(xué)報(bào);2015年05期

3 王德文;孫志偉;;電力用戶(hù)側(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測(cè)[J];中國(guó)電機(jī)工程學(xué)報(bào);2015年03期

4 張素香;趙丙鎮(zhèn);王風(fēng)雨;張東;;海量數(shù)據(jù)下的電力負(fù)荷短期預(yù)測(cè)[J];中國(guó)電機(jī)工程學(xué)報(bào);2015年01期

5 王睿;;基于MapReduce的并行KNN分類(lèi)算法研究[J];計(jì)算機(jī)與數(shù)字工程;2013年11期

6 張雪萍;龔康莉;趙廣才;;基于MapReduce的K-Medoids并行算法[J];計(jì)算機(jī)應(yīng)用;2013年04期

7 黨倩;崔亮;張華峰;;基于MapReduce模型的智能電網(wǎng)數(shù)據(jù)平臺(tái)研究[J];電力信息化;2012年05期

相關(guān)碩士學(xué)位論文 前10條

1 寇磊;基于SOM算法改進(jìn)的K-medoids算法及其研究[D];太原理工大學(xué);2017年

2 李正杰;基于Hadoop平臺(tái)的數(shù)據(jù)挖掘分類(lèi)算法分析與研究[D];南京郵電大學(xué);2016年

3 楊佳駒;基于MapReduce和深度學(xué)習(xí)的負(fù)荷分析與預(yù)測(cè)[D];東南大學(xué);2016年

4 陳琦;基于Hadoop的電力大數(shù)據(jù)特征分析研究[D];華北電力大學(xué)(北京);2016年

5 孫兵率;基于MapReduce的數(shù)據(jù)挖掘算法并行化研究與應(yīng)用[D];西安工程大學(xué);2015年

6 肖琪;基于優(yōu)化K-means算法的電力負(fù)荷分類(lèi)研究[D];大連理工大學(xué);2015年

7 鄭牡丹;基于云計(jì)算的充電站充電負(fù)荷預(yù)測(cè)體系結(jié)構(gòu)研究[D];華北電力大學(xué);2015年

8 李海龍;電力云數(shù)據(jù)分析平臺(tái)數(shù)據(jù)挖掘算法的研究與應(yīng)用[D];華北電力大學(xué);2014年

9 趙碩;云計(jì)算和機(jī)器學(xué)習(xí)算法在電力負(fù)荷預(yù)測(cè)中的研究與應(yīng)用[D];華北電力大學(xué);2014年

10 程艷柳;基于云計(jì)算的智能電網(wǎng)數(shù)據(jù)挖掘的研究[D];華北電力大學(xué);2013年

本文編號(hào)：2617805