本文關(guān)鍵詞：基于Storm云平臺(tái)的電網(wǎng)設(shè)備報(bào)警數(shù)據(jù)快速處理的研究

  更多相關(guān)文章： 電網(wǎng)監(jiān)測(cè) 海量數(shù)據(jù) 分布式計(jì)算 Storm 實(shí)時(shí)處理

【摘要】：隨著電力數(shù)據(jù)總量的急速增長(zhǎng),電力大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨,智能電網(wǎng)建設(shè)的逐步推進(jìn)對(duì)數(shù)據(jù)處理的可靠性和實(shí)時(shí)性提出了更高要求。近年來(lái)云計(jì)算技術(shù)迅速發(fā)展,分布式處理平臺(tái)不斷涌現(xiàn),為電力大數(shù)據(jù)的處理提供了切實(shí)可用的基礎(chǔ)架構(gòu)。Storm是分布式實(shí)時(shí)處理框架,具有實(shí)時(shí)響應(yīng)能力強(qiáng)、可靠性高、可擴(kuò)展性好等突出特點(diǎn),開(kāi)源以來(lái)得到廣泛應(yīng)用,為大規(guī)模電網(wǎng)數(shù)據(jù)的實(shí)時(shí)處理提供了新的研究思路。本文首先總結(jié)智能電網(wǎng)大規(guī)模數(shù)據(jù)處理的研究現(xiàn)狀,重點(diǎn)分析在海量監(jiān)測(cè)數(shù)據(jù)實(shí)時(shí)處理中面臨的問(wèn)題;隨后對(duì)當(dāng)前大數(shù)據(jù)處理平臺(tái)進(jìn)行總結(jié),結(jié)合大規(guī)模報(bào)警數(shù)據(jù)快速響應(yīng)的應(yīng)用需求,選擇基于Storm平臺(tái)進(jìn)行系統(tǒng)架構(gòu),展開(kāi)相關(guān)研究工作。課題的關(guān)鍵是Storm集群環(huán)境的部署和原有業(yè)務(wù)向Storm平臺(tái)的遷移。在Storm框架下,首先設(shè)計(jì)了基于近似熵算法的電網(wǎng)數(shù)據(jù)快速特征提取方案,將整個(gè)過(guò)程分為數(shù)據(jù)接入、數(shù)學(xué)計(jì)算、結(jié)果處理等階段,在Storm框架的各組件中編程實(shí)現(xiàn),通過(guò)數(shù)據(jù)流連通形成任務(wù)實(shí)體,提交到集群運(yùn)行。之后基于DBSCAN算法進(jìn)行電網(wǎng)監(jiān)測(cè)數(shù)據(jù)流的聚類(lèi)分析,實(shí)時(shí)高效的處理計(jì)算結(jié)果。此外,平臺(tái)開(kāi)展的工作還包括監(jiān)測(cè)數(shù)據(jù)越限檢查、數(shù)據(jù)篩選等。通過(guò)對(duì)比分析和性能監(jiān)測(cè),驗(yàn)證了所提方案具有低延遲和高吞吐量等優(yōu)勢(shì),適合智能電網(wǎng)環(huán)境下大規(guī)模數(shù)據(jù)的實(shí)時(shí)處理。本課題為電力大數(shù)據(jù)背景下的實(shí)時(shí)處理探索了一種新的解決方案,是Storm平臺(tái)應(yīng)用于智能電網(wǎng)領(lǐng)域的一次有益嘗試。
【關(guān)鍵詞】：電網(wǎng)監(jiān)測(cè) 海量數(shù)據(jù) 分布式計(jì)算 Storm 實(shí)時(shí)處理
【學(xué)位授予單位】：華北電力大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TM76
【目錄】：

• 摘要5-6
• Abstract6-9
• 第1章 緒論9-13
• 1.1 課題研究背景與意義9-10
• 1.2 智能電網(wǎng)發(fā)展現(xiàn)狀10-11
• 1.2.1 國(guó)外智能電網(wǎng)研究與發(fā)展10-11
• 1.2.2 國(guó)內(nèi)智能電網(wǎng)研究與發(fā)展11
• 1.3 論文研究?jī)?nèi)容11-12
• 1.4 論文的組織結(jié)構(gòu)12
• 1.5 本章小結(jié)12-13
• 第2章 大數(shù)據(jù)處理平臺(tái)13-20
• 2.1 引言13-14
• 2.2 批處理平臺(tái)14-16
• 2.2.1 Hadoop14-15
• 2.2.2 Impala15
• 2.2.3 Spark15-16
• 2.3 流處理平臺(tái)16-18
• 2.3.1 Twitter Storm16-17
• 2.3.2 Yahoo S417-18
• 2.4 電力大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)的選取18-19
• 2.5 本章小結(jié)19-20
• 第3章 Storm平臺(tái)簡(jiǎn)介20-29
• 3.1 Storm平臺(tái)架構(gòu)20-21
• 3.2 Storm基本概念21-27
• 3.3 Storm并行模型27-28
• 3.4 本章小結(jié)28-29
• 第4章 Storm平臺(tái)下的電網(wǎng)數(shù)據(jù)處理29-41
• 4.1 基于近似熵算法的電網(wǎng)數(shù)據(jù)特征提取29-35
• 4.1.1 近似熵理論29-30
• 4.1.2 Storm框架下近似熵算法的實(shí)現(xiàn)30-35
• 4.2 基于DBSCAN的電網(wǎng)數(shù)據(jù)實(shí)時(shí)聚類(lèi)35-39
• 4.2.1 DBSCAN算法概述35-36
• 4.2.2 Storm框架下DBSCAN算法實(shí)現(xiàn)36-39
• 4.3 數(shù)據(jù)越限檢查39-40
• 4.4 本章小結(jié)40-41
• 第5章 集群部署與性能分析41-50
• 5.1 Storm集群部署41-45
• 5.1.1 安裝部署Storm外部依賴41-42
• 5.1.2 搭建Zookeeper集群42-43
• 5.1.3 安裝Storm43-44
• 5.1.4 啟動(dòng)Storm各進(jìn)程44-45
• 5.2 Storm集群吞吐能力分析45-47
• 5.3 數(shù)據(jù)處理延遲分析47-49
• 5.4 集群內(nèi)存使用情況49
• 5.5 本章小結(jié)49-50
• 第6章 結(jié)論與展望50-51
• 參考文獻(xiàn)51-54
• 攻讀碩士學(xué)位期間發(fā)表的論文及其它成果54-55
• 致謝55

【相似文獻(xiàn)】

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 王銘坤;基于Storm云平臺(tái)的電網(wǎng)設(shè)備報(bào)警數(shù)據(jù)快速處理的研究[D];華北電力大學(xué);2015年

2 孫一品;入侵檢測(cè)報(bào)警數(shù)據(jù)融合與關(guān)聯(lián)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

3 楊曉君;入侵檢測(cè)報(bào)警數(shù)據(jù)處理技術(shù)研究[D];哈爾濱理工大學(xué);2009年

4 晏少華;網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)中報(bào)警數(shù)據(jù)融合技術(shù)研究[D];沈陽(yáng)航空航天大學(xué);2011年

，

本文編號(hào)：719568