本文關(guān)鍵詞：智能電網(wǎng)大數(shù)據(jù)實時流處理方法研究

  更多相關(guān)文章： 智能電網(wǎng) 大數(shù)據(jù) 流式處理 狀態(tài)監(jiān)測 異常檢測

【摘要】：近年來,隨著傳感器測量技術(shù)、通信技術(shù)和計算機技術(shù)等在智能電網(wǎng)中的廣泛使用,相量測量單元、電能采集、數(shù)據(jù)采集與監(jiān)控等系統(tǒng)產(chǎn)生了以指數(shù)級增長的數(shù)據(jù),漸漸呈現(xiàn)出數(shù)據(jù)量巨大、種類多等大數(shù)據(jù)的特點,如何快速地處理這些數(shù)據(jù),是智能電網(wǎng)所面臨的重大挑戰(zhàn)。大數(shù)據(jù)技術(shù)在智能電網(wǎng)中的應(yīng)用主要集中在海量數(shù)據(jù)的采集存儲、分析挖掘與可視化等研究領(lǐng)域。目前,大數(shù)據(jù)處理技術(shù)可以分為批處理與流處理兩種模式。批處理系統(tǒng)具有先存儲后計算、數(shù)據(jù)的準(zhǔn)確性和全面性要求高等特點。流處理系統(tǒng)往往不要求結(jié)果絕對精確,而注重對動態(tài)產(chǎn)生的數(shù)據(jù)進(jìn)行實時計算并及時反饋結(jié)果。數(shù)據(jù)流處理的特殊性以及大數(shù)據(jù)處理的時效性等各種限制使得傳統(tǒng)的實時處理技術(shù)已不能夠滿足需求,因此,大數(shù)據(jù)的流式處理成為了研究學(xué)者和工業(yè)界的關(guān)注熱點。本文首先分析智能電網(wǎng)大數(shù)據(jù)的來源,針對電力大數(shù)據(jù)的數(shù)據(jù)量大、種類繁多與速度快等特點,指出狀態(tài)監(jiān)測與電能計量等數(shù)據(jù)逐漸構(gòu)成了大規(guī)模數(shù)據(jù)流。數(shù)據(jù)流具有實時性、易失性、無序性、無限性等特征,數(shù)據(jù)流的價值會隨時間的流逝而減少。結(jié)合大數(shù)據(jù)處理技術(shù),給出一種智能電網(wǎng)大數(shù)據(jù)實時流處理框架,采用流式計算系統(tǒng)處理海量數(shù)據(jù),通過采集系統(tǒng)節(jié)點監(jiān)聽數(shù)據(jù)源變化并實時收集數(shù)據(jù),利用消息訂閱模式對數(shù)據(jù)進(jìn)行緩沖與計算,滿足狀態(tài)監(jiān)測異常檢測與異常用電分析等業(yè)務(wù)應(yīng)用對數(shù)據(jù)流快速分析需要。流式數(shù)據(jù)的實時處理是一個連續(xù)計算的處理過程,本質(zhì)上是一種連續(xù)微批處理技術(shù),將批計算的處理窗口設(shè)置為小時級、分鐘級或秒級。以狀態(tài)監(jiān)測數(shù)據(jù)流的異常檢測為例,在Storm流式計算框架下實現(xiàn)滑動窗口處理拓?fù)?對時序流數(shù)據(jù)進(jìn)行閾值判斷,提高數(shù)據(jù)處理的實時性,為大數(shù)據(jù)處理技術(shù)在電網(wǎng)中應(yīng)用提供了一種思路。實驗結(jié)果表明,在集群規(guī)模一定的條件下,適當(dāng)?shù)母淖児ぷ鬟M(jìn)程數(shù)以及執(zhí)行器線程的并發(fā)數(shù)設(shè)置,可以降低滑動窗口的處理延時,提高狀態(tài)監(jiān)測異常檢測的實時處理效率。
【關(guān)鍵詞】：智能電網(wǎng) 大數(shù)據(jù) 流式處理 狀態(tài)監(jiān)測 異常檢測
【學(xué)位授予單位】：華北電力大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TM76;TP311.13
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第1章 緒論10-15
• 1.1 課題研究的背景與意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-13
• 1.2.1 智能電網(wǎng)大數(shù)據(jù)研究現(xiàn)狀11-12
• 1.2.2 數(shù)據(jù)流處理研究現(xiàn)狀12-13
• 1.3 本文主要工作及內(nèi)容安排13-15
• 第2章 大數(shù)據(jù)流式計算技術(shù)15-22
• 2.1 流式計算模型15
• 2.2 流式計算關(guān)鍵技術(shù)15-17
• 2.2.1 系統(tǒng)架構(gòu)16
• 2.2.2 編程接口16
• 2.2.3 數(shù)據(jù)傳輸16-17
• 2.3 開源流式計算系統(tǒng)17-21
• 2.3.1 Spark系統(tǒng)17-18
• 2.3.2 S4系統(tǒng)18-19
• 2.3.3 Storm系統(tǒng)19-20
• 2.3.4 Samza系統(tǒng)20-21
• 2.4 流式計算典型應(yīng)用場景21
• 2.5 本章小結(jié)21-22
• 第3章 智能電網(wǎng)大數(shù)據(jù)實時流處理框架22-28
• 3.1 大數(shù)據(jù)來源及特征分析22-24
• 3.1.1 智能電網(wǎng)中的大數(shù)據(jù)22-23
• 3.1.2 智能電網(wǎng)大數(shù)據(jù)的特點23-24
• 3.2 智能電網(wǎng)大數(shù)據(jù)分析24-25
• 3.2.1 大數(shù)據(jù)處理方式分析24
• 3.2.2 智能電網(wǎng)大數(shù)據(jù)分類處理分析24-25
• 3.3 實時流處理框架的設(shè)計25-27
• 3.4 本章小結(jié)27-28
• 第4章 狀態(tài)監(jiān)測數(shù)據(jù)流的異常檢測方法28-37
• 4.1 狀態(tài)監(jiān)測的系統(tǒng)功能及異常檢測28-29
• 4.1.1 狀態(tài)監(jiān)測系統(tǒng)功能28
• 4.1.2 狀態(tài)監(jiān)測的異常檢測28-29
• 4.2 流式處理平臺Storm29-31
• 4.2.1 Storm工作原理29-30
• 4.2.2 智能電網(wǎng)大數(shù)據(jù)流式處理平臺選取30-31
• 4.3 時間滑動窗口原理31-32
• 4.3.1 時間滑動窗口概念31
• 4.3.2 狀態(tài)監(jiān)測異常檢測的滑動窗口模型31-32
• 4.4 Storm框架下滑動窗口的拓?fù)鋵崿F(xiàn)32-36
• 4.4.1 滑動窗口拓?fù)鋵崿F(xiàn)過程32-33
• 4.4.2 狀態(tài)監(jiān)測數(shù)據(jù)流的并行處理過程33-36
• 4.5 本章小結(jié)36-37
• 第5章 實驗測試及結(jié)果分析37-42
• 5.1 實驗環(huán)境37-38
• 5.1.1 環(huán)境配置37
• 5.1.2 集群搭建37-38
• 5.2 實驗測試數(shù)據(jù)38-39
• 5.3 平均處理延時測試39-41
• 5.3.1 Storm集群與單機對比測試39
• 5.3.2 不同集群節(jié)點數(shù)的平均處理延時測試39-40
• 5.3.3 不同進(jìn)程并行度的平均處理延時測試40-41
• 5.3.4 不同組件并發(fā)數(shù)的平均處理延時測試41
• 5.4 本章小結(jié)41-42
• 第6章 結(jié)論與展望42-43
• 參考文獻(xiàn)43-46
• 攻讀碩士學(xué)位期間發(fā)表的論文及其它成果46-47
• 致謝47

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 嚴(yán)英杰;盛戈v，

本文編號：1043645