由于電力調(diào)度數(shù)據(jù)網(wǎng)出現(xiàn)任何網(wǎng)絡(luò)故障都可能發(fā)生極度嚴(yán)重的事故,因此具有極高的可靠性及安全性的要求。與此同時(shí)隨著電力大數(shù)據(jù)時(shí)代的到來,當(dāng)前傳統(tǒng)的網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)在面對(duì)大數(shù)據(jù)量時(shí),其實(shí)時(shí)處理能力和擴(kuò)展能力都無法滿足需求。因此對(duì)實(shí)時(shí)產(chǎn)生的大規(guī)模各類型數(shù)據(jù)的分析處理則需要一種專門的實(shí)時(shí)數(shù)據(jù)分析平臺(tái)完成。本文結(jié)合調(diào)度數(shù)據(jù)網(wǎng)網(wǎng)絡(luò)的特點(diǎn)以及監(jiān)測(cè)準(zhǔn)確性及實(shí)時(shí)性的需求,研究了流計(jì)算相關(guān)的主要關(guān)鍵技術(shù)和實(shí)現(xiàn)網(wǎng)絡(luò)監(jiān)測(cè)的主要方法。主要成果是構(gòu)建出一個(gè)基于流計(jì)算的數(shù)據(jù)處理分析平臺(tái),設(shè)計(jì)和實(shí)現(xiàn)了平臺(tái)的整體框架和數(shù)據(jù)網(wǎng)異常監(jiān)測(cè)模型,以Apache Spark中的Spark Streaming為代表的開源流計(jì)算框架,加入如Kafka分布式消息隊(duì)列、Redis內(nèi)存數(shù)據(jù)庫等組件,為數(shù)據(jù)分析平臺(tái)提供穩(wěn)定高效的數(shù)據(jù)來源和數(shù)據(jù)服務(wù)接口,從而實(shí)現(xiàn)適用于電力調(diào)度網(wǎng)的各類海量數(shù)據(jù)的實(shí)時(shí)分析處理完成監(jiān)測(cè)應(yīng)用,構(gòu)建基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)異常檢測(cè)模型,提出基于DBSCAN聚類算法的網(wǎng)絡(luò)異常劃分和基于SVM分類算法的網(wǎng)絡(luò)異常識(shí)別來對(duì)模型進(jìn)行實(shí)現(xiàn)。通過實(shí)驗(yàn)測(cè)試和分析,結(jié)果證明了平臺(tái)的可用性,同時(shí)通過實(shí)驗(yàn)與傳統(tǒng)云計(jì)算和批量計(jì)算等傳統(tǒng)計(jì)算方式對(duì)比,實(shí)驗(yàn)驗(yàn)證... 

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院沈陽計(jì)算技術(shù)研究所)遼寧省

【文章頁數(shù)】：66 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

流計(jì)算處理一般過程

第 2 章 相關(guān)技術(shù)綜述下大數(shù)據(jù)領(lǐng)域最活躍的開源項(xiàng)目之一，擁有 Hadoop基于內(nèi)存并行計(jì)算，且提供多種數(shù)據(jù)計(jì)算結(jié)果處理多性能和功能缺陷[30]。改善了海量數(shù)據(jù)批處理計(jì)算互查詢等性能和功能缺陷，擁有可用性高易于使用和有快速處理數(shù)據(jù)能力。圍繞著 Spark 推出了包括 SLlib,GraphX，Spark 的擴(kuò)展組件[31]如圖 2.2 所示：

單條記錄組成的成本較高，Spark Streaming 首先將數(shù)據(jù)切據(jù)集，然后累積一批數(shù)據(jù)集后單獨(dú)啟動(dòng)一個(gè)任務(wù)線程進(jìn)行提高了 Spark Streaming 流式計(jì)算處理的吞吐量，Spark 框架支持非常多的數(shù)據(jù)輸入源，如 Kafka、MQTT、Zer字、日志采集 Flume 等，所以使用范圍非常廣[32-33]。 Streaming 的工作原理和計(jì)算流程如下：Spark Streaming 接tch size 時(shí)間間隔將數(shù)據(jù)流劃分為多段數(shù)據(jù)，而每段的連續(xù)然后交給 Spark 引擎處理這些數(shù)據(jù)，最終得到結(jié)果流從而rk Streaming 提供多種數(shù)據(jù)源支持，可以使用 kafka 等進(jìn)行數(shù)的緩存和分發(fā)，對(duì)接入的數(shù)據(jù)流按批次創(chuàng)建 Dstream[34]。個(gè)時(shí)間段所對(duì)應(yīng)的 RDD 的集合，每一段數(shù)據(jù)都轉(zhuǎn)化成分布式數(shù)據(jù)集。然后將 Spark Streaming 中對(duì) DStream 的操 RDD 的操作，對(duì)于 DStream 數(shù)據(jù)流的定義如圖 2.3 所示

【參考文獻(xiàn)】：
期刊論文
[1]基于Spark的密度聚類算法并行化研究[J]. 朱子龍,李玲娟.  計(jì)算機(jī)技術(shù)與發(fā)展. 2018(06)
[2]Spark Streaming框架下的氣象自動(dòng)站數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)[J]. 趙文芳,劉旭林.  計(jì)算機(jī)應(yīng)用. 2018(01)
[3]電力調(diào)度自動(dòng)化系統(tǒng)中的人工智能技術(shù)應(yīng)用[J]. 趙瑞君.  現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化. 2017(21)
[4]自動(dòng)化系統(tǒng)在電力調(diào)度中的應(yīng)用現(xiàn)狀和發(fā)展[J]. 郭大可.  電子技術(shù)與軟件工程. 2017(22)
[5]電力調(diào)度數(shù)據(jù)網(wǎng)仿真建模及路由協(xié)議攻擊影響[J]. 何劍峰,羅豫,李俊娥,劉劍,袁凱,吳亦貝,彭弼君,王宇飛.  武漢大學(xué)學(xué)報(bào)(理學(xué)版). 2017(02)
[6]內(nèi)存計(jì)算技術(shù)研究綜述[J]. 羅樂,劉軼,錢德沛.  軟件學(xué)報(bào). 2016(08)
[7]分布式實(shí)時(shí)流數(shù)據(jù)聚類算法及其基于Storm的實(shí)現(xiàn)[J]. 馬可,李玲娟.  南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(02)
[8]基于Spark的大規(guī)模網(wǎng)絡(luò)流量準(zhǔn)實(shí)時(shí)分類方法[J]. 楊晨光,馬永征.  科研信息化技術(shù)與應(yīng)用. 2016(02)
[9]一種基于Spark和聚類分析的辨識(shí)電力系統(tǒng)不良數(shù)據(jù)新方法[J]. 孟建良,劉德超.  電力系統(tǒng)保護(hù)與控制. 2016(03)
[10]基于Spark的空間數(shù)據(jù)實(shí)時(shí)訪存技術(shù)的研究[J]. 方金云,劉羽,姚曉,陳翠婷,張夢(mèng)菲,肖茁建,張廣發(fā).  地理信息世界. 2015(06)

博士論文
[1]基于Hadoop的網(wǎng)絡(luò)流量分析系統(tǒng)的研究與應(yīng)用[D]. 喬媛媛.北京郵電大學(xué) 2014

碩士論文
[1]面向鐵路運(yùn)維的大數(shù)據(jù)流式處理技術(shù)的研究與應(yīng)用[D]. 陳潤.北京交通大學(xué) 2017
[2]基于Spark平臺(tái)的惡意流量監(jiān)測(cè)分析系統(tǒng)[D]. 郭成林.北京交通大學(xué) 2016
[3]基于Spark平臺(tái)的聚類算法的優(yōu)化與實(shí)現(xiàn)[D]. 曹鵬.北京交通大學(xué) 2016
[4]木馬和僵尸網(wǎng)絡(luò)監(jiān)測(cè)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 王楠.天津大學(xué) 2016
[5]基于權(quán)限分析與流量監(jiān)控的惡意軟件檢測(cè)與防護(hù)機(jī)制研究[D]. 張帆.北京交通大學(xué) 2016
[6]Storm在電力大數(shù)據(jù)分析平臺(tái)中的研究與應(yīng)用[D]. 曾文靜.華北電力大學(xué)(北京) 2016
[7]基于分布式平臺(tái)Spark和YARN的數(shù)據(jù)挖掘算法的并行化研究[D]. 梁彥.中山大學(xué) 2014
[8]工業(yè)控制網(wǎng)絡(luò)的異常檢測(cè)與防御資源分配研究[D]. 王海鳳.浙江大學(xué) 2014
[9]基于Storm的數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 孫朝華.北京郵電大學(xué) 2014
[10]分布式流數(shù)據(jù)實(shí)時(shí)計(jì)算框架的研究和開發(fā)[D]. 顧偉.浙江理工大學(xué) 2013



本文編號(hào)：2910745