發(fā)布時間：2020-05-17 21:42

【摘要】：隨著智能電網(wǎng)的不斷快速推進,電力系統(tǒng)已經(jīng)邁入了“大數(shù)據(jù)”時代。各種電網(wǎng)設(shè)備的監(jiān)測數(shù)據(jù)被送達監(jiān)測中心,形成了海量電網(wǎng)流式數(shù)據(jù),需要對其進行快速處理。傳統(tǒng)的單機處理方式在面對海量電網(wǎng)流式數(shù)據(jù)時,存在實時響應(yīng)能力差、可靠性低等問題,而當前云計算技術(shù)在各行各業(yè)的廣泛應(yīng)用為電力行業(yè)大數(shù)據(jù)的處理提供了新思路。云計算技術(shù)中的Storm流數(shù)據(jù)處理框架,具有高吞吐量、實時性強等特點,滿足電力系統(tǒng)實時持續(xù)監(jiān)測數(shù)據(jù)的處理。本文基于大數(shù)據(jù)Storm分布式計算框架對電網(wǎng)設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)的并行分析與診斷進行研究。引入相關(guān)向量機算法,設(shè)計了相關(guān)向量機“一對一”算法基于Storm框架的并行化實現(xiàn)方案。該方案分為建立模型和分類測試兩個模塊。建立模型模塊完成初始化模型的建立及增量更新,分類測試模塊實現(xiàn)對海量電網(wǎng)流數(shù)據(jù)的實時快速診斷處理。依據(jù)Storm有很強的增量計算優(yōu)勢以及為了應(yīng)對電網(wǎng)流數(shù)據(jù)的概念漂移現(xiàn)象,添加了增量學習方法。通過對比實驗,驗證了所設(shè)計的方案具有更高的分類準確率和更好的時效性。對部署在Storm平臺上的算法模型進行性能測試,驗證了Storm集群具有高吞吐量、低延遲,能夠滿足大規(guī)模電網(wǎng)設(shè)備海量監(jiān)測流數(shù)據(jù)的在線實時處理。引入K最近鄰算法,設(shè)計實現(xiàn)了基于Storm框架的并行化K最近鄰算法Storm-KNN(S-KNN),完成電網(wǎng)設(shè)備海量監(jiān)測流數(shù)據(jù)的快速分類與診斷。首先將已知樣本集隨機平均分塊,然后并行計算未知樣本與每塊已知樣本的相似度,得到每塊的K個最近鄰相似度,最后采用分半比較的并行化方式,匯總得到最終K個最近鄰相似度,實現(xiàn)未知樣本的分類識別。通過實驗結(jié)果表明,集群環(huán)境下并行KNN算法性能優(yōu)勢較好,能夠滿足當前實際工程需求。
【圖文】：

華北電力大學碩士學位論文Storm 架構(gòu)orm 集群采用主從結(jié)構(gòu)，由一個主控節(jié)點 Nimbus (Master Node) 和工作節(jié)點）Supervisor (Worker Node) 組成。主控節(jié)點 Nimbus 主要碼分發(fā)到所需的各個工作節(jié)點、計算任務(wù)的分配及監(jiān)控集群的運點 Supervisor 主要負責監(jiān)聽分配給它所在機器的工作，即根據(jù)主s 分配的任務(wù)來決定啟動或停止 worker 進程。Storm 集群架構(gòu)與執(zhí)-1。

圖 2-2 Stream 結(jié)構(gòu)圖(3) 拓撲(Topology)在 Storm 框架中，實時計算任務(wù)被抽象成 Topology 結(jié)構(gòu)，如圖 2-3。Topolo Storm 中最重要的抽象，是一個有向無環(huán)圖，被提交到 Storm 集群上執(zhí)行。Sto行任務(wù)的方式與 Hadoop 類似，但兩者的不同是 MapReduce 最終會完成計算束執(zhí)行，而 Topology 是持續(xù)處理消息直到人為終止。Topology 中有兩種組件別是 Spout 和 Bolt。Topology 結(jié)構(gòu)中的每一個組件都是并行運行的，可以設(shè)個組件的并行度，，Storm 會在集群中分配給其相應(yīng)的資源。Spout 和 Bolt、B Bolt 之間通過 Stream 連接，它們之間是訂閱的方式。當 Spout 或者 Bolt 發(fā)uple 時，它會把 Tuple 發(fā)送到每個訂閱了該 Stream 的 Bolt 上進行處理。
【學位授予單位】：華北電力大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TM76;TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 田鑫;靳曉凌;韓新陽;于汀;;典型電網(wǎng)工程投資成效監(jiān)管重點及趨勢[J];中國電力企業(yè)管理;2019年28期

2 ;國家加大對內(nèi)蒙風電送出電網(wǎng)工程投資[J];水利水電工程造價;2011年04期

3 李勇偉;;加強礦山電網(wǎng)工程環(huán)保規(guī)劃設(shè)計的探討[J];中國金屬通報;2018年12期

4 張亞平;陳穎;;電網(wǎng)工程數(shù)據(jù)治理與應(yīng)用[J];中國電力企業(yè)管理;2017年36期

5 李勇;李小云;陸雯林;雷川麗;;電網(wǎng)工程指標評審及實現(xiàn)分析[J];科技創(chuàng)新與應(yīng)用;2018年05期

6 王健;;電網(wǎng)工程可研評審要點分析[J];貴州電力技術(shù);2016年11期

7 黃憑;王允龍;張璐;;中國電建江西院電網(wǎng)工程公司輸電結(jié)構(gòu)部:讓青春建功融入電建事業(yè)[J];中國電力企業(yè)管理;2017年15期

8 劉曉佳;;電網(wǎng)工程技經(jīng)評審發(fā)展趨勢探究[J];科技與企業(yè);2015年23期

9 陸賢邦;;以精細化管理為主導的電網(wǎng)工程項目建設(shè)質(zhì)量提升分析[J];科技展望;2016年11期

10 李建青;劉麗;殷敏;方天睿;;基于灰色關(guān)聯(lián)度分析的營改增對電網(wǎng)工程造價管理的影響[J];今日財富;2016年16期

相關(guān)會議論文 前10條

1 閆軍;郭向偉;戴巍;劉俊嶺;燕博;;以保障電網(wǎng)建設(shè)順利實施為核心的新型前期工作綜合管理方式[A];2017年中國電力企業(yè)管理創(chuàng)新實踐——2017年度中國電力企業(yè)管理創(chuàng)新實踐優(yōu)秀論文大賽論文集（下冊）[C];2018年

2 姚普及;;陜送公司全面預算管理體系的構(gòu)建與優(yōu)化[A];電力行業(yè)優(yōu)秀管理論文集——2014年度全國電力企業(yè)優(yōu)秀管理論文大賽獲獎?wù)撐模ā吨袊娏ζ髽I(yè)管理》2014年第一期增刊）[C];2014年

3 馬敏;王平;李夢漁;;基于現(xiàn)代(智慧)供應(yīng)鏈的重大電網(wǎng)工程智慧供應(yīng)平臺研究[A];生態(tài)互聯(lián) 數(shù)字電力——2019電力行業(yè)信息化年會論文集[C];2019年

4 蘇丹;楊睿;劉超;吳佳;孟繼軍;;基于供應(yīng)鏈管理的電網(wǎng)物流運作優(yōu)化研究[A];第三屆智能電網(wǎng)會議論文集[C];2018年

5 蘇雯;;基于ERP系統(tǒng)的電網(wǎng)工程智能化結(jié)算管理[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

6 鄭燕;崔萬福;;電網(wǎng)工程技術(shù)經(jīng)濟仿真關(guān)鍵技術(shù)[A];電網(wǎng)工程造價管理優(yōu)秀論文[C];2011年

7 王萍;;抓好農(nóng)村電網(wǎng)工程檔案 服務(wù)新農(nóng)村建設(shè)[A];科學發(fā)展觀指導下的檔案學理論與實踐[C];2007年

8 袁衢龍;闕振波;;新形勢下高效推進電網(wǎng)建設(shè)政策處理工作的創(chuàng)新與實踐[A];浙江省電力學會2016年度優(yōu)秀論文集[C];2016年

9 李冰;;國核電力規(guī)劃設(shè)計研究院中標山東兩項電網(wǎng)工程[A];核工業(yè)勘察設(shè)計（2015年第2期）[C];2015年

10 姜波;徐_g;賀金紅;顏擁;;分布式微電網(wǎng)區(qū)塊鏈技術(shù)系統(tǒng)研究[A];數(shù)字中國 能源互聯(lián)——2018電力行業(yè)信息化年會論文集[C];2018年

相關(guān)重要報紙文章 前10條

1 記者 李易峰 通訊員 余艷春;南疆四地州深度貧困地區(qū)脫貧攻堅電網(wǎng)工程全面完成[N];國家電網(wǎng)報;2019年

2 張愛萍;國網(wǎng)遼寧電力 建設(shè)重點電網(wǎng)工程 助力遼寧全面振興[N];國家電網(wǎng)報;2019年

3 本報記者 劉丹　整理;“十二五”1.7萬億元投資電網(wǎng)建設(shè)[N];科學時報;2011年

4 王天一 記者 李曉輝;優(yōu)化服務(wù)降低企業(yè)辦事成本 電網(wǎng)工程審批效率大幅提升[N];錦州日報;2019年

5 本報記者 王寧 通訊員 傅云路;2019年張家口電網(wǎng)建設(shè)有哪些看點？[N];張家口日報;2019年

6 記者 李易峰 通訊員 王福梁;國網(wǎng)新疆電力今年計劃投資51.75億元建設(shè)南疆深度貧困地區(qū)電網(wǎng)[N];國家電網(wǎng)報;2019年

7 本報記者 李易峰 通訊員 周廣科;建設(shè)生態(tài)電網(wǎng) 服務(wù)美麗新疆[N];中國電力報;2019年

8 記者 李易峰 通訊員 宋德義;南疆750千伏電網(wǎng)延伸補強工程投運[N];國家電網(wǎng)報;2019年

9 陳暉;公司圓滿完成上半年電網(wǎng)建設(shè)任務(wù)[N];國家電網(wǎng)報;2019年

10 記者 王燕 通訊員 陳奕衡;國網(wǎng)重慶電力 上半年電網(wǎng)工程投產(chǎn)規(guī)模創(chuàng)新高[N];國家電網(wǎng)報;2019年

相關(guān)博士學位論文 前2條

1 常燁殭;我國電網(wǎng)有功平衡控制性能評價方法的理論研究[D];大連理工大學;2018年

2 傅礫;電網(wǎng)工程綠色設(shè)計集成化管理研究[D];華北電力大學（北京）;2011年

相關(guān)碩士學位論文 前10條

1 王英瀾;電網(wǎng)地磁感應(yīng)電流及其引起的無功損耗的計算[D];西安科技大學;2019年

2 王東;基于Storm框架的電網(wǎng)設(shè)備監(jiān)測大數(shù)據(jù)并行分析[D];華北電力大學;2019年

3 羅宇;基于資產(chǎn)墻的電網(wǎng)企業(yè)資產(chǎn)運維檢修資源預測研究[D];華南理工大學;2019年

4 王一男;G公司電網(wǎng)造價管理研究[D];大連理工大學;2018年

5 高仕林;含柔性直流電網(wǎng)的交直流混聯(lián)系統(tǒng)運行特性研究[D];山東大學;2019年

6 鄧少治;SD電網(wǎng)公司發(fā)展戰(zhàn)略研究[D];山東大學;2019年

7 吳占寧;基于參數(shù)優(yōu)化灰色模型的電網(wǎng)技改投資預測研究[D];電子科技大學;2019年

8 呂增亮;冀北唐承秦220kV電網(wǎng)分區(qū)供電方案研究[D];華北電力大學;2018年

9 劉棟;電網(wǎng)物資存儲模式及配送優(yōu)化研究[D];華北電力大學;2018年

10 朱雷;J電網(wǎng)公司客戶服務(wù)端到端流程評價模型研究[D];南京理工大學;2018年

本文編號：2669223