【摘要】：隨著智能電網(wǎng)的不斷快速推進(jìn),電力系統(tǒng)已經(jīng)邁入了“大數(shù)據(jù)”時(shí)代。各種電網(wǎng)設(shè)備的監(jiān)測(cè)數(shù)據(jù)被送達(dá)監(jiān)測(cè)中心,形成了海量電網(wǎng)流式數(shù)據(jù),需要對(duì)其進(jìn)行快速處理。傳統(tǒng)的單機(jī)處理方式在面對(duì)海量電網(wǎng)流式數(shù)據(jù)時(shí),存在實(shí)時(shí)響應(yīng)能力差、可靠性低等問(wèn)題,而當(dāng)前云計(jì)算技術(shù)在各行各業(yè)的廣泛應(yīng)用為電力行業(yè)大數(shù)據(jù)的處理提供了新思路。云計(jì)算技術(shù)中的Storm流數(shù)據(jù)處理框架,具有高吞吐量、實(shí)時(shí)性強(qiáng)等特點(diǎn),滿足電力系統(tǒng)實(shí)時(shí)持續(xù)監(jiān)測(cè)數(shù)據(jù)的處理。本文基于大數(shù)據(jù)Storm分布式計(jì)算框架對(duì)電網(wǎng)設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)的并行分析與診斷進(jìn)行研究。引入相關(guān)向量機(jī)算法,設(shè)計(jì)了相關(guān)向量機(jī)“一對(duì)一”算法基于Storm框架的并行化實(shí)現(xiàn)方案。該方案分為建立模型和分類(lèi)測(cè)試兩個(gè)模塊。建立模型模塊完成初始化模型的建立及增量更新,分類(lèi)測(cè)試模塊實(shí)現(xiàn)對(duì)海量電網(wǎng)流數(shù)據(jù)的實(shí)時(shí)快速診斷處理。依據(jù)Storm有很強(qiáng)的增量計(jì)算優(yōu)勢(shì)以及為了應(yīng)對(duì)電網(wǎng)流數(shù)據(jù)的概念漂移現(xiàn)象,添加了增量學(xué)習(xí)方法。通過(guò)對(duì)比實(shí)驗(yàn),驗(yàn)證了所設(shè)計(jì)的方案具有更高的分類(lèi)準(zhǔn)確率和更好的時(shí)效性。對(duì)部署在Storm平臺(tái)上的算法模型進(jìn)行性能測(cè)試,驗(yàn)證了Storm集群具有高吞吐量、低延遲,能夠滿足大規(guī)模電網(wǎng)設(shè)備海量監(jiān)測(cè)流數(shù)據(jù)的在線實(shí)時(shí)處理。引入K最近鄰算法,設(shè)計(jì)實(shí)現(xiàn)了基于Storm框架的并行化K最近鄰算法Storm-KNN(S-KNN),完成電網(wǎng)設(shè)備海量監(jiān)測(cè)流數(shù)據(jù)的快速分類(lèi)與診斷。首先將已知樣本集隨機(jī)平均分塊,然后并行計(jì)算未知樣本與每塊已知樣本的相似度,得到每塊的K個(gè)最近鄰相似度,最后采用分半比較的并行化方式,匯總得到最終K個(gè)最近鄰相似度,實(shí)現(xiàn)未知樣本的分類(lèi)識(shí)別。通過(guò)實(shí)驗(yàn)結(jié)果表明,集群環(huán)境下并行KNN算法性能優(yōu)勢(shì)較好,能夠滿足當(dāng)前實(shí)際工程需求。
【圖文】：

華北電力大學(xué)碩士學(xué)位論文Storm 架構(gòu)orm 集群采用主從結(jié)構(gòu)，由一個(gè)主控節(jié)點(diǎn) Nimbus (Master Node) 和工作節(jié)點(diǎn)）Supervisor (Worker Node) 組成。主控節(jié)點(diǎn) Nimbus 主要碼分發(fā)到所需的各個(gè)工作節(jié)點(diǎn)、計(jì)算任務(wù)的分配及監(jiān)控集群的運(yùn)點(diǎn) Supervisor 主要負(fù)責(zé)監(jiān)聽(tīng)分配給它所在機(jī)器的工作，即根據(jù)主s 分配的任務(wù)來(lái)決定啟動(dòng)或停止 worker 進(jìn)程。Storm 集群架構(gòu)與執(zhí)-1。

圖 2-2 Stream 結(jié)構(gòu)圖(3) 拓?fù)?Topology)在 Storm 框架中，實(shí)時(shí)計(jì)算任務(wù)被抽象成 Topology 結(jié)構(gòu)，如圖 2-3。Topolo Storm 中最重要的抽象，是一個(gè)有向無(wú)環(huán)圖，被提交到 Storm 集群上執(zhí)行。Sto行任務(wù)的方式與 Hadoop 類(lèi)似，但兩者的不同是 MapReduce 最終會(huì)完成計(jì)算束執(zhí)行，而 Topology 是持續(xù)處理消息直到人為終止。Topology 中有兩種組件別是 Spout 和 Bolt。Topology 結(jié)構(gòu)中的每一個(gè)組件都是并行運(yùn)行的，可以設(shè)個(gè)組件的并行度，，Storm 會(huì)在集群中分配給其相應(yīng)的資源。Spout 和 Bolt、B Bolt 之間通過(guò) Stream 連接，它們之間是訂閱的方式。當(dāng) Spout 或者 Bolt 發(fā)uple 時(shí)，它會(huì)把 Tuple 發(fā)送到每個(gè)訂閱了該 Stream 的 Bolt 上進(jìn)行處理。
【學(xué)位授予單位】：華北電力大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類(lèi)號(hào)】：TM76;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 田鑫;靳曉凌;韓新陽(yáng);于汀;;典型電網(wǎng)工程投資成效監(jiān)管重點(diǎn)及趨勢(shì)[J];中國(guó)電力企業(yè)管理;2019年28期

2 ;國(guó)家加大對(duì)內(nèi)蒙風(fēng)電送出電網(wǎng)工程投資[J];水利水電工程造價(jià);2011年04期

3 李勇偉;;加強(qiáng)礦山電網(wǎng)工程環(huán)保規(guī)劃設(shè)計(jì)的探討[J];中國(guó)金屬通報(bào);2018年12期

4 張亞平;陳穎;;電網(wǎng)工程數(shù)據(jù)治理與應(yīng)用[J];中國(guó)電力企業(yè)管理;2017年36期

5 李勇;李小云;陸雯林;雷川麗;;電網(wǎng)工程指標(biāo)評(píng)審及實(shí)現(xiàn)分析[J];科技創(chuàng)新與應(yīng)用;2018年05期

6 王健;;電網(wǎng)工程可研評(píng)審要點(diǎn)分析[J];貴州電力技術(shù);2016年11期

7 黃憑;王允龍;張璐;;中國(guó)電建江西院電網(wǎng)工程公司輸電結(jié)構(gòu)部:讓青春建功融入電建事業(yè)[J];中國(guó)電力企業(yè)管理;2017年15期

8 劉曉佳;;電網(wǎng)工程技經(jīng)評(píng)審發(fā)展趨勢(shì)探究[J];科技與企業(yè);2015年23期

9 陸賢邦;;以精細(xì)化管理為主導(dǎo)的電網(wǎng)工程項(xiàng)目建設(shè)質(zhì)量提升分析[J];科技展望;2016年11期

10 李建青;劉麗;殷敏;方天睿;;基于灰色關(guān)聯(lián)度分析的營(yíng)改增對(duì)電網(wǎng)工程造價(jià)管理的影響[J];今日財(cái)富;2016年16期

相關(guān)會(huì)議論文 前10條

1 閆軍;郭向偉;戴巍;劉俊嶺;燕博;;以保障電網(wǎng)建設(shè)順利實(shí)施為核心的新型前期工作綜合管理方式[A];2017年中國(guó)電力企業(yè)管理創(chuàng)新實(shí)踐——2017年度中國(guó)電力企業(yè)管理創(chuàng)新實(shí)踐優(yōu)秀論文大賽論文集（下冊(cè)）[C];2018年

2 姚普及;;陜送公司全面預(yù)算管理體系的構(gòu)建與優(yōu)化[A];電力行業(yè)優(yōu)秀管理論文集——2014年度全國(guó)電力企業(yè)優(yōu)秀管理論文大賽獲獎(jiǎng)?wù)撐模ā吨袊?guó)電力企業(yè)管理》2014年第一期增刊）[C];2014年

3 馬敏;王平;李夢(mèng)漁;;基于現(xiàn)代(智慧)供應(yīng)鏈的重大電網(wǎng)工程智慧供應(yīng)平臺(tái)研究[A];生態(tài)互聯(lián) 數(shù)字電力——2019電力行業(yè)信息化年會(huì)論文集[C];2019年

4 蘇丹;楊睿;劉超;吳佳;孟繼軍;;基于供應(yīng)鏈管理的電網(wǎng)物流運(yùn)作優(yōu)化研究[A];第三屆智能電網(wǎng)會(huì)議論文集[C];2018年

5 蘇雯;;基于ERP系統(tǒng)的電網(wǎng)工程智能化結(jié)算管理[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

6 鄭燕;崔萬(wàn)福;;電網(wǎng)工程技術(shù)經(jīng)濟(jì)仿真關(guān)鍵技術(shù)[A];電網(wǎng)工程造價(jià)管理優(yōu)秀論文[C];2011年

7 王萍;;抓好農(nóng)村電網(wǎng)工程檔案 服務(wù)新農(nóng)村建設(shè)[A];科學(xué)發(fā)展觀指導(dǎo)下的檔案學(xué)理論與實(shí)踐[C];2007年

8 袁衢龍;闕振波;;新形勢(shì)下高效推進(jìn)電網(wǎng)建設(shè)政策處理工作的創(chuàng)新與實(shí)踐[A];浙江省電力學(xué)會(huì)2016年度優(yōu)秀論文集[C];2016年

9 李冰;;國(guó)核電力規(guī)劃設(shè)計(jì)研究院中標(biāo)山東兩項(xiàng)電網(wǎng)工程[A];核工業(yè)勘察設(shè)計(jì)（2015年第2期）[C];2015年

10 姜波;徐_g;賀金紅;顏擁;;分布式微電網(wǎng)區(qū)塊鏈技術(shù)系統(tǒng)研究[A];數(shù)字中國(guó) 能源互聯(lián)——2018電力行業(yè)信息化年會(huì)論文集[C];2018年

相關(guān)重要報(bào)紙文章 前10條

1 記者 李易峰 通訊員 余艷春;南疆四地州深度貧困地區(qū)脫貧攻堅(jiān)電網(wǎng)工程全面完成[N];國(guó)家電網(wǎng)報(bào);2019年

2 張愛(ài)萍;國(guó)網(wǎng)遼寧電力 建設(shè)重點(diǎn)電網(wǎng)工程 助力遼寧全面振興[N];國(guó)家電網(wǎng)報(bào);2019年

3 本報(bào)記者 劉丹　整理;“十二五”1.7萬(wàn)億元投資電網(wǎng)建設(shè)[N];科學(xué)時(shí)報(bào);2011年

4 王天一 記者 李曉輝;優(yōu)化服務(wù)降低企業(yè)辦事成本 電網(wǎng)工程審批效率大幅提升[N];錦州日?qǐng)?bào);2019年

5 本報(bào)記者 王寧 通訊員 傅云路;2019年張家口電網(wǎng)建設(shè)有哪些看點(diǎn)？[N];張家口日?qǐng)?bào);2019年

6 記者 李易峰 通訊員 王福梁;國(guó)網(wǎng)新疆電力今年計(jì)劃投資51.75億元建設(shè)南疆深度貧困地區(qū)電網(wǎng)[N];國(guó)家電網(wǎng)報(bào);2019年

7 本報(bào)記者 李易峰 通訊員 周廣科;建設(shè)生態(tài)電網(wǎng) 服務(wù)美麗新疆[N];中國(guó)電力報(bào);2019年

8 記者 李易峰 通訊員 宋德義;南疆750千伏電網(wǎng)延伸補(bǔ)強(qiáng)工程投運(yùn)[N];國(guó)家電網(wǎng)報(bào);2019年

9 陳暉;公司圓滿完成上半年電網(wǎng)建設(shè)任務(wù)[N];國(guó)家電網(wǎng)報(bào);2019年

10 記者 王燕 通訊員 陳奕衡;國(guó)網(wǎng)重慶電力 上半年電網(wǎng)工程投產(chǎn)規(guī)模創(chuàng)新高[N];國(guó)家電網(wǎng)報(bào);2019年

相關(guān)博士學(xué)位論文 前2條

1 常燁殭;我國(guó)電網(wǎng)有功平衡控制性能評(píng)價(jià)方法的理論研究[D];大連理工大學(xué);2018年

2 傅礫;電網(wǎng)工程綠色設(shè)計(jì)集成化管理研究[D];華北電力大學(xué)（北京）;2011年

相關(guān)碩士學(xué)位論文 前10條

1 王英瀾;電網(wǎng)地磁感應(yīng)電流及其引起的無(wú)功損耗的計(jì)算[D];西安科技大學(xué);2019年

2 王東;基于Storm框架的電網(wǎng)設(shè)備監(jiān)測(cè)大數(shù)據(jù)并行分析[D];華北電力大學(xué);2019年

3 羅宇;基于資產(chǎn)墻的電網(wǎng)企業(yè)資產(chǎn)運(yùn)維檢修資源預(yù)測(cè)研究[D];華南理工大學(xué);2019年

4 王一男;G公司電網(wǎng)造價(jià)管理研究[D];大連理工大學(xué);2018年

5 高仕林;含柔性直流電網(wǎng)的交直流混聯(lián)系統(tǒng)運(yùn)行特性研究[D];山東大學(xué);2019年

6 鄧少治;SD電網(wǎng)公司發(fā)展戰(zhàn)略研究[D];山東大學(xué);2019年

7 吳占寧;基于參數(shù)優(yōu)化灰色模型的電網(wǎng)技改投資預(yù)測(cè)研究[D];電子科技大學(xué);2019年

8 呂增亮;冀北唐承秦220kV電網(wǎng)分區(qū)供電方案研究[D];華北電力大學(xué);2018年

9 劉棟;電網(wǎng)物資存儲(chǔ)模式及配送優(yōu)化研究[D];華北電力大學(xué);2018年

10 朱雷;J電網(wǎng)公司客戶服務(wù)端到端流程評(píng)價(jià)模型研究[D];南京理工大學(xué);2018年

本文編號(hào)：2669223