本文關(guān)鍵詞：云技術(shù)在電力系統(tǒng)不良數(shù)據(jù)處理中的研究與應(yīng)用

  更多相關(guān)文章： 云計算 不良數(shù)據(jù) 數(shù)據(jù)挖掘 Hadoop Storm

【摘要】：大數(shù)據(jù)時代,電網(wǎng)運行產(chǎn)生的數(shù)據(jù)呈爆炸式增長,傳統(tǒng)的計算與存儲模式已逐漸無法適應(yīng)電力系統(tǒng)的需求。云計算技術(shù)作為一種具有超大規(guī)模、高可用性和高伸縮性等特性的海量數(shù)據(jù)處理新技術(shù)能夠用于解決該問題,并為新一代電力信息平臺的建設(shè)提供解決方案。本文著重針對云技術(shù)在電力系統(tǒng)不良數(shù)據(jù)辨識與修正領(lǐng)域的應(yīng)用展開了研究。論文闡述了云技術(shù)與電力系統(tǒng)不良數(shù)據(jù)處理的國內(nèi)外研究現(xiàn)狀,研究了批處理云計算框架Hadoop與實時云計算框架Storm的核心技術(shù)與實現(xiàn)機理,在此基礎(chǔ)上,從數(shù)據(jù)挖掘技術(shù)與拓撲理論兩個方面設(shè)計了多種云計算下的不良數(shù)據(jù)處理算法。數(shù)據(jù)挖掘技術(shù)方面,提出了一種Hadoop下的分布式系統(tǒng)聚類算法用于數(shù)據(jù)預(yù)處理。通過將不良數(shù)據(jù)辨識問題轉(zhuǎn)化為二類分類問題,提出了一種基于支持向量機并采用滑動窗口機制的分布式不良數(shù)據(jù)處理算法,算法分為離線與在線兩個模式,離線模式采用Hadoop進行分布式處理,首先對樣本數(shù)據(jù)進行聚類,對每個保留的類簇按時段劃分并分別訓(xùn)練SVM模型；在線模式通過設(shè)置滑動窗口接收待辨識數(shù)據(jù),采用對應(yīng)的SVM模型辨識壞數(shù)據(jù)并采用線性插值法對其進行修正。拓撲理論方面,提出了一種Storm下的針對全網(wǎng)有功功率的分布式不良數(shù)據(jù)處理算法。算法通過電路約束條件進行數(shù)據(jù)處理,在子網(wǎng)邊界處引入冗余信息使得Storm能夠?qū)γ總�子網(wǎng)進行分布式計算,最后在母網(wǎng)層面整合計算從而實現(xiàn)全網(wǎng)數(shù)據(jù)辨識與修正。同時,提出了一種Storm下的分布式狀態(tài)估計算法。算法通過在聯(lián)絡(luò)線處引入虛擬節(jié)點并從虛擬節(jié)點處進行子網(wǎng)分裂進而針對子網(wǎng)進行分布式狀態(tài)估計計算與不良數(shù)據(jù)處理,其中壞數(shù)據(jù)處理部分簡化了殘差搜索辨識法的實現(xiàn)流程。論文針對提出的每種算法進行了仿真測試,結(jié)果表明它們具備較好的不良數(shù)據(jù)處理能力和實時性,具有一定的應(yīng)用前景。
【關(guān)鍵詞】：云計算 不良數(shù)據(jù) 數(shù)據(jù)挖掘 Hadoop Storm
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP311.13;TM732
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 緒論8-14
• 1.1 課題研究背景及意義8-9
• 1.1.1 課題研究背景8
• 1.1.2 課題研究意義8-9
• 1.2 國內(nèi)外研究現(xiàn)狀9-11
• 1.2.1 云技術(shù)研究現(xiàn)狀9-10
• 1.2.2 電力系統(tǒng)不良數(shù)據(jù)處理算法研究現(xiàn)狀10-11
• 1.3 論文主要研究內(nèi)容11-14
• 第二章 云技術(shù)及其框架14-22
• 2.1 概述14-15
• 2.2 批處理云計算框架Hadoop15-19
• 2.2.1 Hadoop簡介15
• 2.2.2 分布式文件系統(tǒng)HDFS15-17
• 2.2.3 MapReduce編程模型17-19
• 2.3 實時云計算框架Storm19-21
• 2.3.1 Storm簡介19
• 2.3.2 Storm實現(xiàn)原理19-21
• 2.4 本章小結(jié)21-22
• 第三章 基于數(shù)據(jù)挖掘技術(shù)的不良數(shù)據(jù)處理算法22-44
• 3.1 引言22-23
• 3.2 分布式系統(tǒng)聚類算法及其實現(xiàn)23-28
• 3.2.1 系統(tǒng)聚類算法23-24
• 3.2.2 Hadoop下的分布式系統(tǒng)聚類算法24-28
• 3.3 支持向量機(SVM)28-33
• 3.3.1 線性分類28-30
• 3.3.2 非線性分類30-32
• 3.3.3 松弛變量32-33
• 3.4 分布式不良數(shù)據(jù)辨識與修正算法及其實現(xiàn)33-37
• 3.4.1 離線模式34-36
• 3.4.2 在線模式36-37
• 3.5 算例分析37-42
• 3.6 本章小結(jié)42-44
• 第四章 基于拓撲理論的不良數(shù)據(jù)處理算法44-68
• 4.1 引言44-46
• 4.2 分布式有功數(shù)據(jù)辨識與修正算法46-55
• 4.2.1 辨識與修正規(guī)則46-48
• 4.2.2 Storm下的算法實現(xiàn)48-50
• 4.2.3 算例分析50-55
• 4.3 分布式狀態(tài)估計算法55-66
• 4.3.1 算法設(shè)計及其在Storm下的實現(xiàn)55-61
• 4.3.2 可觀測性分析61
• 4.3.3 算例分析61-66
• 4.4 本章小結(jié)66-68
• 第五章 結(jié)論與展望68-70
• 致謝70-72
• 參考文獻72-76
• 附錄A Hadoop下的系統(tǒng)聚類算法核心代碼76-80
• 附錄B Storm下的有功數(shù)據(jù)辨識與修正算法核心代碼80-100
• 附錄C Storm下的分布式狀態(tài)估計算法核心代碼100-106

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉蘭輝;論前途光明的數(shù)據(jù)挖掘技術(shù)[J];內(nèi)蒙古科技與經(jīng)濟;2004年05期

2 方忠祥,屠立;數(shù)據(jù)挖掘技術(shù)在客戶關(guān)系管理中的應(yīng)用研究[J];機床與液壓;2005年06期

3 王文興;;數(shù)據(jù)挖掘技術(shù)的道與術(shù)[J];機械工業(yè)信息與網(wǎng)絡(luò);2006年03期

4 李志;;淺析數(shù)據(jù)挖掘技術(shù)[J];硅谷;2008年21期

5 孔莉莎;劉聞;;淺談數(shù)據(jù)挖掘技術(shù)與軍事決策支持[J];裝備制造技術(shù);2009年10期

6 王旭;;對數(shù)據(jù)挖掘技術(shù)在各領(lǐng)域內(nèi)應(yīng)用的探討[J];中國新技術(shù)新產(chǎn)品;2009年24期

7 勞飛;;數(shù)據(jù)挖掘技術(shù)在交通事故分析中的應(yīng)用[J];山東交通科技;2010年05期

8 王順民;;構(gòu)建基于數(shù)據(jù)挖掘技術(shù)的現(xiàn)代醫(yī)院信息平臺[J];制造業(yè)自動化;2011年05期

9 潘程;陳玉華;;淺談數(shù)據(jù)挖掘技術(shù)在零售業(yè)中的應(yīng)用[J];中國新技術(shù)新產(chǎn)品;2011年16期

10 宋向瑛;;數(shù)據(jù)挖掘技術(shù)在黨校信息化管理的應(yīng)用[J];硅谷;2012年09期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 孫義明;曾繼東;;數(shù)據(jù)挖掘技術(shù)及其應(yīng)用[A];全國計算機安全學(xué)術(shù)交流會論文集（第二十二卷）[C];2007年

2 馬洪杰;曲曉飛;;數(shù)據(jù)挖掘技術(shù)和過程的特點[A];面向21世紀的科技進步與社會經(jīng)濟發(fā)展（上冊）[C];1999年

3 寧紅梅;安志興;葛亞明;李敬璽;趙坤;鐘華;陳俊杰;崔艷紅;;數(shù)據(jù)挖掘技術(shù)在獸醫(yī)學(xué)中的應(yīng)用[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年

4 王桂芹;黃道;;數(shù)據(jù)挖掘技術(shù)綜述[A];計算機技術(shù)與應(yīng)用進展·2007——全國第18屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2007年

5 徐寶蓮;李曉奇;;數(shù)據(jù)挖掘技術(shù)在網(wǎng)絡(luò)游戲中的應(yīng)用[A];第十一屆中國不確定系統(tǒng)年會、第十五屆中國青年信息與管理學(xué)者大會論文集[C];2013年

6 胡廣芹;陸小左;;數(shù)據(jù)挖掘技術(shù)在中醫(yī)診斷中的應(yīng)用[A];中國中西醫(yī)結(jié)合學(xué)會診斷專業(yè)委員會2009’年會論文集[C];2009年

7 戈欣;吳曉芬;許建榮;;數(shù)據(jù)挖掘技術(shù)在放射科醫(yī)療管理中的潛在作用[A];2009中華醫(yī)學(xué)會影像技術(shù)分會第十七次全國學(xué)術(shù)大會論文集[C];2009年

8 鐵軍;吳智明;;數(shù)據(jù)挖掘技術(shù)在工業(yè)鋁電解生產(chǎn)中的應(yīng)用[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2002年

9 王建華;王菲;黃國建;;數(shù)據(jù)挖掘技術(shù)研究的現(xiàn)狀及展望[A];中國運籌學(xué)會第六屆學(xué)術(shù)交流會論文集（上卷）[C];2000年

10 肖健華;吳今培;;數(shù)據(jù)挖掘技術(shù)及其應(yīng)用實例[A];2001年中國智能自動化會議論文集（下冊）[C];2001年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 記者　呂賢如;大力加強數(shù)據(jù)挖掘技術(shù)研究應(yīng)用[N];光明日報;2006年

2 主持人 李禾;數(shù)據(jù)挖掘技術(shù)如何驅(qū)動經(jīng)濟車輪[N];科技日報;2007年

3 梅靜彥;數(shù)據(jù)挖掘技術(shù)在美國銀行的應(yīng)用[N];金融時報;2006年

4 鄒廣普;數(shù)據(jù)挖掘技術(shù)在保險業(yè)中的應(yīng)用[N];中國保險報;2010年

5 陳曉 山西財經(jīng)大學(xué)教師;數(shù)據(jù)挖掘技術(shù)在高校教學(xué)管理中的應(yīng)用[N];山西經(jīng)濟日報;2010年

6 張崇峰;挖掘，，再挖掘[N];中國計算機報;2003年

7 劉紅巖、何軍;利用數(shù)據(jù)挖掘技術(shù)獲得商業(yè)智能[N];中國計算機報;2003年

8 ;IBM公司推出新型數(shù)據(jù)挖掘技術(shù)[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2001年

9 劉軍 蘭小紅 龔富強;新技術(shù)為老裝備“保駕護航”[N];大眾科技報;2006年

10 ;軟件產(chǎn)業(yè)人才培養(yǎng)又辟新路[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2000年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 沈忱;基于貝葉斯網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)研究《本草綱目》活血化瘀類中藥性—效—用關(guān)系[D];南京中醫(yī)藥大學(xué);2015年

2 姚山;基于數(shù)據(jù)挖掘技術(shù)的造林決策研究[D];北京林業(yè)大學(xué);2008年

3 曹秀英;基于粗集的數(shù)據(jù)挖掘技術(shù)及其應(yīng)用研究[D];哈爾濱工程大學(xué);2003年

4 伍平陽;基于數(shù)據(jù)挖掘技術(shù)的醫(yī)療設(shè)備績效預(yù)測方法的應(yīng)用研究[D];南方醫(yī)科大學(xué);2008年

5 劉剛;數(shù)據(jù)挖掘技術(shù)與分類算法研究[D];中國人民解放軍信息工程大學(xué);2004年

6 王勇;時序數(shù)據(jù)挖掘技術(shù)及其在水質(zhì)預(yù)測中的應(yīng)用研究[D];廣東工業(yè)大學(xué);2005年

7 熊忠陽;面向商業(yè)智能的并行數(shù)據(jù)挖掘技術(shù)及應(yīng)用研究[D];重慶大學(xué);2004年

8 朱恒民;領(lǐng)域知識制導(dǎo)的數(shù)據(jù)挖掘技術(shù)及其在中藥提取中的應(yīng)用[D];南京航空航天大學(xué);2006年

9 毛國君;數(shù)據(jù)挖掘技術(shù)與關(guān)聯(lián)規(guī)則挖掘算法研究[D];北京工業(yè)大學(xué);2003年

10 王萍;基于數(shù)據(jù)挖掘技術(shù)的消費者行為研究[D];吉林大學(xué);2004年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 肖建國;數(shù)據(jù)挖掘技術(shù)在就業(yè)指導(dǎo)與本科教學(xué)改革工作中的應(yīng)用研究[D];吉林大學(xué);2008年

2 錢和平;基于改進的灰色理論數(shù)據(jù)挖掘技術(shù)的研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2010年

3 安冬冬;基于數(shù)據(jù)挖掘技術(shù)的常規(guī)公交服務(wù)水平評價體系研究[D];西南交通大學(xué);2015年

4 陳萍;數(shù)據(jù)挖掘技術(shù)在網(wǎng)絡(luò)教學(xué)中的應(yīng)用研究[D];廣東技術(shù)師范學(xué)院;2015年

5 鄧博;基于數(shù)據(jù)挖掘技術(shù)構(gòu)建電信4G客戶預(yù)測模型的研究[D];蘭州大學(xué);2015年

6 趙明芳;數(shù)據(jù)挖掘技術(shù)在教學(xué)評教中的應(yīng)用與研究[D];寧夏大學(xué);2015年

7 苗家銘;基于數(shù)據(jù)挖掘技術(shù)的商業(yè)銀行個人信用風(fēng)險評估模型及其應(yīng)用[D];南京財經(jīng)大學(xué);2015年

8 鮑素貞;數(shù)據(jù)挖掘技術(shù)在個性化網(wǎng)絡(luò)教學(xué)平臺中的應(yīng)用研究[D];聊城大學(xué);2015年

9 李文棟;基于Spark的大數(shù)據(jù)挖掘技術(shù)的研究與實現(xiàn)[D];山東大學(xué);2015年

10 郭忠俊;基于數(shù)據(jù)挖掘技術(shù)的礦井提升機故障診斷研究[D];中國礦業(yè)大學(xué);2015年

本文編號：940718