本文關(guān)鍵詞：云技術(shù)在電力系統(tǒng)不良數(shù)據(jù)處理中的研究與應(yīng)用

  更多相關(guān)文章： 云計(jì)算 不良數(shù)據(jù) 數(shù)據(jù)挖掘 Hadoop Storm

【摘要】：大數(shù)據(jù)時(shí)代,電網(wǎng)運(yùn)行產(chǎn)生的數(shù)據(jù)呈爆炸式增長(zhǎng),傳統(tǒng)的計(jì)算與存儲(chǔ)模式已逐漸無(wú)法適應(yīng)電力系統(tǒng)的需求。云計(jì)算技術(shù)作為一種具有超大規(guī)模、高可用性和高伸縮性等特性的海量數(shù)據(jù)處理新技術(shù)能夠用于解決該問(wèn)題,并為新一代電力信息平臺(tái)的建設(shè)提供解決方案。本文著重針對(duì)云技術(shù)在電力系統(tǒng)不良數(shù)據(jù)辨識(shí)與修正領(lǐng)域的應(yīng)用展開(kāi)了研究。論文闡述了云技術(shù)與電力系統(tǒng)不良數(shù)據(jù)處理的國(guó)內(nèi)外研究現(xiàn)狀,研究了批處理云計(jì)算框架Hadoop與實(shí)時(shí)云計(jì)算框架Storm的核心技術(shù)與實(shí)現(xiàn)機(jī)理,在此基礎(chǔ)上,從數(shù)據(jù)挖掘技術(shù)與拓?fù)淅碚搩蓚�(gè)方面設(shè)計(jì)了多種云計(jì)算下的不良數(shù)據(jù)處理算法。數(shù)據(jù)挖掘技術(shù)方面,提出了一種Hadoop下的分布式系統(tǒng)聚類(lèi)算法用于數(shù)據(jù)預(yù)處理。通過(guò)將不良數(shù)據(jù)辨識(shí)問(wèn)題轉(zhuǎn)化為二類(lèi)分類(lèi)問(wèn)題,提出了一種基于支持向量機(jī)并采用滑動(dòng)窗口機(jī)制的分布式不良數(shù)據(jù)處理算法,算法分為離線與在線兩個(gè)模式,離線模式采用Hadoop進(jìn)行分布式處理,首先對(duì)樣本數(shù)據(jù)進(jìn)行聚類(lèi),對(duì)每個(gè)保留的類(lèi)簇按時(shí)段劃分并分別訓(xùn)練SVM模型；在線模式通過(guò)設(shè)置滑動(dòng)窗口接收待辨識(shí)數(shù)據(jù),采用對(duì)應(yīng)的SVM模型辨識(shí)壞數(shù)據(jù)并采用線性插值法對(duì)其進(jìn)行修正。拓?fù)淅碚摲矫?提出了一種Storm下的針對(duì)全網(wǎng)有功功率的分布式不良數(shù)據(jù)處理算法。算法通過(guò)電路約束條件進(jìn)行數(shù)據(jù)處理,在子網(wǎng)邊界處引入冗余信息使得Storm能夠?qū)γ總�(gè)子網(wǎng)進(jìn)行分布式計(jì)算,最后在母網(wǎng)層面整合計(jì)算從而實(shí)現(xiàn)全網(wǎng)數(shù)據(jù)辨識(shí)與修正。同時(shí),提出了一種Storm下的分布式狀態(tài)估計(jì)算法。算法通過(guò)在聯(lián)絡(luò)線處引入虛擬節(jié)點(diǎn)并從虛擬節(jié)點(diǎn)處進(jìn)行子網(wǎng)分裂進(jìn)而針對(duì)子網(wǎng)進(jìn)行分布式狀態(tài)估計(jì)計(jì)算與不良數(shù)據(jù)處理,其中壞數(shù)據(jù)處理部分簡(jiǎn)化了殘差搜索辨識(shí)法的實(shí)現(xiàn)流程。論文針對(duì)提出的每種算法進(jìn)行了仿真測(cè)試,結(jié)果表明它們具備較好的不良數(shù)據(jù)處理能力和實(shí)時(shí)性,具有一定的應(yīng)用前景。
【關(guān)鍵詞】：云計(jì)算 不良數(shù)據(jù) 數(shù)據(jù)挖掘 Hadoop Storm
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP311.13;TM732
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 緒論8-14
• 1.1 課題研究背景及意義8-9
• 1.1.1 課題研究背景8
• 1.1.2 課題研究意義8-9
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀9-11
• 1.2.1 云技術(shù)研究現(xiàn)狀9-10
• 1.2.2 電力系統(tǒng)不良數(shù)據(jù)處理算法研究現(xiàn)狀10-11
• 1.3 論文主要研究?jī)?nèi)容11-14
• 第二章 云技術(shù)及其框架14-22
• 2.1 概述14-15
• 2.2 批處理云計(jì)算框架Hadoop15-19
• 2.2.1 Hadoop簡(jiǎn)介15
• 2.2.2 分布式文件系統(tǒng)HDFS15-17
• 2.2.3 MapReduce編程模型17-19
• 2.3 實(shí)時(shí)云計(jì)算框架Storm19-21
• 2.3.1 Storm簡(jiǎn)介19
• 2.3.2 Storm實(shí)現(xiàn)原理19-21
• 2.4 本章小結(jié)21-22
• 第三章 基于數(shù)據(jù)挖掘技術(shù)的不良數(shù)據(jù)處理算法22-44
• 3.1 引言22-23
• 3.2 分布式系統(tǒng)聚類(lèi)算法及其實(shí)現(xiàn)23-28
• 3.2.1 系統(tǒng)聚類(lèi)算法23-24
• 3.2.2 Hadoop下的分布式系統(tǒng)聚類(lèi)算法24-28
• 3.3 支持向量機(jī)(SVM)28-33
• 3.3.1 線性分類(lèi)28-30
• 3.3.2 非線性分類(lèi)30-32
• 3.3.3 松弛變量32-33
• 3.4 分布式不良數(shù)據(jù)辨識(shí)與修正算法及其實(shí)現(xiàn)33-37
• 3.4.1 離線模式34-36
• 3.4.2 在線模式36-37
• 3.5 算例分析37-42
• 3.6 本章小結(jié)42-44
• 第四章 基于拓?fù)淅碚摰牟涣紨?shù)據(jù)處理算法44-68
• 4.1 引言44-46
• 4.2 分布式有功數(shù)據(jù)辨識(shí)與修正算法46-55
• 4.2.1 辨識(shí)與修正規(guī)則46-48
• 4.2.2 Storm下的算法實(shí)現(xiàn)48-50
• 4.2.3 算例分析50-55
• 4.3 分布式狀態(tài)估計(jì)算法55-66
• 4.3.1 算法設(shè)計(jì)及其在Storm下的實(shí)現(xiàn)55-61
• 4.3.2 可觀測(cè)性分析61
• 4.3.3 算例分析61-66
• 4.4 本章小結(jié)66-68
• 第五章 結(jié)論與展望68-70
• 致謝70-72
• 參考文獻(xiàn)72-76
• 附錄A Hadoop下的系統(tǒng)聚類(lèi)算法核心代碼76-80
• 附錄B Storm下的有功數(shù)據(jù)辨識(shí)與修正算法核心代碼80-100
• 附錄C Storm下的分布式狀態(tài)估計(jì)算法核心代碼100-106

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 劉蘭輝;論前途光明的數(shù)據(jù)挖掘技術(shù)[J];內(nèi)蒙古科技與經(jīng)濟(jì);2004年05期

2 方忠祥,屠立;數(shù)據(jù)挖掘技術(shù)在客戶(hù)關(guān)系管理中的應(yīng)用研究[J];機(jī)床與液壓;2005年06期

3 王文興;;數(shù)據(jù)挖掘技術(shù)的道與術(shù)[J];機(jī)械工業(yè)信息與網(wǎng)絡(luò);2006年03期

4 李志;;淺析數(shù)據(jù)挖掘技術(shù)[J];硅谷;2008年21期

5 孔莉莎;劉聞;;淺談數(shù)據(jù)挖掘技術(shù)與軍事決策支持[J];裝備制造技術(shù);2009年10期

6 王旭;;對(duì)數(shù)據(jù)挖掘技術(shù)在各領(lǐng)域內(nèi)應(yīng)用的探討[J];中國(guó)新技術(shù)新產(chǎn)品;2009年24期

7 勞飛;;數(shù)據(jù)挖掘技術(shù)在交通事故分析中的應(yīng)用[J];山東交通科技;2010年05期

8 王順民;;構(gòu)建基于數(shù)據(jù)挖掘技術(shù)的現(xiàn)代醫(yī)院信息平臺(tái)[J];制造業(yè)自動(dòng)化;2011年05期

9 潘程;陳玉華;;淺談數(shù)據(jù)挖掘技術(shù)在零售業(yè)中的應(yīng)用[J];中國(guó)新技術(shù)新產(chǎn)品;2011年16期

10 宋向瑛;;數(shù)據(jù)挖掘技術(shù)在黨校信息化管理的應(yīng)用[J];硅谷;2012年09期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 孫義明;曾繼東;;數(shù)據(jù)挖掘技術(shù)及其應(yīng)用[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集（第二十二卷）[C];2007年

2 馬洪杰;曲曉飛;;數(shù)據(jù)挖掘技術(shù)和過(guò)程的特點(diǎn)[A];面向21世紀(jì)的科技進(jìn)步與社會(huì)經(jīng)濟(jì)發(fā)展（上冊(cè)）[C];1999年

3 寧紅梅;安志興;葛亞明;李敬璽;趙坤;鐘華;陳俊杰;崔艷紅;;數(shù)據(jù)挖掘技術(shù)在獸醫(yī)學(xué)中的應(yīng)用[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年

4 王桂芹;黃道;;數(shù)據(jù)挖掘技術(shù)綜述[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國(guó)第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

5 徐寶蓮;李曉奇;;數(shù)據(jù)挖掘技術(shù)在網(wǎng)絡(luò)游戲中的應(yīng)用[A];第十一屆中國(guó)不確定系統(tǒng)年會(huì)、第十五屆中國(guó)青年信息與管理學(xué)者大會(huì)論文集[C];2013年

6 胡廣芹;陸小左;;數(shù)據(jù)挖掘技術(shù)在中醫(yī)診斷中的應(yīng)用[A];中國(guó)中西醫(yī)結(jié)合學(xué)會(huì)診斷專(zhuān)業(yè)委員會(huì)2009’年會(huì)論文集[C];2009年

7 戈欣;吳曉芬;許建榮;;數(shù)據(jù)挖掘技術(shù)在放射科醫(yī)療管理中的潛在作用[A];2009中華醫(yī)學(xué)會(huì)影像技術(shù)分會(huì)第十七次全國(guó)學(xué)術(shù)大會(huì)論文集[C];2009年

8 鐵軍;吳智明;;數(shù)據(jù)挖掘技術(shù)在工業(yè)鋁電解生產(chǎn)中的應(yīng)用[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

9 王建華;王菲;黃國(guó)建;;數(shù)據(jù)挖掘技術(shù)研究的現(xiàn)狀及展望[A];中國(guó)運(yùn)籌學(xué)會(huì)第六屆學(xué)術(shù)交流會(huì)論文集（上卷）[C];2000年

10 肖健華;吳今培;;數(shù)據(jù)挖掘技術(shù)及其應(yīng)用實(shí)例[A];2001年中國(guó)智能自動(dòng)化會(huì)議論文集（下冊(cè)）[C];2001年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 記者　呂賢如;大力加強(qiáng)數(shù)據(jù)挖掘技術(shù)研究應(yīng)用[N];光明日?qǐng)?bào);2006年

2 主持人 李禾;數(shù)據(jù)挖掘技術(shù)如何驅(qū)動(dòng)經(jīng)濟(jì)車(chē)輪[N];科技日?qǐng)?bào);2007年

3 梅靜彥;數(shù)據(jù)挖掘技術(shù)在美國(guó)銀行的應(yīng)用[N];金融時(shí)報(bào);2006年

4 鄒廣普;數(shù)據(jù)挖掘技術(shù)在保險(xiǎn)業(yè)中的應(yīng)用[N];中國(guó)保險(xiǎn)報(bào);2010年

5 陳曉 山西財(cái)經(jīng)大學(xué)教師;數(shù)據(jù)挖掘技術(shù)在高校教學(xué)管理中的應(yīng)用[N];山西經(jīng)濟(jì)日?qǐng)?bào);2010年

6 張崇峰;挖掘，，再挖掘[N];中國(guó)計(jì)算機(jī)報(bào);2003年

7 劉紅巖、何軍;利用數(shù)據(jù)挖掘技術(shù)獲得商業(yè)智能[N];中國(guó)計(jì)算機(jī)報(bào);2003年

8 ;IBM公司推出新型數(shù)據(jù)挖掘技術(shù)[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2001年

9 劉軍 蘭小紅 龔富強(qiáng);新技術(shù)為老裝備“保駕護(hù)航”[N];大眾科技報(bào);2006年

10 ;軟件產(chǎn)業(yè)人才培養(yǎng)又辟新路[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2000年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 沈忱;基于貝葉斯網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)研究《本草綱目》活血化瘀類(lèi)中藥性—效—用關(guān)系[D];南京中醫(yī)藥大學(xué);2015年

2 姚山;基于數(shù)據(jù)挖掘技術(shù)的造林決策研究[D];北京林業(yè)大學(xué);2008年

3 曹秀英;基于粗集的數(shù)據(jù)挖掘技術(shù)及其應(yīng)用研究[D];哈爾濱工程大學(xué);2003年

4 伍平陽(yáng);基于數(shù)據(jù)挖掘技術(shù)的醫(yī)療設(shè)備績(jī)效預(yù)測(cè)方法的應(yīng)用研究[D];南方醫(yī)科大學(xué);2008年

5 劉剛;數(shù)據(jù)挖掘技術(shù)與分類(lèi)算法研究[D];中國(guó)人民解放軍信息工程大學(xué);2004年

6 王勇;時(shí)序數(shù)據(jù)挖掘技術(shù)及其在水質(zhì)預(yù)測(cè)中的應(yīng)用研究[D];廣東工業(yè)大學(xué);2005年

7 熊忠陽(yáng);面向商業(yè)智能的并行數(shù)據(jù)挖掘技術(shù)及應(yīng)用研究[D];重慶大學(xué);2004年

8 朱恒民;領(lǐng)域知識(shí)制導(dǎo)的數(shù)據(jù)挖掘技術(shù)及其在中藥提取中的應(yīng)用[D];南京航空航天大學(xué);2006年

9 毛國(guó)君;數(shù)據(jù)挖掘技術(shù)與關(guān)聯(lián)規(guī)則挖掘算法研究[D];北京工業(yè)大學(xué);2003年

10 王萍;基于數(shù)據(jù)挖掘技術(shù)的消費(fèi)者行為研究[D];吉林大學(xué);2004年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 肖建國(guó);數(shù)據(jù)挖掘技術(shù)在就業(yè)指導(dǎo)與本科教學(xué)改革工作中的應(yīng)用研究[D];吉林大學(xué);2008年

2 錢(qián)和平;基于改進(jìn)的灰色理論數(shù)據(jù)挖掘技術(shù)的研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2010年

3 安冬冬;基于數(shù)據(jù)挖掘技術(shù)的常規(guī)公交服務(wù)水平評(píng)價(jià)體系研究[D];西南交通大學(xué);2015年

4 陳萍;數(shù)據(jù)挖掘技術(shù)在網(wǎng)絡(luò)教學(xué)中的應(yīng)用研究[D];廣東技術(shù)師范學(xué)院;2015年

5 鄧博;基于數(shù)據(jù)挖掘技術(shù)構(gòu)建電信4G客戶(hù)預(yù)測(cè)模型的研究[D];蘭州大學(xué);2015年

6 趙明芳;數(shù)據(jù)挖掘技術(shù)在教學(xué)評(píng)教中的應(yīng)用與研究[D];寧夏大學(xué);2015年

7 苗家銘;基于數(shù)據(jù)挖掘技術(shù)的商業(yè)銀行個(gè)人信用風(fēng)險(xiǎn)評(píng)估模型及其應(yīng)用[D];南京財(cái)經(jīng)大學(xué);2015年

8 鮑素貞;數(shù)據(jù)挖掘技術(shù)在個(gè)性化網(wǎng)絡(luò)教學(xué)平臺(tái)中的應(yīng)用研究[D];聊城大學(xué);2015年

9 李文棟;基于Spark的大數(shù)據(jù)挖掘技術(shù)的研究與實(shí)現(xiàn)[D];山東大學(xué);2015年

10 郭忠俊;基于數(shù)據(jù)挖掘技術(shù)的礦井提升機(jī)故障診斷研究[D];中國(guó)礦業(yè)大學(xué);2015年

本文編號(hào)：940718