本文選題：電力大數(shù)據(jù) + MapReduce��； 參考：《電力系統(tǒng)自動(dòng)化》2014年08期

【摘要】：針對(duì)大數(shù)據(jù)時(shí)代下電網(wǎng)數(shù)據(jù)體量大、類型多、速度快的特點(diǎn),傳統(tǒng)的屬性約簡(jiǎn)方法已經(jīng)無(wú)法完成對(duì)電力大數(shù)據(jù)的預(yù)處理,為此提出一種基于云計(jì)算技術(shù)的電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)方法。該方法剖析了粗糙集中相對(duì)正域理論的特性,利用MapReduce模型設(shè)計(jì)了可以并行計(jì)算正域中元素個(gè)數(shù)的屬性約簡(jiǎn)算法MP_POSRS。最后,在Hadoop平臺(tái)上對(duì)電網(wǎng)故障診斷表和風(fēng)電實(shí)測(cè)數(shù)據(jù)進(jìn)行屬性約簡(jiǎn),實(shí)驗(yàn)結(jié)果表明,該方法有效可行,并具有較好的加速比和可擴(kuò)展性,適用于電力大數(shù)據(jù)預(yù)處理屬性約簡(jiǎn)。
[Abstract]:According to the grid data volume under the era of big data, multi type, high speed, the traditional attribute reduction method has been unable to complete the pretreatment of the power of big data, therefore a large power data based on cloud computing technology of the pretreatment method of attribute reduction is proposed. The method analyzes the relative positive region characteristics of rough set theory using the MapReduce model, design a parallel MP_POSRS. algorithm for attribute reduction in the number of domain elements are calculated. Finally, in the Hadoop platform for power system fault diagnosis table and wind data measured by attribute reduction, the experimental results show that this method is effective and feasible, and has good speedup and scalability, suitable for large power data preprocessing, attribute reduction.

【作者單位】： 東北電力大學(xué)信息工程學(xué)院;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(51077010,51277023)~~
【分類號(hào)】：TP18;TM769

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 趙冬梅,韓月,高曙;電網(wǎng)故障診斷的決策表約簡(jiǎn)新算法[J];電力系統(tǒng)自動(dòng)化;2004年04期

2 曲朝陽(yáng);朱莉;張士林;;基于Hadoop的廣域測(cè)量系統(tǒng)數(shù)據(jù)處理[J];電力系統(tǒng)自動(dòng)化;2013年04期

3 孫大烈;李建中;;基于MapReduce的Skyline-join查詢算法[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2012年01期

4 姜偉;徐章艷;楊炳儒;;基于數(shù)據(jù)庫(kù)的屬性約簡(jiǎn)模型的快速求核算法[J];計(jì)算機(jī)工程與應(yīng)用;2007年16期

5 姜廣;曹付元;張倚弛;高嘉偉;;基于SQL的粗糙集屬性約簡(jiǎn)方法[J];計(jì)算機(jī)工程;2008年11期

6 胡峰;王國(guó)胤;;屬性序下的快速約簡(jiǎn)算法[J];計(jì)算機(jī)學(xué)報(bào);2007年08期

7 錢進(jìn);苗奪謙;張澤華;;云計(jì)算環(huán)境下知識(shí)約簡(jiǎn)算法[J];計(jì)算機(jī)學(xué)報(bào);2011年12期

8 葛浩;李龍澍;楊傳健;;基于沖突域的高效屬性約簡(jiǎn)算法[J];計(jì)算機(jī)學(xué)報(bào);2012年02期

9 陳昊;楊俊安;莊鎮(zhèn)泉;;變精度粗糙集的屬性核和最小屬性約簡(jiǎn)算法[J];計(jì)算機(jī)學(xué)報(bào);2012年05期

10 王熙照;王婷婷;翟俊海;;基于樣例選取的屬性約簡(jiǎn)算法[J];計(jì)算機(jī)研究與發(fā)展;2012年11期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉韶峰;廖力清;;基于粗糙集理論的饋線自動(dòng)化技術(shù)[J];安徽電力;2010年01期

2 劉韶峰;廖力清;;基于粗糙集理論的饋線自動(dòng)化技術(shù)[J];傳感器世界;2009年06期

3 陳星鶯;張曉花;瞿峰;劉皓明;趙波;;數(shù)據(jù)挖掘在電力系統(tǒng)中的應(yīng)用綜述[J];電力科學(xué)與技術(shù)學(xué)報(bào);2007年03期

4 張志毅;袁榮湘;楊同忠;劉敏忠;;基于粗糙集和小生境遺傳算法的電網(wǎng)故障診斷規(guī)則提取[J];電工技術(shù)學(xué)報(bào);2009年01期

5 孟凡奇;曲朝陽(yáng);劉晶敏;;基于SQL的電網(wǎng)海量數(shù)據(jù)屬性約簡(jiǎn)方法[J];電氣應(yīng)用;2012年13期

6 莫娟,嚴(yán)璋,李華,周孟戈;基于多種智能方法的變壓器故障綜合診斷模型[J];電力系統(tǒng)自動(dòng)化;2005年18期

7 郭創(chuàng)新;朱傳柏;曹一家;吳欣;;電力系統(tǒng)故障診斷的研究現(xiàn)狀與發(fā)展趨勢(shì)[J];電力系統(tǒng)自動(dòng)化;2006年08期

8 吳迎新;劉沛;;基于家族優(yōu)生學(xué)的電力系統(tǒng)故障診斷[J];電力系統(tǒng)自動(dòng)化;2006年16期

9 梅念;石東源;謝俊;段獻(xiàn)忠;;基于編碼理論的電網(wǎng)故障診斷及監(jiān)測(cè)信號(hào)校正[J];電力系統(tǒng)自動(dòng)化;2007年12期

10 李強(qiáng);徐建政;;基于主觀貝葉斯方法的電力系統(tǒng)故障診斷[J];電力系統(tǒng)自動(dòng)化;2007年15期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王麗婕;廖曉鐘;高爽;冬雷;;并網(wǎng)型大型風(fēng)電場(chǎng)風(fēng)力發(fā)電功率-時(shí)間序列的混沌屬性分析[J];北京理工大學(xué)學(xué)報(bào);2007年12期

2 王景燕;;基于云計(jì)算的電力調(diào)度信息化研究[J];電工技術(shù);2011年12期

3 廖志偉,孫雅明;基于數(shù)據(jù)挖掘模型的高壓輸電線系統(tǒng)故障診斷[J];電力系統(tǒng)自動(dòng)化;2001年15期

4 孫雅明,廖志偉;基于不同RS與NN組合的數(shù)據(jù)挖掘配電網(wǎng)故障診斷模型[J];電力系統(tǒng)自動(dòng)化;2003年06期

5 羅建裕,王小英,魯庭瑞,劉華偉,徐春雷,謝小榮,肖晉宇,李建,吳京濤,王立鼎,胡炯,張濤;基于廣域測(cè)量技術(shù)的電網(wǎng)實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè)系統(tǒng)應(yīng)用[J];電力系統(tǒng)自動(dòng)化;2003年24期

6 趙俊華;文福拴;薛禹勝;林振智;;云計(jì)算:構(gòu)建未來(lái)電力系統(tǒng)的核心計(jì)算平臺(tái)[J];電力系統(tǒng)自動(dòng)化;2010年15期

7 王德文;宋亞奇;朱永利;;基于云計(jì)算的智能電網(wǎng)信息平臺(tái)[J];電力系統(tǒng)自動(dòng)化;2010年22期

8 牛東曉;王建軍;李莉;李存斌;;基于粗糙集和決策樹的自適應(yīng)神經(jīng)網(wǎng)絡(luò)短期負(fù)荷預(yù)測(cè)方法[J];電力自動(dòng)化設(shè)備;2009年10期

9 沐連順;崔立忠;安寧;;電力系統(tǒng)云計(jì)算中心的研究與實(shí)踐[J];電網(wǎng)技術(shù);2011年06期

10 葉東毅;Jelonek屬性約簡(jiǎn)算法的一個(gè)改進(jìn)[J];電子學(xué)報(bào);2000年12期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鐘新輝,費(fèi)逸偉,李華強(qiáng),姜旭峰;粗糙集和證據(jù)理論在磨粒識(shí)別中的應(yīng)用[J];潤(rùn)滑與密封;2005年05期

2 馮驚雷;張喜斌;張恒喜;;基于粗糙集理論的飛機(jī)燃油系統(tǒng)故障分類[J];裝備指揮技術(shù)學(xué)院學(xué)報(bào);2006年01期

3 張贏;李琛;;基于粗糙Multilayer Perceptron網(wǎng)絡(luò)的規(guī)則提取及生成方法研究[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年02期

4 衛(wèi)寒梅;鄭應(yīng)文;;基于粗糙集和D-S證據(jù)理論的交通擁堵預(yù)警[J];福州大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年01期

5 申錦標(biāo);鄧春燕;呂躍進(jìn);;一種基于差別矩陣的新的屬性約簡(jiǎn)方法[J];重慶工學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年09期

6 王國(guó)才;張聰;;一種基于粗糙集的特征加權(quán)樸素貝葉斯分類器[J];重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年07期

7 謝丹;劉幺和;;基于隱式性能指標(biāo)的機(jī)械振動(dòng)優(yōu)化設(shè)計(jì)研究[J];計(jì)算機(jī)與數(shù)字工程;2010年09期

8 何明;馬國(guó)亮;孫立峰;;蟻群算法融合粗糙集理論的屬性約簡(jiǎn)算法[J];北京工業(yè)大學(xué)學(xué)報(bào);2010年09期

9 李利娟;肖贊;;基于融合面積譜和粗糙集理論的旋轉(zhuǎn)機(jī)械故障診斷[J];科技信息;2011年08期

10 朱興統(tǒng);許波;;一種基于粗糙集理論的XML數(shù)據(jù)挖掘模型[J];科學(xué)技術(shù)與工程;2011年20期

相關(guān)會(huì)議論文 前10條

1 馬玉良;趙光宙;;粗糙集理論及其在工程中的應(yīng)用研究[A];第11屆全國(guó)電氣自動(dòng)化電控系統(tǒng)學(xué)術(shù)年會(huì)論文集[C];2002年

2 劉碧森;姚宇;;粗SVM理論及其在稅收預(yù)測(cè)中的應(yīng)用[A];第三屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2005年

3 楊斌;閆樺;;基于粗糙集理論的農(nóng)業(yè)水價(jià)承受能力研究[A];第十一屆中國(guó)管理科學(xué)學(xué)術(shù)年會(huì)論文集[C];2009年

4 朱江華;潘豐;;基于蟻群算法的粗糙集知識(shí)約簡(jiǎn)[A];2005年全國(guó)自動(dòng)化新技術(shù)學(xué)術(shù)交流會(huì)論文集[C];2005年

5 盛立;劉希玉;高明;;基于粗糙集理論的數(shù)據(jù)挖掘算法研究[A];山東省計(jì)算機(jī)學(xué)會(huì)2005年信息技術(shù)與信息化研討會(huì)論文集（二）[C];2005年

6 朱江華;潘豐;;基于蟻群算法的粗糙集知識(shí)約簡(jiǎn)[A];2005全國(guó)自動(dòng)化新技術(shù)學(xué)術(shù)交流會(huì)論文集（二）[C];2005年

7 田庫(kù);王俊松;劉玉敏;劉玉亮;李建國(guó);;基于粗糙集理論的神經(jīng)網(wǎng)絡(luò)優(yōu)化設(shè)計(jì)及網(wǎng)絡(luò)擁賽控制[A];第25屆中國(guó)控制會(huì)議論文集（中冊(cè)）[C];2006年

8 王剛;張志禹;;數(shù)據(jù)融合中粗糙集的應(yīng)用技術(shù)研究[A];2006中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

9 張輝;錢宗才;屈景輝;劉敬華;;基于粗糙集理論的知識(shí)獲取研究及應(yīng)用[A];全面建設(shè)小康社會(huì)：中國(guó)科技工作者的歷史責(zé)任——中國(guó)科協(xié)2003年學(xué)術(shù)年會(huì)論文集（上）[C];2003年

10 張鵬;崔文利;;基于粗糙集與BP網(wǎng)絡(luò)的民航飛機(jī)故障診斷研究[A];2007'儀表，，自動(dòng)化及先進(jìn)集成技術(shù)大會(huì)論文集（一）[C];2007年

相關(guān)重要報(bào)紙文章 前4條

1 劉琦;MapReduce:亞馬遜云服務(wù)再添新援[N];中國(guó)計(jì)算機(jī)報(bào);2009年

2 《網(wǎng)絡(luò)世界》記者 周源;Platform MapReduce：專注企業(yè)級(jí)用戶[N];網(wǎng)絡(luò)世界;2011年

3 本報(bào)記者 李智 通訊員 梁憲生;零的突破[N];山西經(jīng)濟(jì)日?qǐng)?bào);2001年

4 王瑋 蔡蓮紅;數(shù)據(jù)挖掘走入語(yǔ)音處理[N];計(jì)算機(jī)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 趙晨;過(guò)程控制中的數(shù)據(jù)挖掘技術(shù)研究及其智能控制策略探討[D];浙江大學(xué);2005年

2 張勇;粗糙集—神經(jīng)網(wǎng)絡(luò)智能系統(tǒng)在浮選過(guò)程中的應(yīng)用研究[D];大連理工大學(xué);2006年

3 劉永闊;核動(dòng)力裝置故障診斷智能技術(shù)的研究[D];哈爾濱工程大學(xué);2006年

4 邱道宏;括蒼山高速公路隧道巖爆非線性預(yù)測(cè)研究[D];吉林大學(xué);2008年

5 吳正江;L模糊粗糙集研究[D];西南交通大學(xué);2009年

6 丁澤柳;一體化信息基礎(chǔ)設(shè)施中面向MapReduce的遞歸層次結(jié)構(gòu)數(shù)據(jù)中心網(wǎng)絡(luò)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

7 許琦;粗糙集理論在旋轉(zhuǎn)機(jī)械故障診斷技術(shù)上應(yīng)用的研究[D];南京工業(yè)大學(xué);2003年

8 陳萬(wàn)里;基于商空間理論和粗糙集理論的粒計(jì)算模型研究[D];安徽大學(xué);2005年

9 郝成;城市軌道交通項(xiàng)目效益分析與應(yīng)用研究[D];北京交通大學(xué);2008年

10 高峗;基于粗糙集的故障診斷和容錯(cuò)控制理論和方法研究[D];西安科技大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 張青枝;基于粗糙集的專家系統(tǒng)研究[D];武漢理工大學(xué);2003年

2 張騰飛;基于粗糙集和RBF網(wǎng)絡(luò)的動(dòng)態(tài)建模方法研究[D];上海海事大學(xué);2004年

3 陳鑫影;基于粗糙集理論的約簡(jiǎn)算法研究[D];吉林大學(xué);2005年

4 吳習(xí)宇;粗糙集理論在農(nóng)業(yè)決策支持系統(tǒng)知識(shí)發(fā)現(xiàn)中的應(yīng)用[D];西南農(nóng)業(yè)大學(xué);2005年

5 黃文濤;在數(shù)據(jù)挖掘中概念格的理論研究[D];蘭州理工大學(xué);2007年

6 代文征;基于粗糙集的不完備信息系統(tǒng)的屬性約簡(jiǎn)研究[D];西北師范大學(xué);2006年

7 高朋;基于Multi-agent的虛擬企業(yè)集成關(guān)鍵問(wèn)題研究[D];安徽農(nóng)業(yè)大學(xué);2006年

8 姜林;基于Rough Set模型的上市公司資產(chǎn)重組績(jī)效研究[D];成都理工大學(xué);2008年

9 劉芳;粗糙集理論在啟動(dòng)子識(shí)別中的應(yīng)用研究[D];中南大學(xué);2008年

10 梁美蓮;不完備信息系統(tǒng)中數(shù)據(jù)挖掘的粗糙集方法[D];廣西大學(xué);2005年

本文編號(hào)：1737745