本文關(guān)鍵詞：云平臺(tái)下輸變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化與并行處理　出處：《中國(guó)電機(jī)工程學(xué)報(bào)》2015年02期 　論文類型：期刊論文

  更多相關(guān)文章： 大數(shù)據(jù) 輸變電設(shè)備 狀態(tài)監(jiān)測(cè) 一致哈希 云計(jì)算

【摘要】：結(jié)合大數(shù)據(jù)技術(shù)提升輸變電設(shè)備狀態(tài)評(píng)價(jià)的廣度和深度,并解決實(shí)際應(yīng)用問(wèn)題成為目前電力行業(yè)新的挑戰(zhàn)。針對(duì)輸變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)可靠存儲(chǔ)和快速訪問(wèn)兩方面大數(shù)據(jù)處理核心問(wèn)題,基于開源的Hadoop云計(jì)算實(shí)驗(yàn)平臺(tái)進(jìn)行了數(shù)據(jù)分布策略、數(shù)據(jù)塊尺寸調(diào)優(yōu)、集群網(wǎng)絡(luò)拓?fù)湟?guī)劃三方面的存儲(chǔ)優(yōu)化研究和大數(shù)據(jù)并行分析的研究。提出計(jì)及數(shù)據(jù)相關(guān)性的多副本一致哈希數(shù)據(jù)存儲(chǔ)算法,能將具有相關(guān)性的數(shù)據(jù)在集群中聚集,提升數(shù)據(jù)處理執(zhí)行效率�；跀�(shù)據(jù)相關(guān)性多副本一致哈希數(shù)據(jù)分布,應(yīng)用Map Reduce并行編程模型設(shè)計(jì)實(shí)現(xiàn)了多數(shù)據(jù)源并行連接查詢算法和多通道數(shù)據(jù)融合并行特征提取算法。將兩種算法在實(shí)驗(yàn)室搭建的集群上測(cè)試運(yùn)行,結(jié)果表明,多數(shù)據(jù)源并行連接查詢的執(zhí)行時(shí)間僅為標(biāo)準(zhǔn)Hadoop方案的32%,多通道數(shù)據(jù)融合并行特征提取算法執(zhí)行時(shí)間僅為標(biāo)準(zhǔn)Hadoop方案的35%。
[Abstract]:Combined with big data technology to enhance the breadth and depth of the state evaluation of transmission and transformation equipment. Solving the practical application problem has become a new challenge in the power industry at present. Big data deals with the core problems in terms of reliable storage and quick access to two aspects: big data reliable storage and rapid access to power transmission and transformation equipment status monitoring. Based on the open source Hadoop cloud computing experimental platform, the data distribution strategy is carried out, and the size of the data block is optimized. Research on storage optimization in three aspects of cluster network topology planning and research on big data parallel analysis. A multi-replica consistent hash data storage algorithm considering data correlation is proposed. The data with correlation can be gathered in the cluster to improve the efficiency of data processing. Multiple replicas based on data correlation consistent hash data distribution. Application of Map. The parallel programming model of Reduce designs and implements the parallel join query algorithm of multiple data sources and the parallel feature extraction algorithm of multi-channel data fusion. The two algorithms are tested and run on the cluster built in the laboratory. The results show that the execution time of parallel join query of multiple data sources is only 32% of the standard Hadoop scheme. The execution time of parallel feature extraction algorithm for multichannel data fusion is only 35% of the standard Hadoop scheme.
【作者單位】： 華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61074078) 中央高�；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(13MS88,13XS30) 河北省自然科學(xué)基金項(xiàng)目(F2014502069)~~
【分類號(hào)】：TM73
【正文快照】： Science Foundation of China(F2014502069).行了數(shù)據(jù)分布策略、數(shù)據(jù)塊尺寸調(diào)優(yōu)、集群網(wǎng)絡(luò)拓?fù)湟?guī)劃三方面的存儲(chǔ)優(yōu)化研究和大數(shù)據(jù)并行分析的研究。提出計(jì)及數(shù)據(jù)相關(guān)性的多副本一致哈希數(shù)據(jù)存儲(chǔ)算法,能將具有相關(guān)性的數(shù)據(jù)在集群中聚集,提升數(shù)據(jù)處理執(zhí)行效率�；跀�(shù)據(jù)相關(guān)性多

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王德文;宋亞奇;朱永利;;基于云計(jì)算的智能電網(wǎng)信息平臺(tái)[J];電力系統(tǒng)自動(dòng)化;2010年22期

2 沐連順;崔立忠;安寧;;電力系統(tǒng)云計(jì)算中心的研究與實(shí)踐[J];電網(wǎng)技術(shù);2011年06期

3 朱征;顧中堅(jiān);吳金龍;桂勝;;云計(jì)算在電力系統(tǒng)數(shù)據(jù)災(zāi)備業(yè)務(wù)中的應(yīng)用研究[J];電網(wǎng)技術(shù);2012年09期

4 曲朝陽(yáng);朱莉;張士林;;基于Hadoop的廣域測(cè)量系統(tǒng)數(shù)據(jù)處理[J];電力系統(tǒng)自動(dòng)化;2013年04期

5 宋亞奇;周國(guó)亮;朱永利;;智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J];電網(wǎng)技術(shù);2013年04期

6 宋亞奇;劉樹仁;朱永利;王德文;李莉;;電力設(shè)備狀態(tài)高速采樣數(shù)據(jù)的云存儲(chǔ)技術(shù)研究[J];電力自動(dòng)化設(shè)備;2013年10期

7 張逸;楊洪耕;葉茂清;;基于分布式文件系統(tǒng)的海量電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)管理方案[J];電力系統(tǒng)自動(dòng)化;2014年02期

8 曲廣龍;楊洪耕;張逸;;采用Map-Reduce模型的海量電能質(zhì)量數(shù)據(jù)交換格式文件快速解析方案[J];電網(wǎng)技術(shù);2014年06期

9 郭力爭(zhēng);趙曙光;姜長(zhǎng)遠(yuǎn);;云計(jì)算環(huán)境下基于關(guān)聯(lián)量的數(shù)據(jù)部署與任務(wù)調(diào)度[J];計(jì)算機(jī)工程與科學(xué);2013年08期

10 趙彥榮;王偉平;孟丹;張書彬;李均;;基于Hadoop的高效連接查詢處理算法CHMJ[J];軟件學(xué)報(bào);2012年08期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王燕;;電力系統(tǒng)信息化架構(gòu)分層研究[J];北京印刷學(xué)院學(xué)報(bào);2011年06期

2 王景燕;;基于云計(jì)算的電力調(diào)度信息化研究[J];電工技術(shù);2011年12期

3 王德文;;基于云計(jì)算的電力數(shù)據(jù)中心基礎(chǔ)架構(gòu)及其關(guān)鍵技術(shù)[J];電力系統(tǒng)自動(dòng)化;2012年11期

4 丁杰;奚后瑋;韓海韻;周愛華;;面向智能電網(wǎng)的數(shù)據(jù)密集型云存儲(chǔ)策略[J];電力系統(tǒng)自動(dòng)化;2012年12期

5 劉漢宇;牟龍華;;微電網(wǎng)CPS體系架構(gòu)及其物理端研究[J];電力自動(dòng)化設(shè)備;2012年05期

6 梁立松;徐家澍;秦學(xué)東;任宇新;樊俊義;田崇軍;;內(nèi)蒙古電力公司云計(jì)算技術(shù)研究與實(shí)踐[J];電力信息化;2012年01期

7 周國(guó)亮;王桂蘭;葛佳;劉治安;孫玉寶;;基于云計(jì)算的用戶側(cè)短期用電負(fù)荷預(yù)測(cè)技術(shù)[J];電力信息化;2012年03期

8 黨倩;崔亮;張華峰;;基于MapReduce模型的智能電網(wǎng)數(shù)據(jù)平臺(tái)研究[J];電力信息化;2012年05期

9 朱征;顧中堅(jiān);吳金龍;桂勝;;云計(jì)算在電力系統(tǒng)數(shù)據(jù)災(zāi)備業(yè)務(wù)中的應(yīng)用研究[J];電網(wǎng)技術(shù);2012年09期

10 劉萌;褚曉東;張文;馮宗英;;負(fù)荷分布式控制的云計(jì)算平臺(tái)構(gòu)架設(shè)計(jì)[J];電網(wǎng)技術(shù);2012年08期

相關(guān)會(huì)議論文 前10條

1 羅志明;丁輝;張大華;;云計(jì)算在電力企業(yè)經(jīng)營(yíng)管理中的應(yīng)用研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

2 董駿;胡少英;鄭思源;;云計(jì)算技術(shù)在電網(wǎng)智能化中的應(yīng)用展望[A];2013年中國(guó)電機(jī)工程學(xué)會(huì)年會(huì)論文集[C];2013年

3 劉海光;潘毅;李立新;;基于云計(jì)算的智能電網(wǎng)經(jīng)濟(jì)調(diào)度研究[A];2013年中國(guó)電機(jī)工程學(xué)會(huì)年會(huì)論文集[C];2013年

4 桂勝;楊寧;李凡;;基于云計(jì)算的電力企業(yè)信息系統(tǒng)硬件資源池的研究與建設(shè)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

5 黃蓉;王奔;;面向智能電網(wǎng)的云計(jì)算信息中心的應(yīng)用研究[A];2012電力行業(yè)信息化年會(huì)論文集[C];2012年

6 桂勝;楊寧;楊永艷;;電力企業(yè)云資源管理系統(tǒng)的研究與應(yīng)用[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

7 許高陽(yáng);宣筱青;司慶華;顏云松;;云計(jì)算智能電表在電力系統(tǒng)的應(yīng)用[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

8 桂勝;楊寧;李凡;;基于云計(jì)算的電力企業(yè)信息系統(tǒng)硬件資源池的研究與建設(shè)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

9 屈志堅(jiān);郭亮;劉明光;陳秋琳;蔣俊俊;;智能配電網(wǎng)量測(cè)信息變斷面柔性壓縮新算法[A];2014年江西省電機(jī)工程學(xué)會(huì)年會(huì)論文集[C];2014年

10 屈志堅(jiān);郭亮;陳秋琳;蔣俊俊;;Hadoop云構(gòu)架的智能調(diào)度無(wú)損集群壓縮技術(shù)[A];2014年江西省電機(jī)工程學(xué)會(huì)年會(huì)論文集[C];2014年

相關(guān)博士學(xué)位論文 前5條

1 張浩;配電網(wǎng)協(xié)同保護(hù)與自愈控制研究[D];北京交通大學(xué);2012年

2 江涵;大規(guī)模電力系統(tǒng)暫態(tài)穩(wěn)定并行計(jì)算研究[D];浙江大學(xué);2012年

3 王磊;電網(wǎng)故障診斷方法及其系統(tǒng)架構(gòu)研究[D];山東大學(xué);2013年

4 畢艷冰;面向智能電網(wǎng)的通信中間件的關(guān)鍵技術(shù)研究[D];山東大學(xué);2013年

5 馬莉;云計(jì)算環(huán)境下煤礦應(yīng)急管理關(guān)鍵技術(shù)研究[D];西安科技大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 郭雷風(fēng);農(nóng)業(yè)科研云原型系統(tǒng)設(shè)計(jì)與應(yīng)用理論研究[D];中國(guó)農(nóng)業(yè)科學(xué)院;2011年

2 張俊;智能電網(wǎng)EMS數(shù)據(jù)平臺(tái)的研究[D];華北電力大學(xué);2011年

3 羅曙華;基于OPNET的服務(wù)器集群負(fù)載均衡技術(shù)研究[D];武漢理工大學(xué);2012年

4 戴景峰;基于Linux的嵌入式諧波檢測(cè)裝置的研究與設(shè)計(jì)[D];青島大學(xué);2012年

5 呂素;火電機(jī)組節(jié)能發(fā)電調(diào)度優(yōu)化方法研究[D];鄭州大學(xué);2012年

6 戴中華;云計(jì)算應(yīng)用對(duì)M公司IT運(yùn)維服務(wù)管理影響的診斷分析[D];華南理工大學(xué);2012年

7 張修琪;基于Linux多核進(jìn)程調(diào)度的研究[D];電子科技大學(xué);2012年

8 葉敏;虛擬化技術(shù)在高職院校的應(yīng)用[D];浙江工業(yè)大學(xué);2012年

9 徐婷婷;基于云計(jì)算的電力系統(tǒng)潮流分析[D];合肥工業(yè)大學(xué);2012年

10 孫惠;基于Hadoop框架的大數(shù)據(jù)集連接優(yōu)化算法[D];南京郵電大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王成山;李鵬;;分布式發(fā)電系統(tǒng)仿真理論與方法[J];電力科學(xué)與技術(shù)學(xué)報(bào);2008年01期

2 朱永利;翟學(xué)明;姜小磊;;絕緣子泄漏電流的自適應(yīng)SPIHT數(shù)據(jù)壓縮[J];電工技術(shù)學(xué)報(bào);2011年12期

3 王景燕;;基于云計(jì)算的電力調(diào)度信息化研究[J];電工技術(shù);2011年12期

4 鄭偉;周喜超;王維洲;鄭晶晶;;一種高性能的多級(jí)異構(gòu)電能質(zhì)量數(shù)據(jù)庫(kù)同步方法[J];電力科學(xué)與工程;2010年10期

5 周暉;鈕文潔;王毅;李濤;楊紅;;從繳費(fèi)行為分析電力客戶信用度[J];電力需求側(cè)管理;2006年06期

6 薛禹勝;EEAC與直接法的機(jī)理比較(一)——受擾程度函數(shù)[J];電力系統(tǒng)自動(dòng)化;2001年11期

7 程新功,厲吉文,曹立霞,劉雪連;電力系統(tǒng)最優(yōu)潮流的分布式并行算法[J];電力系統(tǒng)自動(dòng)化;2003年24期

8 羅建裕,王小英,魯庭瑞,劉華偉,徐春雷,謝小榮,肖晉宇,李建,吳京濤,王立鼎,胡炯,張濤;基于廣域測(cè)量技術(shù)的電網(wǎng)實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè)系統(tǒng)應(yīng)用[J];電力系統(tǒng)自動(dòng)化;2003年24期

9 王成山,張家安;暫態(tài)穩(wěn)定分布式仿真計(jì)算的改進(jìn)算法[J];電力系統(tǒng)自動(dòng)化;2004年14期

10 陳海焱;陳金富;段獻(xiàn)忠;;含分布式電源的配電網(wǎng)潮流計(jì)算[J];電力系統(tǒng)自動(dòng)化;2006年01期

相關(guān)博士學(xué)位論文 前1條

1 趙晶晶;含分布式發(fā)電的配電網(wǎng)優(yōu)化運(yùn)行研究[D];重慶大學(xué);2009年

相關(guān)碩士學(xué)位論文 前2條

1 劉軍;基于云計(jì)算的網(wǎng)絡(luò)數(shù)據(jù)容災(zāi)關(guān)鍵技術(shù)的研究[D];華中師范大學(xué);2011年

2 王德軍;容災(zāi)技術(shù)研究[D];武漢大學(xué);2004年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王文權(quán);;淺論輸變電設(shè)備接頭發(fā)熱缺陷的預(yù)防與處理[J];科學(xué)咨詢(決策管理);2008年11期

2 韓偉;;輸變電設(shè)備:發(fā)展仍將持續(xù),一些問(wèn)題亟需注意[J];電力設(shè)備;2008年11期

3 白愷;羅日成;;輸變電設(shè)備風(fēng)險(xiǎn)評(píng)估[J];中國(guó)電力;2009年10期

4 蔡心一;;2009年輸變電年會(huì)在常州市召開[J];電工電氣;2009年12期

5 張惟中;;輸變電設(shè)備質(zhì)量故障分析及對(duì)策[J];電力安全技術(shù);2010年01期

6 ;江蘇輸變電裝備戰(zhàn)略聯(lián)盟成立[J];硅谷;2011年04期

7 朱海濤;李珍;王鑫;呼鵬偉;李琦;;紅外圖譜庫(kù)在750kV輸變電設(shè)備管理中的應(yīng)用[J];甘肅科技縱橫;2012年03期

8 方志強(qiáng);;基于物聯(lián)網(wǎng)的輸變電設(shè)備管理的研究[J];科技創(chuàng)業(yè)家;2012年20期

9 郭有根;陳煒;張晉峰;;輸變電設(shè)備狀態(tài)管理標(biāo)準(zhǔn)化建設(shè)[J];科學(xué)之友;2012年17期

10 劉仁祥;;輸變電設(shè)備狀態(tài)智能化監(jiān)測(cè)[J];農(nóng)村電氣化;2013年04期

相關(guān)會(huì)議論文 前10條

1 范玉;;輸變電設(shè)備缺陷的管理[A];華東六省一市電機(jī)（電力）工程學(xué)會(huì)輸配電技術(shù)研討會(huì)2005年年會(huì)論文集[C];2005年

2 王君安;廖承民;;談新輸變電設(shè)備沖擊送電調(diào)度程序的制定[A];山東電機(jī)工程學(xué)會(huì)第四屆供電專業(yè)學(xué)術(shù)交流會(huì)論文集[C];2007年

3 王友富;;輸變電設(shè)備狀態(tài)評(píng)價(jià)辦法及應(yīng)用分析[A];第十五屆華東六省一市電機(jī)工程（電力）學(xué)會(huì)輸配電技術(shù)研討會(huì)論文集[C];2007年

4 陳永琴;王致;;基于南網(wǎng)事故調(diào)規(guī)的輸變電設(shè)備風(fēng)險(xiǎn)計(jì)算方法研究[A];2012年云南電力技術(shù)論壇論文集（文摘部分）[C];2012年

5 徐維;;淺談狀態(tài)檢修模式下的輸變電設(shè)備管理[A];2010年云南電力技術(shù)論壇論文集（文摘部分）[C];2010年

6 于檸源;;500kV輸變電設(shè)備常見缺陷分析[A];山東電機(jī)工程學(xué)會(huì)2011年學(xué)術(shù)年會(huì)論文集[C];2011年

7 程厚高;洪波;;淺談提高輸變電設(shè)備可靠性指標(biāo)的措施[A];第十五屆華東六省一市電機(jī)工程（電力）學(xué)會(huì)輸配電技術(shù)研討會(huì)論文集[C];2007年

8 趙薇;楊莉;沈映泉;;輸變電設(shè)備物聯(lián)網(wǎng)狀態(tài)監(jiān)測(cè)技術(shù)架構(gòu)研究[A];2012年云南電力技術(shù)論壇論文集（文摘部分）[C];2012年

9 金海;曾東;;基于生產(chǎn)管理信息系統(tǒng)的輸變電設(shè)備紅外圖譜庫(kù)建設(shè)[A];第七屆電力工業(yè)節(jié)能減排學(xué)術(shù)研討會(huì)論文集[C];2012年

10 金海;曾東;;基于生產(chǎn)管理信息系統(tǒng)的輸變電設(shè)備紅外圖譜庫(kù)建設(shè)[A];浙江省電力學(xué)會(huì)2012年年會(huì)優(yōu)秀論文集[C];2012年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 吳杰;企業(yè)共話輸變電設(shè)備產(chǎn)業(yè)發(fā)展[N];國(guó)家電網(wǎng)報(bào);2008年

2 姜超;北京公司輸變電設(shè)備狀態(tài)監(jiān)測(cè)系統(tǒng)初步建成[N];國(guó)家電網(wǎng)報(bào);2011年

3 本報(bào)記者 李瞧;頹勢(shì)依舊 輸變電企業(yè)遭遇雙重?cái)D壓[N];中國(guó)工業(yè)報(bào);2011年

4 通訊員 陳睿　劉玉峰 魏智蘭;重慶500千伏輸變電集控中心投運(yùn)[N];中國(guó)電力報(bào);2011年

5 通訊員 耿波;750千伏輸變電示范工程滿負(fù)荷試驗(yàn)取得成功[N];中國(guó)電力報(bào);2006年

6 ;專題研究衡變南方輸變電產(chǎn)業(yè)園建設(shè)[N];衡陽(yáng)日?qǐng)?bào);2008年

7 尚彥辰;寶雞高新區(qū)輸變電設(shè)備產(chǎn)業(yè)集群優(yōu)勢(shì)凸顯[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2008年

8 陸華　記者 丁秀玉;江蘇輸變電裝備戰(zhàn)略聯(lián)盟成立[N];科技日?qǐng)?bào);2011年

9 史慧敏;寧夏公司強(qiáng)化設(shè)備管控與運(yùn)行管理[N];國(guó)家電網(wǎng)報(bào);2011年

10 新華社記者 毛海峰　本報(bào)記者 胡興平;輸變電制造“第二集團(tuán)”崛起[N];國(guó)家電網(wǎng)報(bào);2009年

相關(guān)博士學(xué)位論文 前2條

1 朱承治;輸變電設(shè)備優(yōu)化檢修（OM）若干關(guān)鍵技術(shù)研究[D];浙江大學(xué);2008年

2 何杰;輸變電設(shè)備物聯(lián)網(wǎng)關(guān)鍵技術(shù)研究[D];湖南大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 楊漾;輸變電設(shè)備狀態(tài)監(jiān)測(cè)系統(tǒng)的信息建模與安全策略研究[D];湖南大學(xué);2012年

2 喬曉玲;鄂爾多斯電業(yè)局輸變電運(yùn)檢系統(tǒng)應(yīng)用項(xiàng)目研究[D];華北電力大學(xué);2014年

3 劉宏偉;德州電網(wǎng)輸變電設(shè)備移動(dòng)管理系統(tǒng)的研究[D];華北電力大學(xué)（河北）;2009年

4 牛冠清;安全效能成本管理在輸變電設(shè)備檢修中的應(yīng)用研究[D];華北電力大學(xué);2013年

5 秦領(lǐng);基于在線監(jiān)測(cè)的輸變電設(shè)備故障診斷方法研究與應(yīng)用[D];華北電力大學(xué);2014年

6 何硯;輸變電設(shè)備狀態(tài)檢修績(jī)效評(píng)價(jià)體系的研究[D];華北電力大學(xué)（北京）;2011年

7 黃經(jīng)宇;輸變電設(shè)備的全景信息建模與應(yīng)用[D];湖南大學(xué);2013年

8 張軍永;輸變電設(shè)備物聯(lián)網(wǎng)的設(shè)備編碼標(biāo)識(shí)研究[D];湖南大學(xué);2013年

9 黃敏;陜西輸變電設(shè)備制造業(yè)集群發(fā)展模式研究[D];西安理工大學(xué);2007年

10 桑綺;輸變電設(shè)備電場(chǎng)、磁場(chǎng)分布和距離防護(hù)研究[D];浙江大學(xué);2006年

，

本文編號(hào)：1436193