本文關(guān)鍵詞：容錯存儲的電力系統(tǒng)監(jiān)測數(shù)據(jù)查詢優(yōu)化技術(shù)　出處：《電網(wǎng)技術(shù)》2015年11期 　論文類型：期刊論文

  更多相關(guān)文章： 電力監(jiān)測 云計算 容錯 查詢優(yōu)化

【摘要】：針對電力系統(tǒng)監(jiān)測中大量時間序列數(shù)據(jù)存儲和高效查詢的問題,利用云計算框架和HQL(Hive SQL)查詢引擎,提出一種容錯存儲的分級分區(qū)查詢優(yōu)化方法。通過副本機(jī)制設(shè)計電力監(jiān)測數(shù)據(jù)容錯存儲模式,綜合運用了HQL查詢計劃生成、向Map/Reduce的轉(zhuǎn)化和分區(qū)剪枝處理,進(jìn)行了加載和查詢優(yōu)化測試。結(jié)果表明,當(dāng)加載的監(jiān)測數(shù)據(jù)記錄超過200萬條、查詢數(shù)據(jù)記錄超過380萬條后,HQL的處理性能將遠(yuǎn)超SQL,數(shù)據(jù)量越大,優(yōu)勢越明顯。分級分區(qū)查詢測試結(jié)果表明,在查詢耗時相近的條件下,分區(qū)查詢的數(shù)據(jù)量可以擴(kuò)大2個數(shù)量級,且二級分區(qū)比一級分區(qū)更高效,驗證了查詢優(yōu)化技術(shù)可有效提高電力系統(tǒng)監(jiān)測信息查詢處理的效率,為大量電力監(jiān)測數(shù)據(jù)處理提供了一種查詢優(yōu)化方法。
[Abstract]:In view of the problem of large time series data storage and efficient query in power system monitoring, a cloud computing framework and HQL (Hive SQL) query engine are proposed, and a fault-tolerant storage hierarchical partitioning query optimization method is proposed. The fault-tolerant storage mode of power monitoring data is designed by replica mechanism. HQL query plan generation, transformation to Map/Reduce and partition pruning are applied synthetically. Loading and query optimization tests are carried out. The results show that when the recorded data of the load is more than 2 million, and the query data is more than 3 million 800 thousand, the processing performance of HQL will exceed SQL. The larger the amount of data is, the more obvious the advantage is. Classified query test results show that the time at a similar query, data partition query can be expanded to 2 orders of magnitude, and the two stage partition than a partition is more efficient and verify optimization can effectively improve the power system monitoring information query processing efficiency of query technology, provides a method for query optimization a large number of power monitoring data processing.
【作者單位】： 華東交通大學(xué)電氣工程學(xué)院;
【基金】：國家自然科學(xué)基金項目(51267005)~~
【分類號】：TM769;TP311.13
【正文快照】： 0引言目前的電力自動化監(jiān)控系統(tǒng)多采用關(guān)系庫支撐數(shù)據(jù)平臺[1-2],但越來越多的數(shù)據(jù)傳感設(shè)備、移動物聯(lián)設(shè)備、新能源與電動儲能設(shè)備等的聯(lián)網(wǎng)接入,使現(xiàn)代電網(wǎng)運行和監(jiān)測的數(shù)據(jù)量呈指數(shù)倍增[3-6]。關(guān)系數(shù)據(jù)庫主要依賴更快速、更昂貴的大型服務(wù)器向上縱向擴(kuò)展,由于數(shù)據(jù)增長速度遠(yuǎn)大

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 趙俊華;文福拴;薛禹勝;林振智;;云計算:構(gòu)建未來電力系統(tǒng)的核心計算平臺[J];電力系統(tǒng)自動化;2010年15期

2 王小海;齊軍;侯佑華;萬江;張紅光;景志斌;;內(nèi)蒙古電網(wǎng)大規(guī)模風(fēng)電并網(wǎng)運行分析和發(fā)展思路[J];電力系統(tǒng)自動化;2011年22期

3 丁杰;奚后瑋;韓海韻;周愛華;;面向智能電網(wǎng)的數(shù)據(jù)密集型云存儲策略[J];電力系統(tǒng)自動化;2012年12期

4 張文亮;劉壯志;王明俊;楊旭升;;智能電網(wǎng)的研究進(jìn)展及發(fā)展趨勢[J];電網(wǎng)技術(shù);2009年13期

5 沐連順;崔立忠;安寧;;電力系統(tǒng)云計算中心的研究與實踐[J];電網(wǎng)技術(shù);2011年06期

6 王廣輝;李保衛(wèi);胡澤春;宋永華;;未來智能電網(wǎng)控制中心面臨的挑戰(zhàn)和形態(tài)演變[J];電網(wǎng)技術(shù);2011年08期

7 朱征;顧中堅;吳金龍;桂勝;;云計算在電力系統(tǒng)數(shù)據(jù)災(zāi)備業(yè)務(wù)中的應(yīng)用研究[J];電網(wǎng)技術(shù);2012年09期

8 閆湖;周薇;李立新;戴嬌;韓冀中;狄方春;;基于分布式鍵值對存儲技術(shù)的EMS數(shù)據(jù)庫平臺[J];電網(wǎng)技術(shù);2012年09期

9 劉萌;褚曉東;張文;馮宗英;;負(fù)荷分布式控制的云計算平臺構(gòu)架設(shè)計[J];電網(wǎng)技術(shù);2012年08期

10 曲朝陽;朱莉;張士林;;基于Hadoop的廣域測量系統(tǒng)數(shù)據(jù)處理[J];電力系統(tǒng)自動化;2013年04期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃少雄;黃太貴;李端超;程栩;;智能變電站信息一體化平臺建設(shè)方案研究[J];安徽電氣工程職業(yè)技術(shù)學(xué)院學(xué)報;2011年S1期

2 齊慧;戚振彪;呂勇;朱利民;;智能化變電站在工程設(shè)計中的實現(xiàn)[J];安徽電氣工程職業(yè)技術(shù)學(xué)院學(xué)報;2011年S1期

3 王正風(fēng);高濤;;智能電網(wǎng)調(diào)度運行面臨的關(guān)鍵技術(shù)研究[J];安徽電氣工程職業(yè)技術(shù)學(xué)院學(xué)報;2011年S1期

4 王正風(fēng);高濤;;智能電網(wǎng)及國內(nèi)外發(fā)展概述[J];安徽電氣工程職業(yè)技術(shù)學(xué)院學(xué)報;2011年S1期

5 王燕;;電力系統(tǒng)信息化架構(gòu)分層研究[J];北京印刷學(xué)院學(xué)報;2011年06期

6 唐巍;趙云軍;;農(nóng)村電網(wǎng)智能化建設(shè)的思考[J];電力科學(xué)與技術(shù)學(xué)報;2010年04期

7 肖立業(yè);林良真;;構(gòu)建全國統(tǒng)一的新能源電網(wǎng),推進(jìn)我國智能電網(wǎng)的建設(shè)[J];電工電能新技術(shù);2009年04期

8 馬年駿;;智能電網(wǎng)漸行漸近[J];電工文摘;2010年02期

9 唐志偉;陳奇志;;基于智能電表的電力用戶服務(wù)系統(tǒng)設(shè)計[J];電力學(xué)報;2011年06期

10 李建芳;盛萬興;孟曉麗;宋曉輝;;智能配電網(wǎng)技術(shù)框架研究[J];能源技術(shù)經(jīng)濟(jì);2011年03期

相關(guān)會議論文 前10條

1 黃少雄;黃太貴;李端超;程栩;;智能變電站信息一體化平臺建設(shè)方案研究[A];2011年安徽省智能電網(wǎng)技術(shù)論壇論文集[C];2011年

2 齊慧;戚振彪;呂勇;朱利民;;智能化變電站在工程設(shè)計中的實現(xiàn)[A];2011年安徽省智能電網(wǎng)技術(shù)論壇論文集[C];2011年

3 王正風(fēng);高濤;;智能電網(wǎng)調(diào)度運行面臨的關(guān)鍵技術(shù)研究[A];2011年安徽省智能電網(wǎng)技術(shù)論壇論文集[C];2011年

4 王正風(fēng);高濤;;智能電網(wǎng)及國內(nèi)外發(fā)展概述[A];2011年安徽省智能電網(wǎng)技術(shù)論壇論文集[C];2011年

5 李建岐;滕玲;丁慧霞;盧錕;;電力無源光網(wǎng)絡(luò)設(shè)備標(biāo)準(zhǔn)研究與測試評估[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

6 張大華;丁輝;吳向陽;趙毅強(qiáng);孫毓忠;;面向智能電網(wǎng)的電力云計算架構(gòu)[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

7 楊斌;張大華;謝迎軍;;智能電網(wǎng)通信管理系統(tǒng)研究與設(shè)計[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

8 徐興坤;趙婷;;面向電力系統(tǒng)的無源無線傳感器網(wǎng)絡(luò)安全協(xié)議研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

9 羅志明;丁輝;張大華;;云計算在電力企業(yè)經(jīng)營管理中的應(yīng)用研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

10 ;Typical Cloud Computing System Design[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

相關(guān)博士學(xué)位論文 前10條

1 韓國政;基于IEC61850的配網(wǎng)自動化開放式通信體系[D];山東大學(xué);2011年

2 張剛;促進(jìn)我國智能電網(wǎng)發(fā)展的政府責(zé)任分析[D];財政部財政科學(xué)研究所;2011年

3 周云成;基于CIM的分布式配電網(wǎng)地理信息系統(tǒng)關(guān)鍵技術(shù)及集成應(yīng)用研究[D];沈陽農(nóng)業(yè)大學(xué);2011年

4 王揚;風(fēng)電短期預(yù)測及其并網(wǎng)調(diào)度方法研究[D];浙江大學(xué);2011年

5 方璐;企業(yè)能量管理與節(jié)能技術(shù)研究及應(yīng)用[D];湖南大學(xué);2011年

6 郭歌;智能鐵路體系結(jié)構(gòu)建模與分析技術(shù)的研究[D];中國鐵道科學(xué)研究院;2011年

7 唐躍中;數(shù)字化電網(wǎng)若干關(guān)鍵技術(shù)研究[D];浙江大學(xué);2010年

8 劉吉成;電力供應(yīng)鏈聯(lián)盟BIC構(gòu)建與協(xié)同決策研究[D];華北電力大學(xué)（北京）;2010年

9 徐志強(qiáng);寬帶電力線通信系統(tǒng)的資源分配研究[D];華北電力大學(xué)（北京）;2010年

10 曲朝陽;智能電網(wǎng)知識可視化引擎的研究[D];華北電力大學(xué)（河北）;2010年

相關(guān)碩士學(xué)位論文 前10條

1 喬磊;分布式數(shù)字化故障錄波裝置的研究[D];大連理工大學(xué);2010年

2 于俊濤;惠州智能電網(wǎng)用戶側(cè)營配一體化發(fā)展研究[D];華南理工大學(xué);2010年

3 劉焱;東莞電網(wǎng)調(diào)度自動化系統(tǒng)升級改造可行性研究[D];華南理工大學(xué);2010年

4 劉艷茹;智能用電小區(qū)推廣應(yīng)用的商業(yè)模式研究[D];華北電力大學(xué)（北京）;2011年

5 桑田;低碳經(jīng)濟(jì)下的臨沂市電力綜合資源規(guī)劃研究[D];華北電力大學(xué)（北京）;2011年

6 薛泓林;面向省級電力業(yè)務(wù)的NGN軟交換網(wǎng)設(shè)計與實現(xiàn)[D];華北電力大學(xué)（北京）;2011年

7 肖盛;基于風(fēng)險理論的電網(wǎng)脆弱性評估[D];華北電力大學(xué)（北京）;2011年

8 王東升;面向智能電網(wǎng)愿景的企業(yè)信息化建設(shè)研究[D];華北電力大學(xué)（北京）;2011年

9 趙小彬;面向智能電網(wǎng)的變電站智能運營平臺建設(shè)[D];華北電力大學(xué)（北京）;2011年

10 王欣異;多功能智能電表的設(shè)計與研究[D];武漢理工大學(xué);2011年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉興杰;米增強(qiáng);楊奇遜;樊小偉;;一種基于EMD的短期風(fēng)速多步預(yù)測方法[J];電工技術(shù)學(xué)報;2010年04期

2 王超;張東來;張斌;李悅;;電力系統(tǒng)二維重組法數(shù)據(jù)壓縮算法[J];電工技術(shù)學(xué)報;2010年11期

3 朱永利;翟學(xué)明;姜小磊;;絕緣子泄漏電流的自適應(yīng)SPIHT數(shù)據(jù)壓縮[J];電工技術(shù)學(xué)報;2011年12期

4 王景燕;;基于云計算的電力調(diào)度信息化研究[J];電工技術(shù);2011年12期

5 宋永華;楊霞;;以智能電網(wǎng)解決21世紀(jì)電力供應(yīng)面臨的挑戰(zhàn)[J];電力技術(shù)經(jīng)濟(jì);2009年06期

6 孟曉麗;盛萬興;;基于eDNA數(shù)據(jù)庫的配電網(wǎng)實時數(shù)據(jù)統(tǒng)一采集平臺設(shè)計與建設(shè)[J];電力建設(shè);2011年03期

7 周暉;鈕文潔;王毅;李濤;楊紅;;從繳費行為分析電力客戶信用度[J];電力需求側(cè)管理;2006年06期

8 闕連元,葉世勛,丁劍明;開放式SCADA/EMS系統(tǒng)支持的在線負(fù)荷預(yù)測系統(tǒng)[J];電力系統(tǒng)自動化;1993年10期

9 羅建裕,王小英,魯庭瑞,劉華偉,徐春雷,謝小榮,肖晉宇,李建,吳京濤,王立鼎,胡炯,張濤;基于廣域測量技術(shù)的電網(wǎng)實時動態(tài)監(jiān)測系統(tǒng)應(yīng)用[J];電力系統(tǒng)自動化;2003年24期

10 孫宏斌,胡江溢,劉映尚,張伯明,吳文傳;調(diào)度控制中心功能的發(fā)展——電網(wǎng)實時安全預(yù)警系統(tǒng)[J];電力系統(tǒng)自動化;2004年15期

相關(guān)博士學(xué)位論文 前1條

1 侯佑華;內(nèi)蒙古電網(wǎng)大規(guī)模風(fēng)電入網(wǎng)的運行分析及調(diào)度方案設(shè)計[D];天津大學(xué);2010年

相關(guān)碩士學(xué)位論文 前3條

1 劉軍;基于云計算的網(wǎng)絡(luò)數(shù)據(jù)容災(zāi)關(guān)鍵技術(shù)的研究[D];華中師范大學(xué);2011年

2 王德軍;容災(zāi)技術(shù)研究[D];武漢大學(xué);2004年

3 陳勇;基于Hadoop平臺的通信數(shù)據(jù)分布式查詢算法的設(shè)計與實現(xiàn)[D];北京交通大學(xué);2009年

【相似文獻(xiàn)】

相關(guān)期刊論文 前4條

1 糜榮;邢漢承;;大型PROLOG系統(tǒng)查詢優(yōu)化技術(shù)[J];南京工學(xué)院學(xué)報;1987年06期

2 張宏;夏洪山;;GIS空間數(shù)據(jù)查詢優(yōu)化技術(shù)研究[J];哈爾濱商業(yè)大學(xué)學(xué)報(自然科學(xué)版);2010年05期

3 周虹;;數(shù)據(jù)流上基于遺傳算法的并行查詢優(yōu)化技術(shù)[J];佳木斯大學(xué)學(xué)報(自然科學(xué)版);2008年04期

4 ;[J];;年期

相關(guān)會議論文 前4條

1 鄧韶勇;李磊;;一種基于散列的查詢優(yōu)化技術(shù)[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

2 吳益忠;王慶;蕭建昌;周傲英;;用于XML轉(zhuǎn)換的一些查詢優(yōu)化技術(shù)[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2003年

3 李翠平;王珊;;基于實體化視圖的多查詢優(yōu)化技術(shù)[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

4 于翌艟;王珊;;并行數(shù)據(jù)庫PBASE/2的查詢優(yōu)化技術(shù)[A];數(shù)據(jù)庫研究進(jìn)展97——第十四屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（上）[C];1997年

相關(guān)碩士學(xué)位論文 前10條

1 趙光亮;基于半連接算法的分布式數(shù)據(jù)庫系統(tǒng)查詢優(yōu)化技術(shù)[D];浙江工業(yè)大學(xué);2013年

2 孔祥波;基于自動累加表的統(tǒng)計查詢優(yōu)化技術(shù)研究及應(yīng)用[D];大連理工大學(xué);2010年

3 池汶洋;基于無線Mesh網(wǎng)絡(luò)的查詢優(yōu)化技術(shù)研究[D];黑龍江大學(xué);2008年

4 李瑞;分析型數(shù)據(jù)庫查詢優(yōu)化技術(shù)的研究與實現(xiàn)[D];吉林大學(xué);2009年

5 劉佳;基于微博的金融資訊檢索平臺查詢優(yōu)化技術(shù)的研究和實現(xiàn)[D];北京郵電大學(xué);2012年

6 劉亞欣;數(shù)據(jù)庫查詢優(yōu)化技術(shù)研究及其應(yīng)用[D];大連理工大學(xué);2006年

7 左杰;查詢優(yōu)化技術(shù)研究及在油井施工設(shè)計中的應(yīng)用[D];大連理工大學(xué);2008年

8 周冬平;關(guān)系數(shù)據(jù)庫查詢優(yōu)化技術(shù)的研究與實現(xiàn)[D];南京航空航天大學(xué);2002年

9 黃艷;基于移動Agent的查詢優(yōu)化技術(shù)研究[D];鄭州大學(xué);2004年

10 馮璨;基于統(tǒng)計過程圖的自動累加表查詢優(yōu)化技術(shù)研究[D];大連理工大學(xué);2011年

，

本文編號：1338291