本文關(guān)鍵詞：多源異構(gòu)的智能配用電數(shù)據(jù)存儲處理技術(shù)

  更多相關(guān)文章： 大數(shù)據(jù) 海量數(shù)據(jù) 框架設(shè)計 智能配用電

【摘要】：針對智能配用電數(shù)據(jù)具有海量、多源異構(gòu)等特點,提出一種基于Hadoop的智能配用電數(shù)據(jù)存儲處理的框架設(shè)計方案。在對智能配用電數(shù)據(jù)組成進行梳理的基礎(chǔ)上,提出了智能配用電的資源、存儲和查詢?nèi)龑訑?shù)據(jù)存儲框架。其中,資源層采用Hadoop集群架構(gòu),結(jié)合電力系統(tǒng)的行業(yè)特色,完成IT存儲資源管理;存儲層則先采用XML技術(shù)進行數(shù)據(jù)預(yù)處理,使非結(jié)構(gòu)化數(shù)據(jù)歸一化,然后利用No SQL數(shù)據(jù)庫通過Map和Reduce的有效結(jié)合,完成海量數(shù)據(jù)的快速存儲;查詢層利用Top-k檢索技術(shù),實現(xiàn)海量數(shù)據(jù)的快速查尋。該設(shè)計方案能夠?qū)Y(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行統(tǒng)一存儲,可為智能配用電大數(shù)據(jù)技術(shù)的應(yīng)用提供基礎(chǔ)支撐。
【作者單位】： 天津大學電氣與自動化工程學院;河北工業(yè)大學電氣工程學院;國網(wǎng)上海市電力公司;
【關(guān)鍵詞】： 大數(shù)據(jù) 海量數(shù)據(jù) 框架設(shè)計 智能配用電
【基金】：國家高技術(shù)研究發(fā)展計劃(863計劃)資助項目(2015AA050203)
【分類號】：TM76
【正文快照】： 0引言隨著智能電網(wǎng)建設(shè)的推進,智能配用電的快速建模、仿真等高級應(yīng)用技術(shù)[1]以及云計算、互聯(lián)網(wǎng)技術(shù)等在電力系統(tǒng)中得到了越來越多的應(yīng)用。這些新興技術(shù)的應(yīng)用需要大量基礎(chǔ)的輸入數(shù)據(jù),與傳統(tǒng)的配電網(wǎng)潮流計算、短路計算等穩(wěn)態(tài)分析相比,數(shù)據(jù)形式從一個時間斷面變成一段時間(一

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 崔寶娣;;企業(yè)網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)應(yīng)用分析[J];電力信息化;2008年09期

2 王益民,崔慶,馮存華;“數(shù)字黃河”工程數(shù)據(jù)存儲與管理系統(tǒng)建設(shè)[J];人民黃河;2003年08期

3 林秀華;;一種基于云計算的安全數(shù)據(jù)存儲的設(shè)計與實現(xiàn)[J];企業(yè)技術(shù)開發(fā);2012年10期

4 段卓平;張菊蘭;黃正平;蓋峰;;一種新穎的可重構(gòu)數(shù)據(jù)存儲壓力儀[J];北京理工大學學報;2007年09期

5 趙艷妮;郭華磊;馬曉榮;;大型企業(yè)分布式數(shù)據(jù)存儲模式[J];硅谷;2010年16期

6 ;智能“創(chuàng)可貼”首次實現(xiàn)數(shù)據(jù)存儲[J];企業(yè)技術(shù)開發(fā);2014年10期

7 楊俊;網(wǎng)格環(huán)境下的數(shù)據(jù)存儲研究[J];哈爾濱商業(yè)大學學報(自然科學版);2005年04期

8 王瑞云;劉琳;劉越;;數(shù)據(jù)存儲自動化管理虛擬化技術(shù)[J];黑龍江水利科技;2009年01期

9 高祥濤;陳寧;胡金龍;;江蘇省水利廳數(shù)據(jù)存儲體系架構(gòu)淺析[J];江蘇水利;2009年03期

10 ;美開發(fā)出數(shù)據(jù)存儲新技術(shù)[J];企業(yè)技術(shù)開發(fā);2009年05期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 孫崢皓;汪宏f;閻巖;岑小鋒;鄧志均;;淺談信息化戰(zhàn)爭對大數(shù)據(jù)存儲與分析的要求及對策[A];2013第一屆中國指揮控制大會論文集[C];2013年

2 張沁川;王厚軍;;基于大容量閃存的數(shù)據(jù)存儲與管理[A];2008中國儀器儀表與測控技術(shù)進展大會論文集（Ⅲ）[C];2008年

3 霍躍華;;IP SAN在煤炭企業(yè)數(shù)據(jù)存儲的應(yīng)用研究[A];煤礦自動化與信息化——第20屆全國煤礦自動化與信息化學術(shù)會議暨第2屆中國煤礦信息化與自動化高層論壇論文集[C];2010年

4 盛磊;李美華;程林;;一種軋鋼過程數(shù)據(jù)存儲方法[A];全國冶金自動化信息網(wǎng)2014年會論文集[C];2014年

5 王文峰;李佳;;芻議信息系統(tǒng)數(shù)據(jù)存儲與備份系統(tǒng)的構(gòu)建方式[A];2011年云南電力技術(shù)論壇論文集（入選部分）[C];2011年

6 張艷秋;李建中;楊艷;張兆功;;混合負載多媒體服務(wù)器的數(shù)據(jù)存儲和數(shù)據(jù)提交[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2003年

7 王淑江;;煙臺日報傳媒集團存儲體系規(guī)劃[A];中國新聞技術(shù)工作者聯(lián)合會五屆一次理事會暨學術(shù)年會論文集（上篇）[C];2009年

8 ;Wallstor網(wǎng)絡(luò)數(shù)據(jù)存儲的新技術(shù)應(yīng)用[A];江蘇省微型電腦應(yīng)用協(xié)會產(chǎn)學研成果交流會會議資料[C];2010年

9 韋大偉;;分布式數(shù)據(jù)存儲中的機密性保護[A];2006年全國開放式分布與并行計算機學術(shù)會議論文集（三）[C];2006年

10 韓德志;;內(nèi)網(wǎng)數(shù)據(jù)存儲安全關(guān)鍵技術(shù)的研究與實現(xiàn)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 中國惠普公司網(wǎng)絡(luò)存儲事業(yè)部技術(shù)顧問 周志峰;數(shù)據(jù)存儲面臨七大挑戰(zhàn)[N];計算機世界;2001年

2 本報記者 郭濤;中興通訊打造安全高效的大數(shù)據(jù)存儲[N];中國計算機報;2013年

3 本報記者 陳巍巍;數(shù)據(jù)存儲 進化正當時[N];計算機世界;2013年

4 本報記者 黃銳;綠源巢:大數(shù)據(jù)存儲弄潮兒[N];東莞日報;2014年

5 毛玲玲 吳非;數(shù)據(jù)存儲 安全為重[N];解放軍報;2014年

6 本報記者 郭濤;華為存儲：高端存儲、大數(shù)據(jù)存儲齊頭并進[N];中國計算機報;2013年

7 本報記者 方慧玲;糾刪碼技術(shù)：大數(shù)據(jù)存儲的“安全衛(wèi)士”[N];江蘇科技報;2014年

8 ;培養(yǎng)皿中的數(shù)據(jù)存儲[N];網(wǎng)絡(luò)世界;2007年

9 ;2010年中小企業(yè)數(shù)據(jù)存儲市場六大趨勢[N];網(wǎng)絡(luò)世界;2010年

10 本報實習記者 陳勛燕;數(shù)據(jù)存儲網(wǎng)絡(luò)凸現(xiàn)商機 上海郵通轉(zhuǎn)型前景看好[N];通信信息報;2002年

中國博士學位論文全文數(shù)據(jù)庫 前3條

1 付松齡;分布式在線社交網(wǎng)絡(luò)數(shù)據(jù)存儲及優(yōu)化技術(shù)研究[D];國防科學技術(shù)大學;2014年

2 張杰;一種高速數(shù)據(jù)存儲方法的研究[D];中國科學技術(shù)大學;2013年

3 付永忠;基于AFM和硫系相變材料的超高密度數(shù)據(jù)存儲機理研究[D];江蘇大學;2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 葛佳;P2P網(wǎng)絡(luò)信譽數(shù)據(jù)存儲與恢復(fù)方法的研究與實現(xiàn)[D];昆明理工大學;2015年

2 潘陽;基于Hadoop技術(shù)在分布式數(shù)據(jù)存儲中的應(yīng)用研究[D];大連海事大學;2015年

3 秦崢惠;基于Leveldb的企業(yè)級大數(shù)據(jù)集群化存儲設(shè)計與實現(xiàn)[D];遼寧科技大學;2015年

4 吉瑛;基于MongoDB的團隊協(xié)作數(shù)據(jù)存儲方案研究與實現(xiàn)[D];中國科學院大學(工程管理與信息技術(shù)學院);2015年

5 姜威靈;CT仿真數(shù)據(jù)存儲與高速傳輸裝置設(shè)計[D];東北大學;2014年

6 方頎;基于行數(shù)據(jù)存儲的CBCT圖像重建FPGA電路的優(yōu)化與設(shè)計[D];哈爾濱工業(yè)大學;2015年

7 張路路;基于MongoDB的大數(shù)據(jù)存儲方法研究與應(yīng)用[D];成都理工大學;2015年

8 張磊;基于Hadoop分布式數(shù)據(jù)存儲傳感設(shè)備平臺的描述[D];南京郵電大學;2015年

9 賈新宇;基于云計算的GIS柵格數(shù)據(jù)存儲與算法研究[D];吉林大學;2015年

10 李青;科技云平臺的數(shù)據(jù)存儲管理技術(shù)研究[D];北方工業(yè)大學;2016年

，

本文編號：613330