本文關(guān)鍵詞：基于Hadoop的用電信息大數(shù)據(jù)計算服務(wù)及應(yīng)用

  更多相關(guān)文章： 用電信息采集系統(tǒng) 大數(shù)據(jù) Hadoop

【摘要】：為應(yīng)對用電大數(shù)據(jù)的處理要求,基于Hadoop集群構(gòu)建了面向用電信息采集系統(tǒng)大數(shù)據(jù)的處理架構(gòu)和計算服務(wù)架構(gòu),對計算任務(wù)進(jìn)行并行化處理,提高了用電大數(shù)據(jù)的計算效率;同時針對用電信息采集系統(tǒng)中大部分計算服務(wù)的計算規(guī)則復(fù)雜、存在數(shù)據(jù)依賴關(guān)系等特點(diǎn),將同一計算服務(wù)內(nèi)的Map Reduce作業(yè)及及其依賴關(guān)系以有向無環(huán)圖的形式進(jìn)行組織,并利用依賴控制引擎進(jìn)行作業(yè)運(yùn)行狀態(tài)的自動管理,實(shí)現(xiàn)作業(yè)提交時間的動態(tài)調(diào)整,達(dá)到優(yōu)化作業(yè)執(zhí)行效率和成功率的效果。實(shí)驗(yàn)結(jié)果證明,所提方法高效可行,計算服務(wù)性能高,能夠適應(yīng)用電大數(shù)據(jù)的實(shí)時處理要求。
【作者單位】： 國網(wǎng)山東省電力公司;山東大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院;
【關(guān)鍵詞】： 用電信息采集系統(tǒng) 大數(shù)據(jù) Hadoop
【基金】：國家自然科學(xué)基金項(xiàng)目(61272241)~~
【分類號】：TM769;TP311.13
【正文快照】： 0引言隨著信息技術(shù)和社會的不斷發(fā)展,如今進(jìn)入了一個大規(guī)模生產(chǎn)、分享和應(yīng)用數(shù)據(jù)的時代。大數(shù)據(jù)的管理需求催生了以云計算[1]為代表的大數(shù)據(jù)處理技術(shù),用來提高大數(shù)據(jù)計算分析性能和開發(fā)效率。云計算是并行計算、分布式計算和網(wǎng)絡(luò)計算的發(fā)展,其核心是海量數(shù)據(jù)存儲和數(shù)據(jù)并行處

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 朱征;顧中堅(jiān);吳金龍;桂勝;;云計算在電力系統(tǒng)數(shù)據(jù)災(zāi)備業(yè)務(wù)中的應(yīng)用研究[J];電網(wǎng)技術(shù);2012年09期

2 劉萌;褚曉東;張文;馮宗英;;負(fù)荷分布式控制的云計算平臺構(gòu)架設(shè)計[J];電網(wǎng)技術(shù);2012年08期

3 宋亞奇;周國亮;朱永利;;智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J];電網(wǎng)技術(shù);2013年04期

4 張素香;劉建明;趙丙鎮(zhèn);曹津平;;基于云計算的居民用電行為分析模型研究[J];電網(wǎng)技術(shù);2013年06期

5 趙騰;張焰;張東霞;;智能配電網(wǎng)大數(shù)據(jù)應(yīng)用技術(shù)與前景分析[J];電網(wǎng)技術(shù);2014年12期

6 劉正偉;文中領(lǐng);張海濤;;云計算和云數(shù)據(jù)管理技術(shù)[J];計算機(jī)研究與發(fā)展;2012年S1期

7 董新華;李瑞軒;周灣灣;王聰;薛正元;廖東杰;;Hadoop系統(tǒng)性能優(yōu)化與功能增強(qiáng)綜述[J];計算機(jī)研究與發(fā)展;2013年S2期

8 陳曦;陳華鈞;顧s頬Z;張寧豫;陳嬌彥;于彤;;一種基于Hadoop的語義大數(shù)據(jù)分布式推理框架[J];計算機(jī)研究與發(fā)展;2013年S2期

9 劉芬;王芳;田昊;;基于Zookeeper的分布式鎖服務(wù)及性能優(yōu)化[J];計算機(jī)研究與發(fā)展;2014年S1期

10 李玉林;董晶;;基于Hadoop的MapReduce模型的研究與改進(jìn)[J];計算機(jī)工程與設(shè)計;2012年08期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐曉林;李衛(wèi)東;;論云計算對電子政務(wù)的革命性影響[J];電子政務(wù);2012年10期

2 彭嬌;邱曉麗;;云計算技術(shù)在高校圖書館中的應(yīng)用[J];硅谷;2013年02期

3 宋亞奇;周國亮;朱永利;;智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J];電網(wǎng)技術(shù);2013年04期

4 張素香;劉建明;趙丙鎮(zhèn);曹津平;;基于云計算的居民用電行為分析模型研究[J];電網(wǎng)技術(shù);2013年06期

5 南志海;;云計算和云數(shù)據(jù)管理技術(shù)探討[J];硅谷;2013年06期

6 劉德永;;云計算和云數(shù)據(jù)管理技術(shù)[J];計算機(jī)光盤軟件與應(yīng)用;2013年13期

7 易雯;周四望;;高負(fù)載文檔預(yù)覽服務(wù)的設(shè)計和實(shí)現(xiàn)[J];計算機(jī)光盤軟件與應(yīng)用;2013年05期

8 李紅娟;;云計算關(guān)鍵技術(shù)理論分析與探討[J];電子世界;2013年23期

9 胡元軍;;芬蘭媒體數(shù)字化發(fā)展的特點(diǎn)[J];計算機(jī)光盤軟件與應(yīng)用;2013年22期

10 范焱;龐芳梅;邵剛;;云計算和云數(shù)據(jù)管理技術(shù)[J];硅谷;2013年24期

中國重要會議論文全文數(shù)據(jù)庫 前8條

1 ;Typical Cloud Computing System Design[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

2 桂勝;楊寧;李凡;;基于云計算的電力企業(yè)信息系統(tǒng)硬件資源池的研究與建設(shè)[A];2013電力行業(yè)信息化年會論文集[C];2013年

3 段成永;邱少明;盧剛;劉焱;;基于Map/Reduce模型的空情數(shù)據(jù)挖掘算法[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

4 桂勝;楊寧;李凡;;基于云計算的電力企業(yè)信息系統(tǒng)硬件資源池的研究與建設(shè)[A];2013電力行業(yè)信息化年會論文集[C];2013年

5 楊亮;呂健強(qiáng);羅清堯;;規(guī)�；膛鰯�(shù)字化網(wǎng)絡(luò)平臺開發(fā)與應(yīng)用[A];中國畜牧獸醫(yī)學(xué)會信息技術(shù)分會2014年學(xué)術(shù)研討會論文集[C];2014年

6 孫峰;錢嘯;曾建梁;金燁;錢偉杰;許晶;;基于大數(shù)據(jù)理念的地市供電公司智能電網(wǎng)規(guī)劃數(shù)據(jù)融合研究[A];電力行業(yè)信息化優(yōu)秀論文集2014——2014年全國電力行業(yè)兩化融合推進(jìn)會暨全國電力企業(yè)信息化大會獲獎?wù)撐腫C];2014年

7 周婕;鄒游;;大數(shù)據(jù)背景下的城鄉(xiāng)規(guī)劃研究思考[A];第十七屆中國科協(xié)年會——分16　大數(shù)據(jù)與城鄉(xiāng)治理研討會論文集[C];2015年

8 萬俊杰;;大數(shù)據(jù)在水質(zhì)數(shù)據(jù)分析中的應(yīng)用[A];大數(shù)據(jù)時代的信息化建設(shè)——2015（第三屆）中國水利信息化與數(shù)字水利技術(shù)論壇論文集[C];2015年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 韓海雯;MapReduce計算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

2 楊靖琦;云化業(yè)務(wù)平臺可伸縮性研究[D];北京郵電大學(xué);2014年

3 李宇昕;地質(zhì)勘查物流與信息流融合關(guān)鍵技術(shù)與應(yīng)用研究[D];中國地質(zhì)大學(xué)(北京);2015年

4 金冉;面向大規(guī)模數(shù)據(jù)的聚類算法研究及應(yīng)用[D];東華大學(xué);2015年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉菲軍;云計算下虛擬機(jī)部署機(jī)制的研究[D];太原理工大學(xué);2012年

2 孫雨冰;基于MapReduce化的數(shù)據(jù)聚類算法的研究、設(shè)計與應(yīng)用[D];華東理工大學(xué);2013年

3 方旋;云計算在土地利用規(guī)劃信息系統(tǒng)中的應(yīng)用研究[D];浙江大學(xué);2013年

4 王雅光;基于Hadoop平臺的DBSCAN算法應(yīng)用研究[D];廣東工業(yè)大學(xué);2013年

5 諶侃;用戶數(shù)據(jù)融合云計算存儲方案研究[D];北京郵電大學(xué);2013年

6 張寧寧;異構(gòu)環(huán)境下云計算數(shù)據(jù)副本動態(tài)管理研究[D];鄭州大學(xué);2013年

7 趙曉冰;Hadoop平臺下的作業(yè)調(diào)度算法的研究[D];鄭州大學(xué);2013年

8 毛嚴(yán)奇;社交云平臺下用戶行為分析的研究[D];湖南師范大學(xué);2013年

9 李步源;基于云計算的協(xié)同過濾算法并行化研究[D];鄭州大學(xué);2013年

10 常蕓;基于電子貨幣視角的反貪污性洗錢研究[D];西安電子科技大學(xué);2013年

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 孫其博;劉杰;黎，

本文編號：892660