發(fā)布時間：2018-03-02 19:48

  本文選題：流式計算　切入點：能耗分項計量　出處：《計算機應(yīng)用》2017年04期 　論文類型：期刊論文

【摘要】：能耗分項計量能夠準(zhǔn)確、及時、有效地發(fā)現(xiàn)能源使用問題,形成和實現(xiàn)最有效的節(jié)能措施。能耗分項計量系統(tǒng)需要對各項能源使用量在不同粒度上進行統(tǒng)計,既有實時性的需求,又需要涉及到聚合、去重、連接等較為復(fù)雜的統(tǒng)計需求。由于數(shù)據(jù)產(chǎn)生快、實時性強、數(shù)據(jù)量大,所以很難統(tǒng)一采集并入庫存儲后再作處理,這便導(dǎo)致傳統(tǒng)的數(shù)據(jù)處理架構(gòu)不能滿足需求。為此,提出基于Spark Streaming大數(shù)據(jù)流式技術(shù)構(gòu)建一個實時能耗分項計量系統(tǒng),對實時能耗分項計量的系統(tǒng)架構(gòu)和內(nèi)部結(jié)構(gòu)進行了詳細(xì)介紹,并通過實驗數(shù)據(jù)分析了系統(tǒng)的實時數(shù)據(jù)處理能力。與傳統(tǒng)架構(gòu)不同,實時能耗分項計量系統(tǒng)在數(shù)據(jù)流動的過程中實時地進行捕捉和處理,一方面把捕捉到的異常信息及時報警到前端,同時把分類分項統(tǒng)計處理的結(jié)果保存到數(shù)據(jù)庫,以便進行離線分析和數(shù)據(jù)挖掘,能有效地解決上述數(shù)據(jù)處理過程中遇到的問題。
[Abstract]:Energy consumption itemized metering can accurately, timely and effectively find energy use problems, and form and realize the most effective energy saving measures. There are not only real-time requirements, but also complex statistical requirements, such as aggregation, heavy removal, connection and so on. Because of fast data generation, strong real-time performance and large amount of data, it is very difficult to collect and store the data in a unified way and then process it. As a result, the traditional data processing architecture can not meet the demand. Therefore, a real-time energy consumption sub-measurement system based on Spark Streaming large data flow technology is proposed. This paper introduces the system architecture and internal structure of real time energy consumption measurement in detail, and analyzes the real time data processing ability of the system through experimental data. The real-time energy consumption itemized measurement system captures and processes the data flow in real time. On the one hand, the abnormal information caught is alerted to the front end in time, and the results of the statistical processing of the classified items are saved to the database at the same time. In order to do offline analysis and data mining, can effectively solve the problems encountered in the process of data processing.
【作者單位】： 成都五舟漢云科技有限公司;成都信息工程大學(xué)信息安全工程學(xué)院;
【分類號】：TP311.13

【參考文獻】

相關(guān)期刊論文 前2條

1 黃斌;杜運東;曹雪華;;基于Acrel-5000的大型公共建筑能耗監(jiān)測系統(tǒng)設(shè)計與應(yīng)用[J];智能建筑電氣技術(shù);2009年05期

2 魏慶們;;大型公建能耗分項計量實時監(jiān)測分析系統(tǒng)EMS-Ⅱ的發(fā)展[J];建筑;2009年03期

【共引文獻】

相關(guān)期刊論文 前10條

1 武志學(xué);;基于Spark Streaming的實時能耗分項計量系統(tǒng)[J];計算機應(yīng)用;2017年04期

2 張運楚;韓懷寶;曹建榮;楊紅娟;;建筑能耗管理與室內(nèi)空間感知研究進展[J];山東建筑大學(xué)學(xué)報;2016年06期

3 崔暉;張強;;電力儀表在大型公共建筑電能分項計量中的應(yīng)用[J];電子測試;2015年12期

4 孫雪萌;田麗從;索彥彥;;城市能源計量物聯(lián)網(wǎng)組網(wǎng)技術(shù)研究[J];計量與測試技術(shù);2014年10期

5 田麗從;孫雪萌;馬志同;金秀月;;基于城市能源計量數(shù)據(jù)公共服務(wù)平臺的能源精細(xì)化管理[J];計量技術(shù);2014年07期

6 謝秉正;;綠色建筑節(jié)能智能化技術(shù)的應(yīng)用與發(fā)展[J];智能建筑與城市信息;2014年02期

7 徐松嵩;黃慧;姚佳偉;;電力儀表在建筑節(jié)能計量中的應(yīng)用分析[J];數(shù)字化用戶;2013年09期

8 沈啟;夏建軍;梁立軍;高松;;北方高校校園節(jié)能減排實踐案例分析[J];建設(shè)科技;2013年12期

9 徐珍喜;熊偉;王軼駿;;對能耗分項計量系統(tǒng)和能源管理的一點思考[J];智能建筑;2013年06期

10 于軍琪;蘇曉峰;黃健恒;張曉亞;;大型公共建筑能耗無線遠程監(jiān)測與節(jié)能管理系統(tǒng)[J];現(xiàn)代建筑電氣;2012年08期

【二級參考文獻】

相關(guān)期刊論文 前2條

1 蔣偉;劉愛蘭;柳迎春;;勝利油田物探院低壓配電系統(tǒng)改造[J];智能建筑電氣技術(shù);2008年02期

2 江億,薛志峰;審視北京大型公共建筑節(jié)能[J];科技潮;2004年10期

【相似文獻】

相關(guān)期刊論文 前10條

1 譚勁,余勝生,周敬利;A Caching Strategy for Streaming Media[J];Journal of Shanghai University;2004年01期

2 董海燕,蘆漢生,李升才,侯山峰,高稚允;New Rate Allocation Method for MPEG-4 FGS Video Streaming[J];Journal of Beijing Institute of Technology(English Edition);2005年02期

3 康亮;;HTTP Streaming技術(shù)發(fā)展趨勢[J];電信網(wǎng)技術(shù);2011年06期

4 郭常杰,沈國斌,李世鵬,鐘玉琢;Peer-Paired Collaboration for On-Demand Streaming Applications and an Improved Error Recovery Technique[J];Tsinghua Science and Technology;2003年06期

5 戢彥泓,郭常杰,鐘玉琢,孫立峰;Optimal Rate Allocation Algorithm for Multiple Source Video Streaming[J];Tsinghua Science and Technology;2004年04期

6 馬然,張兆揚,江濤,石旭利;An Improved MDC-Based ORB-DCT Method for Video Streaming over the Internet[J];Journal of Shanghai University;2005年04期

7 BOUAZIZI Imed;HANNUKSELA Miska M;RAUF Usama;;Coping with handover effects in video streaming over cellular networks[J];Journal of Zhejiang University Science A(Science in Engineering);2006年S1期

8 ;Unequal Forced-Intra-Refresh for robust video streaming[J];Journal of Zhejiang University Science A(Science in Engineering);2006年10期

9 ;Equation based rate control scheme for video streaming over wireless channels with link level ARQ[J];Journal of Zhejiang University Science A(Science in Engineering);2006年10期

10 ;Hybrid ants-like search algorithms for P2P media streaming distribution in ad hoc networks[J];Journal of Zhejiang University(Science A:An International Applied Physics & Engineering Journal);2007年08期

相關(guān)會議論文 前10條

1 Xiaoyu Ma;Rui Jin;;Design and implementation of a streaming media transmission system[A];Proceedings of 2011 International Conference on Computer Science and Information Technology(ICCSIT 2011)[C];2011年

2 Xudong Sun;Jianjun Lu;;The Research in Streaming Media On-Demand Technology based on IP Multicast[A];proceedings of 2010 3rd International Conference on Computer and Electrical Engineering (ICCEE 2010 no.1)[C];2012年

3 馮偵探;;A Physical Topology Related Overlay Network for the P2P Media Streaming System[A];第二屆中國科學(xué)院博士后學(xué)術(shù)年會暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會議程序冊[C];2010年

4 ;Video analysis based real time smart streaming video codec[A];第一屆建立和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2005）論文集[C];2005年

5 ;A Congestion Control Mechanism of Streaming Media Transmission[A];第一屆建立和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2005）論文集[C];2005年

6 ;Investigation of Flow Field in Microchannel Actuated by Ultrasonic Vibration[A];第二屆全國壓電和聲波理論及器件技術(shù)研討會摘要集[C];2006年

7 Z.WANG;A.T.SORNBORGER;L.TAO;;A neural circuit for binding spatially localized objects from streaming visual information[A];中國神經(jīng)科學(xué)學(xué)會第十屆全國學(xué)術(shù)會議論文摘要集[C];2013年

8 Li-fang Zhao;;Streaming Media Technology in the Digital Library Information Transmission[A];proceedings of 2010 3rd International Conference on Computer and Electrical Engineering (ICCEE 2010 no.2)[C];2012年

9 ;Protocol of Steganography in Streaming Media on VOIP Network Based on Variable Length Coding[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

10 Li-jun Sun;Li-ying Yu;Hao Xu;Liang Shi;Jian-bao Zhang;;Synergistic effects of fluid shear stress and pulsed electromagnetic field on osteoblasts[A];第十屆全國生物力學(xué)學(xué)術(shù)會議暨第十二屆全國生物流變學(xué)學(xué)術(shù)會議論文摘要匯編[C];2012年

相關(guān)重要報紙文章 前1條

1 董 權(quán);錄音產(chǎn)業(yè)值得期待[N];中國計算機報;2004年

相關(guān)碩士學(xué)位論文 前9條

1 Fredrik Rosenqvist;基于Web的流平臺服務(wù)器端的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

2 寧永恒;基于Spark的若干數(shù)據(jù)挖掘技術(shù)研究[D];中國計量學(xué)院;2015年

3 李天喜;基于Spark Streaming的試驗數(shù)據(jù)處理系統(tǒng)的研究與實現(xiàn)[D];西安電子科技大學(xué);2015年

4 李云飛;基于HTTP Streaming的課程直播系統(tǒng)中流傳輸子系統(tǒng)的優(yōu)化[D];上海交通大學(xué);2013年

5 陳達偉;一種面向用戶體驗提升的HTTP Streaming播放優(yōu)化技術(shù)[D];北京郵電大學(xué);2014年

6 陳靖隆;基于Http Live Streaming Protocol的移動流媒體系統(tǒng)設(shè)計與實現(xiàn)[D];華南理工大學(xué);2011年

7 謝順華;分布式醫(yī)學(xué)影像數(shù)據(jù)的Streaming技術(shù)框架研究及實踐[D];浙江大學(xué);2003年

8 Salah Addin Mohammed;[D];北京理工大學(xué);2015年

9 李光耀;基于Darwin技術(shù)多適應(yīng)性TS流推送服務(wù)器的研究與實現(xiàn)[D];電子科技大學(xué);2012年

，

本文編號：1557949