本文選題：流式計(jì)算　切入點(diǎn)：能耗分項(xiàng)計(jì)量　出處：《計(jì)算機(jī)應(yīng)用》2017年04期 　論文類型：期刊論文

【摘要】：能耗分項(xiàng)計(jì)量能夠準(zhǔn)確、及時(shí)、有效地發(fā)現(xiàn)能源使用問(wèn)題,形成和實(shí)現(xiàn)最有效的節(jié)能措施。能耗分項(xiàng)計(jì)量系統(tǒng)需要對(duì)各項(xiàng)能源使用量在不同粒度上進(jìn)行統(tǒng)計(jì),既有實(shí)時(shí)性的需求,又需要涉及到聚合、去重、連接等較為復(fù)雜的統(tǒng)計(jì)需求。由于數(shù)據(jù)產(chǎn)生快、實(shí)時(shí)性強(qiáng)、數(shù)據(jù)量大,所以很難統(tǒng)一采集并入庫(kù)存儲(chǔ)后再作處理,這便導(dǎo)致傳統(tǒng)的數(shù)據(jù)處理架構(gòu)不能滿足需求。為此,提出基于Spark Streaming大數(shù)據(jù)流式技術(shù)構(gòu)建一個(gè)實(shí)時(shí)能耗分項(xiàng)計(jì)量系統(tǒng),對(duì)實(shí)時(shí)能耗分項(xiàng)計(jì)量的系統(tǒng)架構(gòu)和內(nèi)部結(jié)構(gòu)進(jìn)行了詳細(xì)介紹,并通過(guò)實(shí)驗(yàn)數(shù)據(jù)分析了系統(tǒng)的實(shí)時(shí)數(shù)據(jù)處理能力。與傳統(tǒng)架構(gòu)不同,實(shí)時(shí)能耗分項(xiàng)計(jì)量系統(tǒng)在數(shù)據(jù)流動(dòng)的過(guò)程中實(shí)時(shí)地進(jìn)行捕捉和處理,一方面把捕捉到的異常信息及時(shí)報(bào)警到前端,同時(shí)把分類分項(xiàng)統(tǒng)計(jì)處理的結(jié)果保存到數(shù)據(jù)庫(kù),以便進(jìn)行離線分析和數(shù)據(jù)挖掘,能有效地解決上述數(shù)據(jù)處理過(guò)程中遇到的問(wèn)題。
[Abstract]:Energy consumption itemized metering can accurately, timely and effectively find energy use problems, and form and realize the most effective energy saving measures. There are not only real-time requirements, but also complex statistical requirements, such as aggregation, heavy removal, connection and so on. Because of fast data generation, strong real-time performance and large amount of data, it is very difficult to collect and store the data in a unified way and then process it. As a result, the traditional data processing architecture can not meet the demand. Therefore, a real-time energy consumption sub-measurement system based on Spark Streaming large data flow technology is proposed. This paper introduces the system architecture and internal structure of real time energy consumption measurement in detail, and analyzes the real time data processing ability of the system through experimental data. The real-time energy consumption itemized measurement system captures and processes the data flow in real time. On the one hand, the abnormal information caught is alerted to the front end in time, and the results of the statistical processing of the classified items are saved to the database at the same time. In order to do offline analysis and data mining, can effectively solve the problems encountered in the process of data processing.
【作者單位】： 成都五舟漢云科技有限公司;成都信息工程大學(xué)信息安全工程學(xué)院;
【分類號(hào)】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 黃斌;杜運(yùn)東;曹雪華;;基于Acrel-5000的大型公共建筑能耗監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與應(yīng)用[J];智能建筑電氣技術(shù);2009年05期

2 魏慶們;;大型公建能耗分項(xiàng)計(jì)量實(shí)時(shí)監(jiān)測(cè)分析系統(tǒng)EMS-Ⅱ的發(fā)展[J];建筑;2009年03期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 武志學(xué);;基于Spark Streaming的實(shí)時(shí)能耗分項(xiàng)計(jì)量系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;2017年04期

2 張運(yùn)楚;韓懷寶;曹建榮;楊紅娟;;建筑能耗管理與室內(nèi)空間感知研究進(jìn)展[J];山東建筑大學(xué)學(xué)報(bào);2016年06期

3 崔暉;張強(qiáng);;電力儀表在大型公共建筑電能分項(xiàng)計(jì)量中的應(yīng)用[J];電子測(cè)試;2015年12期

4 孫雪萌;田麗從;索彥彥;;城市能源計(jì)量物聯(lián)網(wǎng)組網(wǎng)技術(shù)研究[J];計(jì)量與測(cè)試技術(shù);2014年10期

5 田麗從;孫雪萌;馬志同;金秀月;;基于城市能源計(jì)量數(shù)據(jù)公共服務(wù)平臺(tái)的能源精細(xì)化管理[J];計(jì)量技術(shù);2014年07期

6 謝秉正;;綠色建筑節(jié)能智能化技術(shù)的應(yīng)用與發(fā)展[J];智能建筑與城市信息;2014年02期

7 徐松嵩;黃慧;姚佳偉;;電力儀表在建筑節(jié)能計(jì)量中的應(yīng)用分析[J];數(shù)字化用戶;2013年09期

8 沈啟;夏建軍;梁立軍;高松;;北方高校校園節(jié)能減排實(shí)踐案例分析[J];建設(shè)科技;2013年12期

9 徐珍喜;熊偉;王軼駿;;對(duì)能耗分項(xiàng)計(jì)量系統(tǒng)和能源管理的一點(diǎn)思考[J];智能建筑;2013年06期

10 于軍琪;蘇曉峰;黃健恒;張曉亞;;大型公共建筑能耗無(wú)線遠(yuǎn)程監(jiān)測(cè)與節(jié)能管理系統(tǒng)[J];現(xiàn)代建筑電氣;2012年08期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 蔣偉;劉愛(ài)蘭;柳迎春;;勝利油田物探院低壓配電系統(tǒng)改造[J];智能建筑電氣技術(shù);2008年02期

2 江億,薛志峰;審視北京大型公共建筑節(jié)能[J];科技潮;2004年10期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 譚勁,余勝生,周敬利;A Caching Strategy for Streaming Media[J];Journal of Shanghai University;2004年01期

2 董海燕,蘆漢生,李升才,侯山峰,高稚允;New Rate Allocation Method for MPEG-4 FGS Video Streaming[J];Journal of Beijing Institute of Technology(English Edition);2005年02期

3 康亮;;HTTP Streaming技術(shù)發(fā)展趨勢(shì)[J];電信網(wǎng)技術(shù);2011年06期

4 郭常杰,沈國(guó)斌,李世鵬,鐘玉琢;Peer-Paired Collaboration for On-Demand Streaming Applications and an Improved Error Recovery Technique[J];Tsinghua Science and Technology;2003年06期

5 戢彥泓,郭常杰,鐘玉琢,孫立峰;Optimal Rate Allocation Algorithm for Multiple Source Video Streaming[J];Tsinghua Science and Technology;2004年04期

6 馬然,張兆揚(yáng),江濤,石旭利;An Improved MDC-Based ORB-DCT Method for Video Streaming over the Internet[J];Journal of Shanghai University;2005年04期

7 BOUAZIZI Imed;HANNUKSELA Miska M;RAUF Usama;;Coping with handover effects in video streaming over cellular networks[J];Journal of Zhejiang University Science A(Science in Engineering);2006年S1期

8 ;Unequal Forced-Intra-Refresh for robust video streaming[J];Journal of Zhejiang University Science A(Science in Engineering);2006年10期

9 ;Equation based rate control scheme for video streaming over wireless channels with link level ARQ[J];Journal of Zhejiang University Science A(Science in Engineering);2006年10期

10 ;Hybrid ants-like search algorithms for P2P media streaming distribution in ad hoc networks[J];Journal of Zhejiang University(Science A:An International Applied Physics & Engineering Journal);2007年08期

相關(guān)會(huì)議論文 前10條

1 Xiaoyu Ma;Rui Jin;;Design and implementation of a streaming media transmission system[A];Proceedings of 2011 International Conference on Computer Science and Information Technology(ICCSIT 2011)[C];2011年

2 Xudong Sun;Jianjun Lu;;The Research in Streaming Media On-Demand Technology based on IP Multicast[A];proceedings of 2010 3rd International Conference on Computer and Electrical Engineering (ICCEE 2010 no.1)[C];2012年

3 馮偵探;;A Physical Topology Related Overlay Network for the P2P Media Streaming System[A];第二屆中國(guó)科學(xué)院博士后學(xué)術(shù)年會(huì)暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會(huì)議程序冊(cè)[C];2010年

4 ;Video analysis based real time smart streaming video codec[A];第一屆建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2005）論文集[C];2005年

5 ;A Congestion Control Mechanism of Streaming Media Transmission[A];第一屆建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2005）論文集[C];2005年

6 ;Investigation of Flow Field in Microchannel Actuated by Ultrasonic Vibration[A];第二屆全國(guó)壓電和聲波理論及器件技術(shù)研討會(huì)摘要集[C];2006年

7 Z.WANG;A.T.SORNBORGER;L.TAO;;A neural circuit for binding spatially localized objects from streaming visual information[A];中國(guó)神經(jīng)科學(xué)學(xué)會(huì)第十屆全國(guó)學(xué)術(shù)會(huì)議論文摘要集[C];2013年

8 Li-fang Zhao;;Streaming Media Technology in the Digital Library Information Transmission[A];proceedings of 2010 3rd International Conference on Computer and Electrical Engineering (ICCEE 2010 no.2)[C];2012年

9 ;Protocol of Steganography in Streaming Media on VOIP Network Based on Variable Length Coding[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

10 Li-jun Sun;Li-ying Yu;Hao Xu;Liang Shi;Jian-bao Zhang;;Synergistic effects of fluid shear stress and pulsed electromagnetic field on osteoblasts[A];第十屆全國(guó)生物力學(xué)學(xué)術(shù)會(huì)議暨第十二屆全國(guó)生物流變學(xué)學(xué)術(shù)會(huì)議論文摘要匯編[C];2012年

相關(guān)重要報(bào)紙文章 前1條

1 董 權(quán);錄音產(chǎn)業(yè)值得期待[N];中國(guó)計(jì)算機(jī)報(bào);2004年

相關(guān)碩士學(xué)位論文 前9條

1 Fredrik Rosenqvist;基于Web的流平臺(tái)服務(wù)器端的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

2 寧永恒;基于Spark的若干數(shù)據(jù)挖掘技術(shù)研究[D];中國(guó)計(jì)量學(xué)院;2015年

3 李天喜;基于Spark Streaming的試驗(yàn)數(shù)據(jù)處理系統(tǒng)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2015年

4 李云飛;基于HTTP Streaming的課程直播系統(tǒng)中流傳輸子系統(tǒng)的優(yōu)化[D];上海交通大學(xué);2013年

5 陳達(dá)偉;一種面向用戶體驗(yàn)提升的HTTP Streaming播放優(yōu)化技術(shù)[D];北京郵電大學(xué);2014年

6 陳靖隆;基于Http Live Streaming Protocol的移動(dòng)流媒體系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2011年

7 謝順華;分布式醫(yī)學(xué)影像數(shù)據(jù)的Streaming技術(shù)框架研究及實(shí)踐[D];浙江大學(xué);2003年

8 Salah Addin Mohammed;[D];北京理工大學(xué);2015年

9 李光耀;基于Darwin技術(shù)多適應(yīng)性TS流推送服務(wù)器的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2012年

，

本文編號(hào)：1557949