能源管理系統(tǒng)是制造業(yè)尤其是高耗能工業(yè)進行能源管理,生產(chǎn)監(jiān)測的重要工具,為企業(yè)制定節(jié)能減排措施提供了理論和數(shù)據(jù)支撐。能源數(shù)據(jù)的采集頻率決定著能源管理系統(tǒng)進行數(shù)據(jù)分析的精細粒度,高效的查詢分析速度可以幫助企業(yè)管理人員及時發(fā)現(xiàn)能耗異常的出現(xiàn),并采取相應(yīng)的應(yīng)對措施。而傳統(tǒng)單點關(guān)系型數(shù)據(jù)庫,在實際應(yīng)用中表現(xiàn)出了明顯的性能不足,將大數(shù)據(jù)技術(shù)與能源管理系統(tǒng)相結(jié)合是必然的趨勢。本文就佛山某鋁業(yè)在能源管理系統(tǒng)使用過程中遇到高頻采集入庫困難,歷史能源數(shù)據(jù)查詢分析響應(yīng)過慢兩個問題,提出相應(yīng)的大數(shù)據(jù)解決方案,具體研究工作如下:1)研究能源管理系統(tǒng)的總體架構(gòu)及邏輯,根據(jù)佛山某鋁業(yè)當(dāng)前使用的SqlServer數(shù)據(jù)庫中表結(jié)構(gòu)以及字段,對能耗數(shù)據(jù)進行特征分析;并根據(jù)數(shù)據(jù)庫中當(dāng)前數(shù)據(jù)量,預(yù)估高頻采集之后的數(shù)據(jù)量大小。2)針對高頻采集能源數(shù)據(jù)入庫阻塞丟失的問題,設(shè)計一套異構(gòu)數(shù)據(jù)庫存儲方案。原有的SqlServer數(shù)據(jù)庫用來存儲基礎(chǔ)數(shù)據(jù),高頻采集,急速增長的能源數(shù)據(jù),采用分布式存儲系統(tǒng)來存儲。并通過對比分析,選取了基于Hbase集群的時間序列數(shù)據(jù)庫OpenTSDB,利用OpenTSDB高吞吐量,支持多TSD節(jié)點并行寫入的特... 

【文章來源】：廣東工業(yè)大學(xué)廣東省

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 論文選題背景
    1.2 研究現(xiàn)狀
        1.2.1 能源管理系統(tǒng)研究及應(yīng)用現(xiàn)狀
        1.2.2 海量數(shù)據(jù)存儲應(yīng)用研究現(xiàn)狀
    1.3 論文研究的意義及課題來源
        1.3.1 論文研究的意義
        1.3.2 論文的課題來源
    1.4 本文研究內(nèi)容的結(jié)構(gòu)體系
第二章 基于OpenTSDB的高吞吐能源數(shù)據(jù)存儲方案設(shè)計
    2.1 能源管理系統(tǒng)
    2.2 能源數(shù)據(jù)特征分析
    2.3 存儲方案設(shè)計
        2.3.1 方案設(shè)計綜述
        2.3.2 OpenTSDB數(shù)據(jù)庫架構(gòu)
        2.3.3 異構(gòu)數(shù)據(jù)庫架構(gòu)
    2.4 高吞吐能源數(shù)據(jù)存儲方案優(yōu)勢與代價分析
        2.4.1 高吞吐能源數(shù)據(jù)存儲方案優(yōu)勢分析
        2.4.2 高吞吐能源數(shù)據(jù)存儲系統(tǒng)代價分析
    2.5 本章小結(jié)
第三章 基于OPC-OpenTSDB的并行采集存儲系統(tǒng)實現(xiàn)
    3.1 引言
    3.2 OPC采集技術(shù)
        3.2.1 OPC協(xié)議
        3.2.2 OPC技術(shù)在能源數(shù)據(jù)采集中的具體應(yīng)用
        3.2.3 OPC采集服務(wù)器配置
    3.3 基于OPC-OpenTSDB的并行采集存儲技術(shù)實現(xiàn)
        3.3.1 OPC采集程序
        3.3.2 Hadoop和Hbase集群搭建
        3.3.3 OpenTSDB的搭建
        3.3.4 OPC-OpenTSDB的并行采集存儲
    3.4 本章小結(jié)
第四章 基于Spark的能源管理系統(tǒng)并行處理技術(shù)研究
    4.1 引言
    4.2 大數(shù)據(jù)并行計算框架
        4.2.1 MapReduce模型
        4.2.2 Spark并行計算框架
    4.3 考慮能源數(shù)據(jù)相關(guān)性的多副本一致性Hash算法
    4.4 基于Spark的能源數(shù)據(jù)并行查詢分析
        4.4.1 基于Compressed Bloom Filter的Spark Sql關(guān)聯(lián)優(yōu)化
        4.4.2 Compressed Bloom Filter關(guān)聯(lián)優(yōu)化網(wǎng)絡(luò)傳輸代價評估
    4.5 本章小結(jié)
第五章 實驗測試與分析
    5.1 引言
    5.2 實驗環(huán)境
    5.3 性能測試與分析
        5.3.1 能源數(shù)據(jù)并行寫入測試分析
        5.3.2 能源數(shù)據(jù)并行查詢測試分析
    5.4 本章小結(jié)
總結(jié)與展望
參考文獻
攻讀學(xué)位期間發(fā)表的論文及專利
致謝


【參考文獻】：
期刊論文
[1]基于OPC技術(shù)的PLC和MATLAB的水箱液位控制系統(tǒng)[J]. 王美剛.  儀器儀表用戶. 2017(12)
[2]基于多源異構(gòu)數(shù)據(jù)庫融合創(chuàng)新決策支持服務(wù)——以華東師范大學(xué)學(xué)科評估系統(tǒng)為例[J]. 于亞秀,李欣,魯?shù)?程靜.  圖書館學(xué)研究. 2017(04)
[3]分布式存儲系統(tǒng)中改進的一致性哈希算法[J]. 王康,李東靜,陳海光.  計算機技術(shù)與發(fā)展. 2016(07)
[4]MongoDB平衡器的研究與優(yōu)化[J]. 張路路.  信息通信. 2015(03)
[5]基于物聯(lián)網(wǎng)、云計算和大數(shù)據(jù)的工業(yè)能源管理系統(tǒng)[J]. 劉勇,閆魯杰.  供用電. 2014(12)
[6]計算機機房維護常見問題和對策[J]. 蘇麗婭·艾爾肯.  信息系統(tǒng)工程. 2014(06)
[7]EMS系統(tǒng)在寶鋼中的應(yīng)用[J]. 陸聞璽.  科技風(fēng). 2011(22)
[8]美國能源發(fā)展戰(zhàn)略走向及啟示[J]. 劉助仁.  國際技術(shù)經(jīng)濟研究. 2007(02)
[9]冶金企業(yè)能源管理系統(tǒng)[J]. 馮為民,叢力群.  控制工程. 2005(06)
[10]現(xiàn)代化能源監(jiān)控及管理系統(tǒng)的集成與應(yīng)用[J]. 張娣,李桂紅,馮為民.  寶鋼技術(shù). 2005(04)

博士論文
[1]云平臺下電力設(shè)備監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理技術(shù)研究[D]. 宋亞奇.華北電力大學(xué)(北京) 2016
[2]制造業(yè)企業(yè)服務(wù)化戰(zhàn)略的生成邏輯與作用機制[D]. 胡查平.武漢大學(xué) 2014

碩士論文
[1]基于校園大數(shù)據(jù)的學(xué)生行為分析與預(yù)測方法研究[D]. 梁柱.西安理工大學(xué) 2017
[2]基于Spark的SQL連接優(yōu)化研究與應(yīng)用[D]. 邵帥.北京交通大學(xué) 2017
[3]基于OpenStack云資源監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[D]. 朱亞楠.電子科技大學(xué) 2016
[4]基于 MongoDB的云數(shù)據(jù)管理技術(shù)的研究與應(yīng)用[D]. 劉一夢.北京交通大學(xué) 2012
[5]我國能源強度影響因素的實證分析[D]. 范文潮.山東財經(jīng)大學(xué) 2012
[6]OPC數(shù)據(jù)訪問服務(wù)器的開發(fā)研究及實現(xiàn)[D]. 何永亞.華南理工大學(xué) 2012
[7]煙草企業(yè)能源管理系統(tǒng)應(yīng)用研究[D]. 唐易.湖南大學(xué) 2008
[8]北京網(wǎng)通能源管理系統(tǒng)的軟件設(shè)計[D]. 趙宇.北京郵電大學(xué) 2008



本文編號：3201969