工業(yè)大數(shù)據(jù)具有規(guī)模龐大、業(yè)務復雜等的特點,為數(shù)據(jù)存儲、查詢和分析計算帶了難度。為了優(yōu)化工業(yè)大數(shù)據(jù)存儲管理,提高系統(tǒng)存儲、查詢、分析效率,利用基于Hadoop技術(shù)針對業(yè)務庫和實時監(jiān)控數(shù)據(jù)庫的存儲管理進行優(yōu)化。系統(tǒng)設計業(yè)務庫的集群化同步存儲架構(gòu),基于Maxwell組件將MySQL業(yè)務庫數(shù)據(jù)實時同步到HBase,實現(xiàn)業(yè)務庫的讀寫分離、提高數(shù)據(jù)查詢和數(shù)據(jù)分析的效率;其次,基于Kafka和Flink對業(yè)務庫同步數(shù)據(jù)進行實時計算處理,實現(xiàn)高并發(fā)數(shù)據(jù)寫入場景下的低延遲響應;最后,實驗進行了HBase和MySQL的性能對比測試,結(jié)果表明本系統(tǒng)在大規(guī)模數(shù)據(jù)場景下具有更好的計算效率表現(xiàn),能夠有效進行工業(yè)大數(shù)據(jù)分析存儲。 

【文章頁數(shù)】：4 頁

【文章目錄】：
引言
1 相關工作
    1.1 Hadoop平臺簡介
    1.2 Flink引擎簡介
    1.3 Maxwell簡介
2 系統(tǒng)總體設計
3 工業(yè)大數(shù)據(jù)存儲管理系統(tǒng)
    3.1 基于Maxwell的業(yè)務庫同步設計
    3.2 基于Kafka和Flink的實時計算
4 系統(tǒng)實現(xiàn)
    4.1 集群環(huán)境部署
    4.2 性能測試
5 結(jié)束語


【參考文獻】：
期刊論文
[1]工業(yè)大數(shù)據(jù)時代技術(shù)示能性研究綜述與未來展望[J]. 劉祎,王瑋.  科技進步與對策. 2019(20)
[2]基于Hadoop的地質(zhì)礦產(chǎn)大數(shù)據(jù)分布式存儲方法[J]. 趙亞楠,李朝奎,肖克炎,范建福.  地質(zhì)通報. 2019(Z1)
[3]一種面向工業(yè)互聯(lián)網(wǎng)的云存儲方法[J]. 孟祥曦,張凌,郭皓明,郭黎敏,夏乾臣,呂江花,馬世龍.  北京航空航天大學學報. 2019(01)
[4]工業(yè)大數(shù)據(jù)分析技術(shù)的發(fā)展及其面臨的挑戰(zhàn)[J]. 何文韜,邵誠.  信息與控制. 2018(04)
[5]基于Hadoop、Spark及Flink大規(guī)模數(shù)據(jù)分析的性能評價[J]. 代明竹,高嵩峰.  中國電子科學研究院學報. 2018(02)
[6]基于HBase的工業(yè)大數(shù)據(jù)時序數(shù)據(jù)存儲實現(xiàn)[J]. 張華偉,陳勇,李海斌,潘愛兵,趙俊,崔萌.  電信科學. 2017(S1)
[7]智能變電設備監(jiān)控與決策輔助系統(tǒng)數(shù)據(jù)庫的設計與實現(xiàn)[J]. 黃新波,張瑜,朱波.  高壓電器. 2016(03)
[8]煤礦作業(yè)規(guī)程管理系統(tǒng)設計及關鍵技術(shù)研究[J]. 王瀚哲,楊超宇,梁胤程.  中國煤炭. 2014(12)
[9]在Hadoop集群下的智能電網(wǎng)數(shù)據(jù)云倉庫設計[J]. 鄭柏恒,孟文,易東,梁曉波.  制造業(yè)自動化. 2014(19)



本文編號：3723825