工業(yè)大數(shù)據(jù)具有規(guī)模龐大、業(yè)務(wù)復(fù)雜等的特點(diǎn),為數(shù)據(jù)存儲、查詢和分析計(jì)算帶了難度。為了優(yōu)化工業(yè)大數(shù)據(jù)存儲管理,提高系統(tǒng)存儲、查詢、分析效率,利用基于Hadoop技術(shù)針對業(yè)務(wù)庫和實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)庫的存儲管理進(jìn)行優(yōu)化。系統(tǒng)設(shè)計(jì)業(yè)務(wù)庫的集群化同步存儲架構(gòu),基于Maxwell組件將MySQL業(yè)務(wù)庫數(shù)據(jù)實(shí)時(shí)同步到HBase,實(shí)現(xiàn)業(yè)務(wù)庫的讀寫分離、提高數(shù)據(jù)查詢和數(shù)據(jù)分析的效率;其次,基于Kafka和Flink對業(yè)務(wù)庫同步數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算處理,實(shí)現(xiàn)高并發(fā)數(shù)據(jù)寫入場景下的低延遲響應(yīng);最后,實(shí)驗(yàn)進(jìn)行了HBase和MySQL的性能對比測試,結(jié)果表明本系統(tǒng)在大規(guī)模數(shù)據(jù)場景下具有更好的計(jì)算效率表現(xiàn),能夠有效進(jìn)行工業(yè)大數(shù)據(jù)分析存儲。 

【文章頁數(shù)】：4 頁

【文章目錄】：
引言
1 相關(guān)工作
    1.1 Hadoop平臺簡介
    1.2 Flink引擎簡介
    1.3 Maxwell簡介
2 系統(tǒng)總體設(shè)計(jì)
3 工業(yè)大數(shù)據(jù)存儲管理系統(tǒng)
    3.1 基于Maxwell的業(yè)務(wù)庫同步設(shè)計(jì)
    3.2 基于Kafka和Flink的實(shí)時(shí)計(jì)算
4 系統(tǒng)實(shí)現(xiàn)
    4.1 集群環(huán)境部署
    4.2 性能測試
5 結(jié)束語


【參考文獻(xiàn)】：
期刊論文
[1]工業(yè)大數(shù)據(jù)時(shí)代技術(shù)示能性研究綜述與未來展望[J]. 劉祎,王瑋.  科技進(jìn)步與對策. 2019(20)
[2]基于Hadoop的地質(zhì)礦產(chǎn)大數(shù)據(jù)分布式存儲方法[J]. 趙亞楠,李朝奎,肖克炎,范建福.  地質(zhì)通報(bào). 2019(Z1)
[3]一種面向工業(yè)互聯(lián)網(wǎng)的云存儲方法[J]. 孟祥曦,張凌,郭皓明,郭黎敏,夏乾臣,呂江花,馬世龍.  北京航空航天大學(xué)學(xué)報(bào). 2019(01)
[4]工業(yè)大數(shù)據(jù)分析技術(shù)的發(fā)展及其面臨的挑戰(zhàn)[J]. 何文韜,邵誠.  信息與控制. 2018(04)
[5]基于Hadoop、Spark及Flink大規(guī)模數(shù)據(jù)分析的性能評價(jià)[J]. 代明竹,高嵩峰.  中國電子科學(xué)研究院學(xué)報(bào). 2018(02)
[6]基于HBase的工業(yè)大數(shù)據(jù)時(shí)序數(shù)據(jù)存儲實(shí)現(xiàn)[J]. 張華偉,陳勇,李海斌,潘愛兵,趙俊,崔萌.  電信科學(xué). 2017(S1)
[7]智能變電設(shè)備監(jiān)控與決策輔助系統(tǒng)數(shù)據(jù)庫的設(shè)計(jì)與實(shí)現(xiàn)[J]. 黃新波,張瑜,朱波.  高壓電器. 2016(03)
[8]煤礦作業(yè)規(guī)程管理系統(tǒng)設(shè)計(jì)及關(guān)鍵技術(shù)研究[J]. 王瀚哲,楊超宇,梁胤程.  中國煤炭. 2014(12)
[9]在Hadoop集群下的智能電網(wǎng)數(shù)據(jù)云倉庫設(shè)計(jì)[J]. 鄭柏恒,孟文,易東,梁曉波.  制造業(yè)自動化. 2014(19)



本文編號：3723825