工業(yè)4.0時(shí)代的到來,加上互聯(lián)網(wǎng)和計(jì)算機(jī)技術(shù)的迅速發(fā)展,為工業(yè)生產(chǎn)和工業(yè)管理等環(huán)節(jié)帶來了大量的工業(yè)數(shù)據(jù),工業(yè)大數(shù)據(jù)的分析挖掘成為未來工業(yè)信息化發(fā)展的關(guān)鍵。但是工業(yè)領(lǐng)域涉及廣泛、結(jié)構(gòu)復(fù)雜、影響因素多樣,工業(yè)大數(shù)據(jù)具有數(shù)據(jù)量大、實(shí)時(shí)性高、結(jié)構(gòu)復(fù)雜、存儲(chǔ)介質(zhì)多樣等特點(diǎn)。隨著數(shù)據(jù)量的累計(jì),傳統(tǒng)的數(shù)據(jù)處理方式難以解決工業(yè)大數(shù)據(jù)數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜的難題,亟需新的工業(yè)大數(shù)據(jù)平臺(tái)來統(tǒng)一管理這些海量的數(shù)據(jù),并盡可能的挖掘這些數(shù)據(jù)潛在價(jià)值,為智能化生產(chǎn)提供決策。本文依據(jù)工業(yè)大數(shù)據(jù)的特點(diǎn)與需求,設(shè)計(jì)了一個(gè)面向工業(yè)的數(shù)據(jù)處理系統(tǒng),該系統(tǒng)設(shè)計(jì)了五層架構(gòu)體系。分別為數(shù)據(jù)采集層、數(shù)據(jù)緩沖層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)分析層和交互層。數(shù)據(jù)采集層主要的功能是與數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備進(jìn)行通信,負(fù)責(zé)工業(yè)生產(chǎn)過程中實(shí)時(shí)數(shù)據(jù)的采集;采集層之上是數(shù)據(jù)緩沖層,利用了Kafka分布式消息中間件,對(duì)實(shí)時(shí)采集的數(shù)據(jù)進(jìn)行緩沖和臨時(shí)存儲(chǔ),目的是實(shí)現(xiàn)數(shù)據(jù)采集和數(shù)據(jù)處理的解耦;數(shù)據(jù)存儲(chǔ)層位于緩沖層之上,針對(duì)工業(yè)數(shù)據(jù)多源異構(gòu)同的特點(diǎn),選取了MySQL和分布式文件系統(tǒng)HDFS作為存儲(chǔ)介質(zhì),負(fù)責(zé)工業(yè)數(shù)據(jù)的多級(jí)別存儲(chǔ)功能,解決工業(yè)海量數(shù)據(jù)的存儲(chǔ)問題;數(shù)據(jù)分析層以Spark... 

【文章來源】：大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：72 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 互聯(lián)網(wǎng)領(lǐng)域大數(shù)據(jù)研究現(xiàn)狀
        1.2.2 工業(yè)領(lǐng)域大數(shù)據(jù)研究現(xiàn)狀
    1.3 研究目標(biāo)和內(nèi)容
    1.4 論文章節(jié)安排
2 系統(tǒng)需求分析及相關(guān)技術(shù)研究
    2.1 系統(tǒng)需求分析
    2.2 相關(guān)技術(shù)研究
        2.2.1 分布式文件系統(tǒng)HDFS
        2.2.2 數(shù)據(jù)倉庫技術(shù)Hive
        2.2.3 NoSQL數(shù)據(jù)庫HBase
        2.2.4 分布式消息隊(duì)列Kafka
        2.2.5 大數(shù)據(jù)計(jì)算框架Spark
    2.3 本章小結(jié)
3 工業(yè)大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)
    3.1 系統(tǒng)設(shè)計(jì)目標(biāo)
    3.2 系統(tǒng)架構(gòu)設(shè)計(jì)
    3.3 系統(tǒng)各個(gè)層次的設(shè)計(jì)
        3.3.1 數(shù)據(jù)采集層設(shè)計(jì)
        3.3.2 緩沖層設(shè)計(jì)
        3.3.3 數(shù)據(jù)存儲(chǔ)層設(shè)計(jì)
        3.3.4 數(shù)據(jù)分析層設(shè)計(jì)
        3.3.5 交互層設(shè)計(jì)
    3.4 本章小結(jié)
4 系統(tǒng)實(shí)現(xiàn)與工業(yè)應(yīng)用案例
    4.1 系統(tǒng)運(yùn)行環(huán)境
        4.1.1 硬件環(huán)境
        4.1.2 軟件環(huán)境
    4.2 系統(tǒng)集群搭建
    4.3 系統(tǒng)各個(gè)層次實(shí)現(xiàn)及應(yīng)用
        4.3.1 系統(tǒng)開發(fā)架構(gòu)
        4.3.2 數(shù)據(jù)采集層的實(shí)現(xiàn)
        4.3.3 緩沖層的實(shí)現(xiàn)
        4.3.4 數(shù)據(jù)存儲(chǔ)層的實(shí)現(xiàn)
        4.3.5 數(shù)據(jù)分析層的實(shí)現(xiàn)
        4.3.6 交互層的實(shí)現(xiàn)
    4.4 本章小結(jié)
結(jié)論
參考文獻(xiàn)
致謝



本文編號(hào)：3114413