發(fā)布時(shí)間：2022-07-29 18:16

　　隨著分布式技術(shù)的發(fā)展,以及各種分布式計(jì)算框架在多個(gè)領(lǐng)域得到廣泛的使用,數(shù)據(jù)處理模式開始從離線數(shù)據(jù)處理轉(zhuǎn)向?qū)崟r(shí)數(shù)據(jù)處理,從而根據(jù)數(shù)據(jù)變化快速做出決策。因此,實(shí)時(shí)計(jì)算系統(tǒng)逐漸成為企業(yè)實(shí)時(shí)數(shù)據(jù)處理必不可少的工具,對(duì)企業(yè)未來(lái)的發(fā)展也有著不可替代的作用。傳統(tǒng)實(shí)時(shí)數(shù)據(jù)處理模式,是通過(guò)使用實(shí)時(shí)計(jì)算框架內(nèi)部提供的程序調(diào)用接口,針對(duì)某一特定業(yè)務(wù)場(chǎng)景編寫程序,并通過(guò)主動(dòng)上傳程序包的方式將該程序提交到已有的集群資源中。這種數(shù)據(jù)處理模式有很多弊端,首先編寫實(shí)時(shí)計(jì)算程序?qū)﹂_發(fā)人員的技能要求比較高,開發(fā)人員需要具備一定的分布式計(jì)算相關(guān)的開發(fā)經(jīng)驗(yàn),顯然在很多傳統(tǒng)企業(yè)中很少有相關(guān)技能人員儲(chǔ)備。其次,程序的部署和作業(yè)監(jiān)控很不便捷,開發(fā)人員需要主動(dòng)上傳并啟動(dòng)任務(wù),同時(shí)通過(guò)集群命令跟蹤程序的執(zhí)行情況。因此,本文提出使用Flink實(shí)時(shí)計(jì)算框架構(gòu)建實(shí)時(shí)計(jì)算平臺(tái),從而簡(jiǎn)化復(fù)雜的實(shí)時(shí)計(jì)算任務(wù)的開發(fā)及繁瑣的任務(wù)部署、監(jiān)控。本文主要圍繞以下四個(gè)方面來(lái)展開:第一,擴(kuò)展Flink實(shí)時(shí)計(jì)算框架功能,并將其作為實(shí)時(shí)數(shù)據(jù)處理的底層引擎。Flink提供了 SQL語(yǔ)法可以對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行DML（data manipulation language）操... 

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景及意義
        1.1.1 研究背景
        1.1.2 研究意義
    1.2 研究現(xiàn)狀
        1.2.1 Storm
        1.2.2 Spark Streaming
    1.3 本文主要工作
    1.4 本文目錄結(jié)構(gòu)
第2章 相關(guān)理論與技術(shù)研究
    2.1 維表關(guān)聯(lián)
    2.2 Flink實(shí)時(shí)計(jì)算框架
        2.2.1 概述
        2.2.2 集群架構(gòu)
        2.2.3 四層執(zhí)行圖
        2.2.4 容錯(cuò)機(jī)制
    2.3 Kafka消息系統(tǒng)
        2.3.1 Kafka集群架構(gòu)
        2.3.2 Topic和日志
    2.4 Prometheus監(jiān)控告警框架
        2.4.1 Prometheus組件及架構(gòu)
    2.5 本章小結(jié)
第3章 實(shí)時(shí)計(jì)算平臺(tái)總體架構(gòu)設(shè)計(jì)
    3.1 系統(tǒng)架構(gòu)設(shè)計(jì)圖
    3.2 系統(tǒng)模塊功能介紹
        3.2.1 執(zhí)行層
        3.2.2 調(diào)度層
        3.2.3 可視化層
    3.3 本章小結(jié)
第4章 實(shí)時(shí)計(jì)算平臺(tái)詳細(xì)設(shè)計(jì)
    4.1 執(zhí)行層核心功能設(shè)計(jì)
        4.1.1 核心功能設(shè)計(jì)
        4.1.2 源表數(shù)據(jù)源配置
        4.1.3 維表數(shù)據(jù)源配置
        4.1.4 結(jié)果表數(shù)據(jù)源配置
    4.2 調(diào)度層功能設(shè)計(jì)
        4.2.1 節(jié)點(diǎn)心跳管理
        4.2.2 Leader選舉
        4.2.3 Checkpoint管理
        4.2.4 任務(wù)調(diào)度流程
    4.3 可視化層功能設(shè)計(jì)
        4.3.1 數(shù)據(jù)源管理
        4.3.2 集群參數(shù)配置
        4.3.3 運(yùn)行日志展示
        4.3.4 監(jiān)控指標(biāo)展示
    4.4 本章小結(jié)
第5章 實(shí)時(shí)計(jì)算平臺(tái)系統(tǒng)實(shí)現(xiàn)
    5.1 實(shí)驗(yàn)環(huán)境與開發(fā)工具
        5.1.1 實(shí)驗(yàn)環(huán)境
        5.1.2 開發(fā)工具
        5.1.3 項(xiàng)目部署
    5.2 數(shù)據(jù)庫(kù)存儲(chǔ)設(shè)計(jì)
    5.3 系統(tǒng)主要功能實(shí)現(xiàn)
        5.3.1 數(shù)據(jù)源管理
        5.3.2 實(shí)時(shí)任務(wù)開發(fā)
        5.3.3 任務(wù)運(yùn)維監(jiān)控
    5.4 本章小結(jié)
第6章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
致謝
參考文獻(xiàn)



本文編號(hào)：3666939