發(fā)布時間：2022-07-29 18:16

　　隨著分布式技術的發(fā)展,以及各種分布式計算框架在多個領域得到廣泛的使用,數據處理模式開始從離線數據處理轉向實時數據處理,從而根據數據變化快速做出決策。因此,實時計算系統(tǒng)逐漸成為企業(yè)實時數據處理必不可少的工具,對企業(yè)未來的發(fā)展也有著不可替代的作用。傳統(tǒng)實時數據處理模式,是通過使用實時計算框架內部提供的程序調用接口,針對某一特定業(yè)務場景編寫程序,并通過主動上傳程序包的方式將該程序提交到已有的集群資源中。這種數據處理模式有很多弊端,首先編寫實時計算程序對開發(fā)人員的技能要求比較高,開發(fā)人員需要具備一定的分布式計算相關的開發(fā)經驗,顯然在很多傳統(tǒng)企業(yè)中很少有相關技能人員儲備。其次,程序的部署和作業(yè)監(jiān)控很不便捷,開發(fā)人員需要主動上傳并啟動任務,同時通過集群命令跟蹤程序的執(zhí)行情況。因此,本文提出使用Flink實時計算框架構建實時計算平臺,從而簡化復雜的實時計算任務的開發(fā)及繁瑣的任務部署、監(jiān)控。本文主要圍繞以下四個方面來展開:第一,擴展Flink實時計算框架功能,并將其作為實時數據處理的底層引擎。Flink提供了 SQL語法可以對實時數據進行DML（data manipulation language）操... 

【文章頁數】：72 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景及意義
        1.1.1 研究背景
        1.1.2 研究意義
    1.2 研究現(xiàn)狀
        1.2.1 Storm
        1.2.2 Spark Streaming
    1.3 本文主要工作
    1.4 本文目錄結構
第2章 相關理論與技術研究
    2.1 維表關聯(lián)
    2.2 Flink實時計算框架
        2.2.1 概述
        2.2.2 集群架構
        2.2.3 四層執(zhí)行圖
        2.2.4 容錯機制
    2.3 Kafka消息系統(tǒng)
        2.3.1 Kafka集群架構
        2.3.2 Topic和日志
    2.4 Prometheus監(jiān)控告警框架
        2.4.1 Prometheus組件及架構
    2.5 本章小結
第3章 實時計算平臺總體架構設計
    3.1 系統(tǒng)架構設計圖
    3.2 系統(tǒng)模塊功能介紹
        3.2.1 執(zhí)行層
        3.2.2 調度層
        3.2.3 可視化層
    3.3 本章小結
第4章 實時計算平臺詳細設計
    4.1 執(zhí)行層核心功能設計
        4.1.1 核心功能設計
        4.1.2 源表數據源配置
        4.1.3 維表數據源配置
        4.1.4 結果表數據源配置
    4.2 調度層功能設計
        4.2.1 節(jié)點心跳管理
        4.2.2 Leader選舉
        4.2.3 Checkpoint管理
        4.2.4 任務調度流程
    4.3 可視化層功能設計
        4.3.1 數據源管理
        4.3.2 集群參數配置
        4.3.3 運行日志展示
        4.3.4 監(jiān)控指標展示
    4.4 本章小結
第5章 實時計算平臺系統(tǒng)實現(xiàn)
    5.1 實驗環(huán)境與開發(fā)工具
        5.1.1 實驗環(huán)境
        5.1.2 開發(fā)工具
        5.1.3 項目部署
    5.2 數據庫存儲設計
    5.3 系統(tǒng)主要功能實現(xiàn)
        5.3.1 數據源管理
        5.3.2 實時任務開發(fā)
        5.3.3 任務運維監(jiān)控
    5.4 本章小結
第6章 總結與展望
    6.1 總結
    6.2 展望
致謝
參考文獻



本文編號：3666939