隨著大數(shù)據(jù)、物聯(lián)網(wǎng)技術(shù)的發(fā)展,市場上涌現(xiàn)了大量實時性要求較高的應(yīng)用。該類應(yīng)用要求數(shù)據(jù)被實時地收集、處理和分析,進而能夠以亞秒級的延遲實時交付數(shù)據(jù)的處理結(jié)果。流計算正是為實時計算而生的一種新型計算范式。流式應(yīng)用通常持續(xù)不間斷運行,難免運行過程中會遇到各種故障,尤其是在大規(guī)模的分布式環(huán)境下。因此,流計算中的容錯恢復(fù)一直是該領(lǐng)域的研究熱點。傳統(tǒng)面向流式應(yīng)用的容錯策略主要包括:主動備份、被動備份、上游備份以及檢查點的卷回恢復(fù)。每一種容錯手段都各有利弊。Flink流處理框架基于柵欄模型實現(xiàn)了一種輕量級的異步檢查點,然而在使用過程中仍表現(xiàn)出一些不足之處有待優(yōu)化改進。其一,Flink僅支持固定間隔的檢查點。檢查點間隔作為影響容錯開銷與故障恢復(fù)時間的重要參數(shù),如果能根據(jù)流數(shù)據(jù)的動態(tài)變化從而進行相應(yīng)調(diào)整,將能大大地提升系統(tǒng)的運行效率。其二,Flink僅支持基于檢查點的容錯機制。在面向高可靠要求的流應(yīng)用時,單一的檢查點恢復(fù)機制難以滿足應(yīng)用快速恢復(fù)的需求。為了解決上述兩方面問題,本文分別提出了兩種優(yōu)化改進策略。一是檢查點間隔優(yōu)化模型。本文基于開環(huán)Jackson排隊網(wǎng)絡(luò)提出應(yīng)用處理的延遲模型與檢查點的故障恢復(fù)...

【文章頁數(shù)】：72 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 課題來源
    1.2 課題背景及研究的目的和意義
    1.3 國內(nèi)外研究現(xiàn)狀
        1.3.1 傳統(tǒng)流計算中的容錯方法
        1.3.2 基于檢查點機制的容錯方法
        1.3.3 基于多種方法融合的容錯方法
        1.3.4 現(xiàn)有研究的不足
    1.4 本文的主要研究內(nèi)容
    1.5 論文組織結(jié)構(gòu)
第2章 FLINK框架研究概述
    2.1 FLINK中核心概念
        2.1.1 FLINK的運行架構(gòu)
        2.1.2 FLINK中的狀態(tài)管理
    2.2 FLINK中的容錯機制分析
        2.2.1 一致性級別
        2.2.2 基于柵欄的異步檢查點機制
        2.2.3 兩階段提交協(xié)議
        2.2.4 故障恢復(fù)
    2.3 FLINK容錯機制存在的問題
        2.3.1 檢查點間隔選擇問題
        2.3.2 恢復(fù)延遲過大的問題
        2.3.3 本文的工作
    2.4 本章小結(jié)
第3章 面向FLINK的檢查點間隔優(yōu)化模型
    3.1 系統(tǒng)模型描述
    3.2 排隊論概述
        3.2.1 排隊系統(tǒng)的組成與評價
        3.2.2 開環(huán)JACKSON排隊網(wǎng)絡(luò)
    3.3 基于開環(huán)JACKSON網(wǎng)絡(luò)的延遲模型
    3.4 檢查點故障恢復(fù)模型
    3.5 檢查點間隔優(yōu)化方法研究
    3.6 實驗驗證與分析
        3.6.1 實驗環(huán)境
        3.6.2 檢查點延遲模型驗證
        3.6.3 檢查點故障恢復(fù)模型驗證
        3.6.4 優(yōu)化檢查點間隔方法驗證
    3.7 本章小結(jié)
第4章 面向關(guān)鍵任務(wù)的部分主動備份
    4.1 關(guān)鍵路徑與關(guān)鍵頂點挖掘方法分析
    4.2 加權(quán)有向無環(huán)圖模型建立
    4.3 資源約束下的關(guān)鍵任務(wù)挖掘
        4.3.1 關(guān)鍵度排序
        4.3.2 關(guān)鍵路徑挖掘
        4.3.3 資源約束下的關(guān)鍵任務(wù)選舉
    4.4 主動備份及一致性保證
        4.4.1 主動備份詳細過程
        4.4.2 主動備份下保證恰好一次
    4.5 實驗驗證與分析
        4.5.1 實驗拓撲
        4.5.2 實驗結(jié)果與分析
    4.6 本章小結(jié)
結(jié)論與展望
參考文獻
攻讀碩士學位期間發(fā)表的論文及其它成果
致謝



本文編號：3846692