發(fā)布時(shí)間：2023-09-16 08:47

　　隨著大數(shù)據(jù)、物聯(lián)網(wǎng)技術(shù)的發(fā)展,市場(chǎng)上涌現(xiàn)了大量實(shí)時(shí)性要求較高的應(yīng)用。該類應(yīng)用要求數(shù)據(jù)被實(shí)時(shí)地收集、處理和分析,進(jìn)而能夠以亞秒級(jí)的延遲實(shí)時(shí)交付數(shù)據(jù)的處理結(jié)果。流計(jì)算正是為實(shí)時(shí)計(jì)算而生的一種新型計(jì)算范式。流式應(yīng)用通常持續(xù)不間斷運(yùn)行,難免運(yùn)行過程中會(huì)遇到各種故障,尤其是在大規(guī)模的分布式環(huán)境下。因此,流計(jì)算中的容錯(cuò)恢復(fù)一直是該領(lǐng)域的研究熱點(diǎn)。傳統(tǒng)面向流式應(yīng)用的容錯(cuò)策略主要包括:主動(dòng)備份、被動(dòng)備份、上游備份以及檢查點(diǎn)的卷回恢復(fù)。每一種容錯(cuò)手段都各有利弊。Flink流處理框架基于柵欄模型實(shí)現(xiàn)了一種輕量級(jí)的異步檢查點(diǎn),然而在使用過程中仍表現(xiàn)出一些不足之處有待優(yōu)化改進(jìn)。其一,Flink僅支持固定間隔的檢查點(diǎn)。檢查點(diǎn)間隔作為影響容錯(cuò)開銷與故障恢復(fù)時(shí)間的重要參數(shù),如果能根據(jù)流數(shù)據(jù)的動(dòng)態(tài)變化從而進(jìn)行相應(yīng)調(diào)整,將能大大地提升系統(tǒng)的運(yùn)行效率。其二,Flink僅支持基于檢查點(diǎn)的容錯(cuò)機(jī)制。在面向高可靠要求的流應(yīng)用時(shí),單一的檢查點(diǎn)恢復(fù)機(jī)制難以滿足應(yīng)用快速恢復(fù)的需求。為了解決上述兩方面問題,本文分別提出了兩種優(yōu)化改進(jìn)策略。一是檢查點(diǎn)間隔優(yōu)化模型。本文基于開環(huán)Jackson排隊(duì)網(wǎng)絡(luò)提出應(yīng)用處理的延遲模型與檢查點(diǎn)的故障恢復(fù)...

【文章頁數(shù)】：72 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 課題來源
    1.2 課題背景及研究的目的和意義
    1.3 國內(nèi)外研究現(xiàn)狀
        1.3.1 傳統(tǒng)流計(jì)算中的容錯(cuò)方法
        1.3.2 基于檢查點(diǎn)機(jī)制的容錯(cuò)方法
        1.3.3 基于多種方法融合的容錯(cuò)方法
        1.3.4 現(xiàn)有研究的不足
    1.4 本文的主要研究?jī)?nèi)容
    1.5 論文組織結(jié)構(gòu)
第2章 FLINK框架研究概述
    2.1 FLINK中核心概念
        2.1.1 FLINK的運(yùn)行架構(gòu)
        2.1.2 FLINK中的狀態(tài)管理
    2.2 FLINK中的容錯(cuò)機(jī)制分析
        2.2.1 一致性級(jí)別
        2.2.2 基于柵欄的異步檢查點(diǎn)機(jī)制
        2.2.3 兩階段提交協(xié)議
        2.2.4 故障恢復(fù)
    2.3 FLINK容錯(cuò)機(jī)制存在的問題
        2.3.1 檢查點(diǎn)間隔選擇問題
        2.3.2 恢復(fù)延遲過大的問題
        2.3.3 本文的工作
    2.4 本章小結(jié)
第3章 面向FLINK的檢查點(diǎn)間隔優(yōu)化模型
    3.1 系統(tǒng)模型描述
    3.2 排隊(duì)論概述
        3.2.1 排隊(duì)系統(tǒng)的組成與評(píng)價(jià)
        3.2.2 開環(huán)JACKSON排隊(duì)網(wǎng)絡(luò)
    3.3 基于開環(huán)JACKSON網(wǎng)絡(luò)的延遲模型
    3.4 檢查點(diǎn)故障恢復(fù)模型
    3.5 檢查點(diǎn)間隔優(yōu)化方法研究
    3.6 實(shí)驗(yàn)驗(yàn)證與分析
        3.6.1 實(shí)驗(yàn)環(huán)境
        3.6.2 檢查點(diǎn)延遲模型驗(yàn)證
        3.6.3 檢查點(diǎn)故障恢復(fù)模型驗(yàn)證
        3.6.4 優(yōu)化檢查點(diǎn)間隔方法驗(yàn)證
    3.7 本章小結(jié)
第4章 面向關(guān)鍵任務(wù)的部分主動(dòng)備份
    4.1 關(guān)鍵路徑與關(guān)鍵頂點(diǎn)挖掘方法分析
    4.2 加權(quán)有向無環(huán)圖模型建立
    4.3 資源約束下的關(guān)鍵任務(wù)挖掘
        4.3.1 關(guān)鍵度排序
        4.3.2 關(guān)鍵路徑挖掘
        4.3.3 資源約束下的關(guān)鍵任務(wù)選舉
    4.4 主動(dòng)備份及一致性保證
        4.4.1 主動(dòng)備份詳細(xì)過程
        4.4.2 主動(dòng)備份下保證恰好一次
    4.5 實(shí)驗(yàn)驗(yàn)證與分析
        4.5.1 實(shí)驗(yàn)拓?fù)?br>        4.5.2 實(shí)驗(yàn)結(jié)果與分析
    4.6 本章小結(jié)
結(jié)論與展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及其它成果
致謝



本文編號(hào)：3846692