隨著大規(guī)模流數(shù)據(jù)處理和分析技術(shù)的快速發(fā)展,近年來(lái)分布式流處理系統(tǒng)已被公認(rèn)為解決大規(guī)模數(shù)據(jù)流問(wèn)題的有效方法。因其擁有很強(qiáng)的并行處理能力和系統(tǒng)可擴(kuò)展性,成為廣受關(guān)注的新型分布式系統(tǒng)。隨著分布式系統(tǒng)規(guī)模不斷擴(kuò)展,系統(tǒng)故障率攀升,可靠性問(wèn)題加劇。生產(chǎn)環(huán)境的數(shù)據(jù)處理集群已突破萬(wàn)節(jié)點(diǎn)級(jí)別例如Google和Facebook等,此規(guī)模的分布式系統(tǒng)每天產(chǎn)生數(shù)個(gè)節(jié)點(diǎn)錯(cuò)誤。因此,故障容錯(cuò)成為分布式流處理系統(tǒng)中至關(guān)重要的問(wèn)題。分布式流處理系統(tǒng)迫切需要完善的故障容錯(cuò)支撐,主要有三方面原因。第一,流數(shù)據(jù)one pass的處理模式,導(dǎo)致珍貴的信息將在故障中永久性丟失,造成無(wú)法挽回的損失。流處理系統(tǒng)對(duì)容錯(cuò)開(kāi)銷(xiāo)和延遲有嚴(yán)格限制。第二,新的彈性流處理系統(tǒng)能滿足流處理中無(wú)縫適應(yīng)負(fù)載變化的要求,但也引入了容錯(cuò)問(wèn)題的新挑戰(zhàn)。第三,流數(shù)據(jù)負(fù)載不斷變化,現(xiàn)有靜態(tài)容錯(cuò)策略難以適應(yīng),引起不必要的運(yùn)行開(kāi)銷(xiāo),從而導(dǎo)致較低的節(jié)點(diǎn)級(jí)處理效率。圍繞上述三個(gè)方面,本文的具體工作和主要貢獻(xiàn)包括:（1）提出一種支持分布式流處理的低開(kāi)銷(xiāo)容錯(cuò)機(jī)制以及相關(guān)協(xié)議。所提出的機(jī)制和協(xié)議面向分布式流數(shù)據(jù)處理的實(shí)際容錯(cuò)需求,以實(shí)時(shí)流處理模型為基礎(chǔ),構(gòu)建檢查點(diǎn)異步更新... 

【文章來(lái)源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：117 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景與意義
        1.1.1 分布式流數(shù)據(jù)處理
        1.1.2 系統(tǒng)可靠性問(wèn)題與容錯(cuò)機(jī)制
        1.1.3 流數(shù)據(jù)處理容錯(cuò)技術(shù)的挑戰(zhàn)
    1.2 本文主要內(nèi)容
    1.3 論文組織結(jié)構(gòu)
第2章 相關(guān)研究現(xiàn)狀
    2.1 分布式流數(shù)據(jù)處理系統(tǒng)
        2.1.1 基于流式計(jì)算模型
        2.1.2 基于批量計(jì)算模型
    2.2 流處理自動(dòng)并行化技術(shù)
    2.3 容錯(cuò)技術(shù)
        2.3.1 主動(dòng)式備份
        2.3.2 被動(dòng)式備份
    2.4 本章小結(jié)
第3章 支持分布式流處理的低開(kāi)銷(xiāo)容錯(cuò)機(jī)制
    3.1 引言
    3.2 相關(guān)工作
    3.3 通用分布式流處理框架
    3.4 系統(tǒng)模型
        3.4.1 流數(shù)據(jù)處理作業(yè)
        3.4.2 節(jié)點(diǎn)運(yùn)行狀態(tài)
    3.5 低開(kāi)銷(xiāo)容錯(cuò)機(jī)制
        3.5.1 異步檢查點(diǎn)
        3.5.2 上游數(shù)據(jù)備份
    3.6 容錯(cuò)協(xié)議及算法
        3.6.1 上游備份協(xié)議
        3.6.2 協(xié)議開(kāi)銷(xiāo)分析
        3.6.3 快速恢復(fù)算法
    3.7 實(shí)驗(yàn)結(jié)果與性能分析
        3.7.1 系統(tǒng)原型實(shí)現(xiàn)
        3.7.2 實(shí)驗(yàn)設(shè)置
        3.7.3 容錯(cuò)通訊開(kāi)銷(xiāo)
        3.7.4 容錯(cuò)延遲開(kāi)銷(xiāo)
        3.7.5 容錯(cuò)內(nèi)存開(kāi)銷(xiāo)
        3.7.6 故障恢復(fù)測(cè)試
    3.8 本章小結(jié)
第4章 支持彈性流處理的自適應(yīng)容錯(cuò)機(jī)制
    4.1 引言
    4.2 相關(guān)工作
    4.3 彈性流處理下容錯(cuò)問(wèn)題建模
        4.3.1 問(wèn)題概述
        4.3.2 備份調(diào)整函數(shù)
        4.3.3 問(wèn)題模型假設(shè)
    4.4 支持彈性流處理的自適應(yīng)容錯(cuò)機(jī)制
        4.4.1 彈性數(shù)據(jù)備份單元
        4.4.2 數(shù)據(jù)依賴關(guān)系追蹤
        4.4.3 在線檢查點(diǎn)調(diào)整機(jī)制
    4.5 在線調(diào)整容錯(cuò)協(xié)議
    4.6 實(shí)驗(yàn)與結(jié)果分析
        4.6.1 系統(tǒng)原型實(shí)現(xiàn)
        4.6.2 實(shí)驗(yàn)設(shè)置
        4.6.3 容錯(cuò)開(kāi)銷(xiāo)測(cè)試
        4.6.4 故障恢復(fù)測(cè)試
        4.6.5 綜合性能比較
    4.7 本章總結(jié)
第5章 負(fù)載感知的最佳檢查點(diǎn)間隔策略
    5.1 引言
    5.2 相關(guān)工作
    5.3 最優(yōu)檢查點(diǎn)問(wèn)題建模
        5.3.1 系統(tǒng)模型
        5.3.2 處理效率
        5.3.3 問(wèn)題定義
    5.4 動(dòng)態(tài)最優(yōu)檢查點(diǎn)間隔(DOCI)模型
        5.4.1 在線恢復(fù)時(shí)間預(yù)測(cè)
        5.4.2 最佳檢查點(diǎn)時(shí)間間隔
    5.5 動(dòng)態(tài)OCI調(diào)整策略
        5.5.1 動(dòng)態(tài)OCI調(diào)整算法
        5.5.2 緩存對(duì)OCI的影響
    5.6 實(shí)驗(yàn)與結(jié)果分析
        5.6.1 模擬方法
        5.6.2 恒定輸入率下的效率測(cè)試
        5.6.3 工作量波動(dòng)下的效率測(cè)試
        5.6.4 備份緩存區(qū)容量的影響測(cè)試
    5.7 應(yīng)用場(chǎng)景
    5.8 本章總結(jié)
第6章 總結(jié)與展望
    6.1 總結(jié)
    6.2 未來(lái)研究展望
參考文獻(xiàn)
作者簡(jiǎn)介及科研成果
致謝



本文編號(hào)：3172907