發(fā)布時間：2023-05-06 16:28

　　Spark是大數(shù)據(jù)內(nèi)存計(jì)算系統(tǒng)的典型代表,通過基于內(nèi)存的數(shù)據(jù)緩存加速迭代型、交互式等大數(shù)據(jù)應(yīng)用的運(yùn)行�；跁r間窗口的數(shù)據(jù)分析是一類典型的大數(shù)據(jù)應(yīng)用,其特征在于依據(jù)數(shù)據(jù)產(chǎn)生的時序,對海量數(shù)據(jù)集基于時間窗口依次進(jìn)行局部分析處理,并將局部處理結(jié)果進(jìn)行全局聚合,形成最終的分析結(jié)果。本文針對該類應(yīng)用的數(shù)據(jù)訪問模式,開展Spark系統(tǒng)數(shù)據(jù)緩存技術(shù)研究,通過數(shù)據(jù)緩存編程接口、時間窗口數(shù)據(jù)預(yù)取機(jī)制以及局部結(jié)果緩存放置策略的設(shè)計(jì)與實(shí)現(xiàn),提高Spark系統(tǒng)中基于時間窗口的數(shù)據(jù)分析應(yīng)用數(shù)據(jù)讀取效率,進(jìn)而加速該類應(yīng)用的運(yùn)行。本文的主要貢獻(xiàn)如下:1)提出了面向時間窗口數(shù)據(jù)分析應(yīng)用的RDD動態(tài)更新機(jī)制并擴(kuò)展編程接口。該機(jī)制根據(jù)時間窗口數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)處理時序特征,通過修改RDD生成機(jī)制,實(shí)現(xiàn)RDD數(shù)據(jù)分時、動態(tài)更新,確保當(dāng)前時間窗口數(shù)據(jù)緩存命中;同時提供相應(yīng)的擴(kuò)展編程接口,支持用戶表達(dá)時間窗口數(shù)據(jù)分時處理需求,降低了應(yīng)用的開發(fā)難度。2)提出了基于流水線的緩存RDD數(shù)據(jù)預(yù)取機(jī)制。該機(jī)制在預(yù)評估時間窗口數(shù)據(jù)處理產(chǎn)生的結(jié)果數(shù)據(jù)膨脹規(guī)模的基礎(chǔ)上,設(shè)計(jì)緩存RDD數(shù)據(jù)預(yù)取時機(jī)及預(yù)取規(guī)模,同時在綜合考慮數(shù)據(jù)本地化處理以及任務(wù)...

【文章頁數(shù)】：74 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 選題背景和研究意義
        1.1.1 時間窗口數(shù)據(jù)分析
        1.1.2 Spark內(nèi)存計(jì)算系統(tǒng)
        1.1.3 面向時間窗口數(shù)據(jù)分析的Spark緩存技術(shù)研究意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文的主要貢獻(xiàn)
    1.4 本文的組織結(jié)構(gòu)
    1.5 本章小結(jié)
第2章 相關(guān)工作
    2.1 Spark系統(tǒng)
        2.1.1 Spark系統(tǒng)概述
        2.1.2 Spark整體架構(gòu)
        2.1.3 Spark作業(yè)執(zhí)行流程
        2.1.4 Spark系統(tǒng)內(nèi)存管理
    2.2 Spark中的緩存管理
    2.3 其他大數(shù)據(jù)系統(tǒng)的緩存數(shù)據(jù)管理
        2.3.1 緩存數(shù)據(jù)預(yù)取
        2.3.2 緩存數(shù)據(jù)替換
        2.3.3 緩存數(shù)據(jù)遷移
        2.3.4 緩存數(shù)據(jù)放置
    2.4 本章小結(jié)
第3章 問題分析與動態(tài)RDD的提出
    3.1 Spark緩存空間及管理機(jī)制
    3.2 問題分析
    3.3 TW-Spark的總體設(shè)計(jì)
    3.4 編程模型
    3.5 RDD動態(tài)更新機(jī)制
    3.6 本章小結(jié)
第4章 基于流水線的Spark緩存預(yù)取機(jī)制
    4.1 基于流水線的Spark緩存RDD預(yù)取基本思想
    4.2 預(yù)取時機(jī)選取
    4.3 預(yù)取機(jī)制的預(yù)取數(shù)據(jù)規(guī)模
    4.4 預(yù)取機(jī)制的數(shù)據(jù)放置位置選取
    4.5 本章小結(jié)
第5章 時間窗口局部結(jié)果數(shù)據(jù)遷移策略
    5.1 問題描述
    5.2 局部結(jié)果數(shù)據(jù)遷移時機(jī)及規(guī)模選擇
    5.3 局部結(jié)果數(shù)據(jù)遷移目標(biāo)節(jié)點(diǎn)選擇
        5.3.1 相關(guān)定義
        5.3.2 局部結(jié)果數(shù)據(jù)遷移策略的數(shù)學(xué)模型
        5.3.3 基于遺傳算法的遷移目標(biāo)選取
            5.3.3.1 遺傳算法簡介
            5.3.3.2 基于遺傳算法的局部結(jié)果數(shù)據(jù)遷移策略建模
    5.4 局部結(jié)果數(shù)據(jù)遷移策略
    5.5 本章小結(jié)
第6章 性能測試與分析
    6.1 測試環(huán)境
    6.2 測試負(fù)載的選取及試驗(yàn)方法
    6.3 性能評價指標(biāo)
    6.4 性能測試結(jié)果及分析
        6.4.1 時間窗口數(shù)據(jù)分析應(yīng)用測試結(jié)果與分析
        6.4.2 微觀性能測試的測試結(jié)果與分析
    6.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間獲得的科研成果
致謝



本文編號：3809244