由于并行計(jì)算框架Spark緩存替換算法的粗糙性,LRU（least recently used）算法并未考慮RDD的重復(fù)使用導(dǎo)致易把高重用數(shù)據(jù)塊替換出內(nèi)存且作業(yè)執(zhí)行效率較低等問題。通過優(yōu)化權(quán)重模型和改進(jìn)替換策略,提出了一種高效RDD自主緩存替換策略（efficient RDD automatic cache,ERAC）,包括高重用自主緩存算法和緩存替換分級(jí)算法,可實(shí)現(xiàn)高效RDD的自主緩存和緩存目標(biāo)的分級(jí)替換。最后利用SNAP（Stanford Network Analysis Project）提供的標(biāo)準(zhǔn)數(shù)據(jù)集將ERAC和LRU、RA（register allocation）等算法進(jìn)行了對(duì)比實(shí)驗(yàn),結(jié)果顯示ERAC算法能夠有效提高Spark的內(nèi)存利用率和任務(wù)執(zhí)行效率。 

【文章來源】：計(jì)算機(jī)應(yīng)用研究. 2020,37(10)北大核心CSCD

【文章頁數(shù)】：5 頁

【文章目錄】：
0 引言
1 方法
    1.1 RDD分區(qū)依賴機(jī)制介紹
    1.2 高效RDD自主緩存替換策略(ERAC)
        1.2.1 高效RDD自主緩存模型
        1.2.2 緩存替換目標(biāo)分級(jí)模型
2 實(shí)驗(yàn)
    2.1 實(shí)驗(yàn)環(huán)境
    2.2 實(shí)驗(yàn)結(jié)果分析比較
        2.2.1 各緩存替換算法量化因素對(duì)比分析
        2.2.2 各緩存替換算法對(duì)比
        2.2.3 緩存命中率對(duì)比
        2.2.4 綜合實(shí)驗(yàn)分析
3 結(jié)束語


【參考文獻(xiàn)】：
期刊論文
[1]Spark框架中RDD緩存替換策略優(yōu)化[J]. 陳天宇,張龍信,李肯立,周立前.  小型微型計(jì)算機(jī)系統(tǒng). 2019(06)
[2]并行計(jì)算框架Spark中一種新的RDD分區(qū)權(quán)重緩存替換算法[J]. 劉恒,譚良.  小型微型計(jì)算機(jī)系統(tǒng). 2018(10)
[3]Hadoop與Spark應(yīng)用場(chǎng)景研究[J]. 馮興杰,王文超.  計(jì)算機(jī)應(yīng)用研究. 2018(09)
[4]并行計(jì)算框架Spark的自適應(yīng)緩存管理策略[J]. 卞琛,于炯,英昌甜,修位蓉.  電子學(xué)報(bào). 2017(02)

碩士論文
[1]集群計(jì)算引擎Spark中的內(nèi)存優(yōu)化研究與實(shí)現(xiàn)[D]. 馮琳.清華大學(xué) 2013



本文編號(hào)：3236274