隨著大數(shù)據(jù)時代的到來,計算機需要處理的數(shù)據(jù)量與日俱增,面對互聯(lián)網(wǎng)、工業(yè)物聯(lián)網(wǎng)等領(lǐng)域不斷增長的數(shù)據(jù)規(guī)模和計算需求,單個計算節(jié)點不再能有效地滿足數(shù)據(jù)存儲和處理的需要。在這樣的背景下,Apache Spark作為一種具有良好計算性能和環(huán)境適應(yīng)性的分布式計算框架,得到了廣泛地使用。Spark有數(shù)十個可以影響系統(tǒng)行為的參數(shù),這些參數(shù)可以通過改變計算任務(wù)的并行度和使用的內(nèi)存大小等方式,顯著地影響Spark應(yīng)用的性能。目前這些參數(shù)通常由系統(tǒng)管理員手動調(diào)整,然而人工調(diào)參方法對于使用者的專業(yè)能力有一定的要求,并且由于可調(diào)參數(shù)數(shù)量眾多以及集群環(huán)境之間的差異,具有較大的局限性,難以滿足所有Spark應(yīng)用場景下的需要。為解決上述問題,本文對如何自動化地進行Spark應(yīng)用參數(shù)調(diào)整做了研究。本文分別研究了如何利用應(yīng)用歷史運行數(shù)據(jù)來進行自動參數(shù)調(diào)優(yōu)的問題和在缺少應(yīng)用歷史數(shù)據(jù)的情況下如何自動優(yōu)化參數(shù)的問題。除此以外,本文還探討了如何基于統(tǒng)計方法進一步提升參數(shù)優(yōu)化效果,并且對這種方法的適用性進行了探討,最后在前述方法的基礎(chǔ)上,實現(xiàn)了一個自動在Spark on yarn部署模式下工作的參數(shù)優(yōu)化系統(tǒng)。在應(yīng)用運行歷史記錄充足... 

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 課題背景及研究意義
        1.1.1 Apache Spark簡介
        1.1.2 Apache Spark系統(tǒng)中參數(shù)的作用與對應(yīng)用性能的影響
    1.2 Apache Spark性能優(yōu)化研究概況
        1.2.1 國內(nèi)外研究現(xiàn)狀
        1.2.2 存在的不足和有待深入研究的問題
    1.3 本文主要研究內(nèi)容
    1.4 本文組織結(jié)構(gòu)
第2章 基于機器學習方法的參數(shù)調(diào)優(yōu)
    2.1 引言
    2.2 基于機器學習方法的應(yīng)用性能預測模型
    2.3 參數(shù)空間搜索
    2.4 優(yōu)化效果
    2.5 本章小結(jié)
第3章 基于混合優(yōu)化方案的參數(shù)調(diào)優(yōu)
    3.1 引言
    3.2 啟發(fā)式優(yōu)化方法
    3.3 混合優(yōu)化方法
    3.4 混合優(yōu)化方法的參數(shù)優(yōu)化效果
    3.5 本章小結(jié)
第4章 機器學習模型對優(yōu)化效果的影響
    4.1 引言
    4.2 預測速度與精度對優(yōu)化效果的影響
    4.3 改進的機器學習模型選擇方法
    4.4 本章小結(jié)
第5章 Spark自動優(yōu)化系統(tǒng)的實現(xiàn)
    5.1 引言
    5.2 Spark自動優(yōu)化系統(tǒng)的工作流程
    5.3 用戶接口設(shè)計
    5.4 配置文件
    5.5 Spark自動優(yōu)化系統(tǒng)的優(yōu)化效果
        5.5.1 實驗環(huán)境
        5.5.2 實驗結(jié)果與討論
    5.6 本章小結(jié)
結(jié)論
參考文獻
攻讀碩士學位期間發(fā)表的論文及其它成果
致謝


【參考文獻】：
期刊論文
[1]Spark性能優(yōu)化技術(shù)研究綜述[J]. 廖湖聲,黃珊珊,徐俊剛,劉仁峰.  計算機科學. 2018(07)
[2]基于數(shù)據(jù)特性的Spark任務(wù)性能優(yōu)化[J]. 柴寧,吳毅堅,趙文耘.  計算機應(yīng)用與軟件. 2018(01)
[3]Spark平臺中任務(wù)執(zhí)行時間預測方法研究[J]. 劉思宇,梁毅,陳誠,陳翔.  軟件導刊. 2017(12)
[4]異構(gòu)Spark集群下自適應(yīng)任務(wù)調(diào)度策略[J]. 楊志偉,鄭烇,王嵩,楊堅,周樂樂.  計算機工程. 2016(01)
[5]基于運行數(shù)據(jù)分析的Spark任務(wù)參數(shù)優(yōu)化[J]. 陳僑安,李峰,曹越,龍明盛.  計算機工程與科學. 2016(01)



本文編號：3648905