隨著大數(shù)據(jù)處理框架應(yīng)用越來(lái)越廣泛,大數(shù)據(jù)處理應(yīng)用程序性能預(yù)測(cè)的需求也越來(lái)越多。Spark是一種基于分布式內(nèi)存計(jì)算的大數(shù)據(jù)處理框架,憑借其更快的處理速度、良好的擴(kuò)展性和容錯(cuò)性,在業(yè)界已得到廣泛認(rèn)可。然而Spark負(fù)載的執(zhí)行時(shí)間根據(jù)輸入數(shù)據(jù)量大小、算法的設(shè)計(jì)實(shí)現(xiàn)、集群計(jì)算能力和集群參數(shù)配置等會(huì)有很大的不同,這使得Spark性能預(yù)測(cè)成為一個(gè)很大的難題�，F(xiàn)階段,針對(duì)Spark性能預(yù)測(cè)的方法主要有機(jī)器學(xué)習(xí)和系統(tǒng)行為建模兩類(lèi)方法,然而這些方法存在通用性差和準(zhǔn)確性低等問(wèn)題。本文針對(duì)以上問(wèn)題,通過(guò)對(duì)Spark運(yùn)行機(jī)制的深入研究,提出一種基于隨機(jī)森林回歸模型和圖編輯距離的Spark性能預(yù)測(cè)算法,該算法克服了一般機(jī)器學(xué)習(xí)方法通用性差和系統(tǒng)行為建模準(zhǔn)確性低等缺點(diǎn)。本文將影響Spark負(fù)載性能的因素分為兩大類(lèi):靜態(tài)特征因素和動(dòng)態(tài)特征因素。以靜態(tài)特征因素作為輸入,以負(fù)載執(zhí)行時(shí)間為輸出,利用固定類(lèi)型負(fù)載的歷史運(yùn)行信息和隨機(jī)森林回歸算法,構(gòu)建出該類(lèi)型負(fù)載的性能預(yù)測(cè)模型——SRFRP模型。利用多種類(lèi)型負(fù)載的歷史運(yùn)行信息,通過(guò)訓(xùn)練產(chǎn)生SRFRP模型庫(kù)。然后根據(jù)負(fù)載動(dòng)態(tài)特征——DAG圖和本文提出的負(fù)載相似度計(jì)算方法,從SR...

【文章頁(yè)數(shù)】：76 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖3-3最優(yōu)max_features選擇從最優(yōu)max_feature值分析中我們已經(jīng)得到了最優(yōu)的決策樹(shù)特征數(shù)量為7個(gè)，因此本文令max_feature=7，動(dòng)態(tài)調(diào)整n_estimator值再進(jìn)行上一步中的

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文ator值的設(shè)定存在一個(gè)原則——盡量要使得每一個(gè)樣本都能那么通常的n_estimator值設(shè)定為1000或者500，但是也，這要根據(jù)具體的情況具體分析

圖3-4最優(yōu)n_estimator選擇

圖3-3最優(yōu)max_features選擇從最優(yōu)max_feature值分析中我們已經(jīng)得到了最優(yōu)的決策樹(shù)特征數(shù)因此本文令max_feature=7，動(dòng)態(tài)調(diào)整n_estimator值再進(jìn)行上一步即可，實(shí)驗(yàn)結(jié)果如圖3-4：

圖5-3WordCount測(cè)試集預(yù)測(cè)模型執(zhí)行時(shí)間對(duì)比圖

機(jī)器學(xué)習(xí)K-meansClustering機(jī)器學(xué)習(xí)RandomForestRegression機(jī)器學(xué)習(xí)SVM機(jī)器學(xué)習(xí)DecisionTree機(jī)器學(xué)習(xí)LinearRegression電子商務(wù)NativeBayesianClassification社交網(wǎng)絡(luò)服務(wù)Co....

圖5-4PageRank測(cè)試集預(yù)測(cè)模型執(zhí)行時(shí)間對(duì)比圖

前文SRFRP模型預(yù)測(cè)能力評(píng)價(jià)原理與方法提到的確定系數(shù)是衡量一個(gè)回歸模型好壞的重要量化標(biāo)準(zhǔn)，因此，本文也對(duì)WordCount負(fù)載的SRFRP模型預(yù)測(cè)能力進(jìn)行了計(jì)算評(píng)估，根據(jù)確定系數(shù)計(jì)算公式()()(....

本文編號(hào)：4026179