Hadoop是一個分布式系統(tǒng)架構(gòu),被廣泛應(yīng)用于大數(shù)據(jù)的并行處理。MapReduce是Hadoop的一個編程模型,它的性能受到配置參數(shù)的顯著影響。然而,巨大的參數(shù)空間和參數(shù)間的相互作用使得不可能手動探索所有參數(shù)組合;同時,真實運行一次作業(yè)會產(chǎn)生非常大的開銷,所以我們必須建立模型來對作業(yè)性能進行預測,而不是用實際性能來評估每一套參數(shù)。作業(yè)性能通常用作業(yè)執(zhí)行時間來表示。目前,針對于作業(yè)執(zhí)行時間的建模,研究方法大致分為兩類:第一類是通過公式推導,根據(jù)對于MapReduce執(zhí)行過程的高度掌握,將作業(yè)執(zhí)行各階段與參數(shù)配置的關(guān)系用公式表示,經(jīng)過一步步公式推導,得出最終完成時間,然而這種方式的弊端在于,影響作業(yè)性能的參數(shù)有很多,公式覆蓋能力及其有限,這會忽視其他重要參數(shù),使得優(yōu)化效果欠佳,同時這也需要建模者對MapReduce有充分的掌握程度,能力要求較高;第二類方法是將對作業(yè)性能有重要影響的參數(shù)一起作為預測模型的輸入,通過訓練數(shù)據(jù)集得到作業(yè)執(zhí)行時間與參數(shù)配置的對應(yīng)模型,但就目前研究來看,現(xiàn)有模型大多考慮了參數(shù),而沒有考慮到資源,然而資源對作業(yè)性能也有很重要的影響,資源不足時會導致執(zhí)行速度變慢。另外,...

【文章頁數(shù)】：67 頁

【學位級別】：碩士

【部分圖文】：

圖２－１遺傳算法??２．４強化學習??

?山東大學碩士學位論文???的個體則被淘汰。交叉的意思是對存活下來的父代個體的部分基因進行重新組合，??即將兩個父代的某些基因進行交換，產(chǎn)生新的個體。變異的意思是對于編碼的某??些位置上的基因按一定的概率進行改變。??產(chǎn)生初始種群后，計算每個個體的適應(yīng)度函數(shù)值，按照確定的選擇方法....

圖２－２強化學習框架??

?山東大學碩士學位論文???獎勵（ｒ）：智能體做出動作后環(huán)境給出的反饋，包括正獎勵或負獎勵。??環(huán)境（Ｅｎｖｉｒｏｎｍｅｎｔ）：智能體外部所有事物的集合，它的狀態(tài)受智能體做出的??動作影響而變化，且這種改變可以被智能體所感知，即反潰環(huán)境接收動作，返??回狀態(tài)和獎勵。??環(huán)境的狀態(tài)....

圖３－２基于性能預估的Ｈａｄｏｏｐ參數(shù)調(diào)優(yōu)與作業(yè)調(diào)度框架??由于作業(yè)的計算復雜度不一，在對作業(yè)執(zhí)行時間預估時難以建立一個針對所??

?山東大學碩士學位論文???運行模塊負責獲取對該作業(yè)執(zhí)行時間進行預估的基準數(shù)據(jù)，參數(shù)調(diào)優(yōu)與作業(yè)調(diào)度??方案生成模塊分別針對單作業(yè)情況和多作業(yè)情況生成作業(yè)的參數(shù)配置和作業(yè)調(diào)??度方案，方案執(zhí)行模塊負責對方案生成模塊生成的方案進行具體實施。??作業(yè)調(diào)度與參數(shù)配置方案生成??用戶一提交....

圖４－２裝箱算法??

?山東大學碩士學位論文???任務(wù)已全部完成，釋放了全部資源，有５個可用ｃｏｎｔａｉｎｅｒ，還剩４個ｍａｐ任務(wù)，??所以啟動這４個ｍａｐ任務(wù)和１個ｓｈｕｆｆｌｅ。在６時刻，所有ｍａｐ任務(wù)都完成了，??有剩余ｃｏｎｔａｉｎｅｒ?了，所以啟動剩余ｒｅｄｕｃｅ（先進行ｓｈｕｆｆｌｅ）。在....

本文編號：3965914