本文關(guān)鍵詞：基于比例份額準(zhǔn)則的Symphony系統(tǒng)資源調(diào)度的設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著信息時代的信息量呈指數(shù)型增長的趨勢，未來在龐大的數(shù)據(jù)量中提取對我們有用的信息將越來越難，因此目前對大數(shù)據(jù)的處理能力要求越來越高。分布式計算框架的計算能力是否優(yōu)秀，其最主要的一個因素就是它所設(shè)計的調(diào)度策略是否高效。為了使Symphony分布式計算軟件在計算多作業(yè)并行處理時具有更高效的計算能力，設(shè)計一種針對多作業(yè)并行計算的新型調(diào)度策略使得集群資源能夠得到更合理的分配和高效的利用。 本文主要設(shè)計一種基于比例份額準(zhǔn)則的資源調(diào)度策略，這種資源調(diào)度策略在多作業(yè)并行計算時能夠為每個作業(yè)分配一定比例的集群資源，這個比例值是根據(jù)用戶為每個作業(yè)設(shè)定的優(yōu)先級而制定的，并且在此調(diào)度策略上對資源的合理分配和資源的高效利用進行了優(yōu)化和改進。設(shè)計這種資源調(diào)度策略的目標(biāo)是為了使多作業(yè)并行計算時能夠讓每個作業(yè)按其優(yōu)先級高低分配不同大小的集群資源并行計算，同時使有限的集群資源能夠得到更加合理的利用，從而提高集群計算能力。 本文主要分為集群資源分配模塊、集群資源調(diào)度模塊、集群資源借用模塊，并且對每個模塊進行詳細的分析并加以實現(xiàn)。其中集群資源分配模塊首先將原有的一個資源池改成了兩種不同類型的資源池然后按照一定的算法規(guī)則計算每種類型池中應(yīng)該分配多少的slots并實際進行分配資源；集群資源調(diào)度模塊主要是根據(jù)每個作業(yè)的優(yōu)先級值的不同制定出每個作業(yè)應(yīng)該在每個資源池中占用多少比例的資源，并且對作業(yè)中的任務(wù)進行實際的調(diào)度；集群資源借用模塊是采取了資源雙向借用技術(shù)對不同類型資源池中的空閑作業(yè)進行利用，，使某種類型的資源數(shù)不夠的情況下可以借用另一種類型的空閑資源從而使集群中的資源得到更加合理的利用。 最后，經(jīng)過設(shè)計合理的測試用例對資源調(diào)度策略的各模塊主要功能進行測試，并且測試結(jié)果均達到預(yù)期效果，從而合理的利用了集群資源、提升了集群框架的計算性能。
【關(guān)鍵詞】：分布式計算 MapReduce框架 集群資源調(diào)度 比例份額準(zhǔn)則
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP338.6
【目錄】：

• 摘要5-6
• Abstract6-10
• 第1章 緒論10-17
• 1.1 課題來源及研究意義10-11
• 1.2 與課題相關(guān)的國內(nèi)外研究狀況11-15
• 1.2.1 云計算介紹11-12
• 1.2.2 國內(nèi)外現(xiàn)狀12-15
• 1.3 本論文的主要工作內(nèi)容15-17
• 第2章 需求分析與關(guān)鍵技術(shù)17-26
• 2.1 需求分析17-21
• 2.1.1 對現(xiàn)有調(diào)度策略局限性的分析17-19
• 2.1.2 功能需求19-21
• 2.2 關(guān)鍵技術(shù)21-25
• 2.2.1 資源槽分配管理技術(shù)21-24
• 2.2.2 資源借用技術(shù)24-25
• 2.3 本章小結(jié)25-26
• 第3章 調(diào)度策略的總體結(jié)構(gòu)設(shè)計26-32
• 3.1 Symphony 軟件總體結(jié)構(gòu)26-27
• 3.2 比例份額調(diào)度策略的 Mapreduce 系統(tǒng)結(jié)構(gòu)27-28
• 3.3 調(diào)度策略功能模塊劃分28-29
• 3.4 資源調(diào)度策略的總體業(yè)務(wù)流程設(shè)計29-30
• 3.5 資源調(diào)度策略的結(jié)構(gòu)設(shè)計30-31
• 3.6 本章小結(jié)31-32
• 第4章 資源調(diào)度策略的設(shè)計與實現(xiàn)32-55
• 4.1 資源分配模塊的設(shè)計與實現(xiàn)32-40
• 4.1.1 資源分配模塊結(jié)構(gòu)描述32-34
• 4.1.2 資源分配模塊詳細設(shè)計34-37
• 4.1.3 資源分配模塊的實現(xiàn)37-40
• 4.2 資源調(diào)度模塊的設(shè)計與實現(xiàn)40-47
• 4.2.1 資源調(diào)度模塊的調(diào)度流程描述40-41
• 4.2.2 資源調(diào)度模塊的詳細設(shè)計41-46
• 4.2.3 資源調(diào)度模塊的實現(xiàn)46-47
• 4.3 資源借用模塊的設(shè)計與實現(xiàn)47-54
• 4.3.1 資源借用模塊的結(jié)構(gòu)描述47-48
• 4.3.2 資源借用模塊的詳細設(shè)計48-52
• 4.3.3 資源借用模塊的實現(xiàn)52-54
• 4.4 本章小結(jié)54-55
• 第5章 資源調(diào)度策略的功能測試與分析55-70
• 5.1 測試環(huán)境及所需參數(shù)介紹55-57
• 5.1.1 測試環(huán)境55-56
• 5.1.2 術(shù)語與參數(shù)介紹56-57
• 5.2 資源池與 targetMrRatio 參數(shù)測試57-61
• 5.2.1 測試用例 157-58
• 5.2.2 測試用例 258-59
• 5.2.3 測試用例 359-61
• 5.3 資源借用模塊測試61-68
• 5.3.1 作業(yè)內(nèi)部資源借用61-64
• 5.3.2 作業(yè)間資源借用64-68
• 5.4 資源調(diào)度策略性能測試分析68-69
• 5.4.1 與原有資源調(diào)度策略的對比測試68
• 5.4.2 新型調(diào)度策略不同借用方式的測試分析68-69
• 5.5 本章小結(jié)69-70
• 結(jié)論70-71
• 參考文獻71-75
• 致謝75-76
• 個人簡歷76

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 李雙權(quán);王燕偉;;云計算中服務(wù)器虛擬化技術(shù)探討[J];郵電設(shè)計技術(shù);2011年10期

2 張亞勤;;與云共舞——微軟云計算的新進展[J];中國計算機用戶;2009年04期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 陳海波;云計算平臺可信性增強技術(shù)的研究[D];復(fù)旦大學(xué);2008年

  本文關(guān)鍵詞：基于比例份額準(zhǔn)則的Symphony系統(tǒng)資源調(diào)度的設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：382743