本文關(guān)鍵詞：基于高性能計算系統(tǒng)日志的調(diào)度策略研究

  更多相關(guān)文章： 高性能計算 作業(yè)調(diào)度 回填 負載均衡 GridSim

【摘要】：在高性能計算集群中,集群管理系統(tǒng)扮演著極其重要的作用,作業(yè)調(diào)度又是集群管理的核心。作業(yè)調(diào)度涉及作業(yè)從提交到結(jié)束的整個過程,關(guān)系到集群的各個部分。設計和使用一個有效的作業(yè)調(diào)度算法,能夠充分利用高性能計算集群系統(tǒng)資源,保證作業(yè)迅速而又高效的執(zhí)行。作業(yè)調(diào)度是作業(yè)到資源的關(guān)系映射,而作業(yè)對資源的使用產(chǎn)生系統(tǒng)日志。調(diào)度策略的性能與作業(yè)的負載特性直接相關(guān),通過對系統(tǒng)日志的提取與分析,可以深入挖掘作業(yè)調(diào)度的性能特征,在此基礎上提出優(yōu)化的調(diào)度策略,改善系統(tǒng)性能。仿真是對復雜系統(tǒng)進行研究的一種有效的手段,在對調(diào)度算法進行研究與評估的過程中,使用作業(yè)調(diào)度模擬器搭建仿真環(huán)境進行研究能夠起到事半功倍的效果。本文基于高性能計算系統(tǒng)的工作日志分析,提出了一個多隊列回填作業(yè)調(diào)度算法,并且搭建仿真框架利用實際系統(tǒng)作業(yè)日志進行仿真實驗,驗證了本文提出的調(diào)度算法的有效性。主要研究內(nèi)容包括:(1)對深圳華大基因研究院(BGI)高性能計算集群進行了研究,通過對高性能計算系統(tǒng)實際工作日志的分析,總結(jié)出系統(tǒng)及作業(yè)調(diào)度的特性。在此基礎上利用GridSim模擬器搭建仿真框架,模擬BGI的集群管理系統(tǒng),進行作業(yè)調(diào)度的仿真。(2)針對原有作業(yè)調(diào)度策略的不足與缺陷進行了改進,提出了基于內(nèi)存資源優(yōu)化的回填調(diào)度算法與多隊列負載均衡調(diào)度算法�；趦�(nèi)存資源優(yōu)化的回填調(diào)度在傳統(tǒng)回填調(diào)度算法的基礎上進行了改進,結(jié)合內(nèi)存資源的需求進行作業(yè)預約與作業(yè)回填。多隊列負載均衡調(diào)度提供了隊列級別的負載均衡,并且在此基礎上提出了改進方案:動態(tài)選擇閾值策略與優(yōu)化遷移策略。(3)在仿真框架中利用實際系統(tǒng)的作業(yè)日志進行實驗仿真。仿真結(jié)果表明,采用本文提出的調(diào)度算法,各種性能指標都優(yōu)于傳統(tǒng)的作業(yè)調(diào)度算法。因此,基于本文的調(diào)度策略,能夠有效的降低作業(yè)等待,提升系統(tǒng)的吞吐率,對于作業(yè)響應以及系統(tǒng)資源利用有著更好的效果。
【關(guān)鍵詞】：高性能計算 作業(yè)調(diào)度 回填 負載均衡 GridSim
【學位授予單位】：華南理工大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP38
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 緒論10-15
• 1.1 研究背景10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-13
• 1.2.1 高性能計算集群11-12
• 1.2.2 作業(yè)調(diào)度的研究12-13
• 1.3 論文的研究工作13
• 1.4 論文結(jié)構(gòu)13-15
• 第二章 相關(guān)理論與技術(shù)15-31
• 2.1 高性能計算集群15-21
• 2.1.1 高性能計算與高性能計算集群15-16
• 2.1.2 集群作業(yè)管理系統(tǒng)概述16-19
• 2.1.3 SGE集群作業(yè)管理系統(tǒng)19-21
• 2.2 作業(yè)調(diào)度策略的研究21-25
• 2.2.1 作業(yè)調(diào)度的基本概念21-23
• 2.2.2 典型的作業(yè)調(diào)度策略概述23-25
• 2.3 作業(yè)調(diào)度模擬器25-30
• 2.3.1 概述25-27
• 2.3.2 GridSim作業(yè)調(diào)度模擬器27-30
• 2.4 本章小結(jié)30-31
• 第三章 高性能計算系統(tǒng)的日志分析31-39
• 3.1 BGI高性能計算系統(tǒng)作業(yè)日志31-32
• 3.2 BGI高性能計算系統(tǒng)特性分析32-36
• 3.2.1 BGI集群特性32-34
• 3.2.2 BGI作業(yè)與調(diào)度特性34-36
• 3.3 仿真框架的搭建36-38
• 3.4 本章小結(jié)38-39
• 第四章 調(diào)度策略的研究與優(yōu)化39-56
• 4.1 回填調(diào)度算法39-42
• 4.1.1 回填調(diào)度算法概述39-40
• 4.1.2 經(jīng)典回填調(diào)度算法40-42
• 4.2 基于內(nèi)存資源優(yōu)化的回填調(diào)度42-51
• 4.2.1 提出背景42-43
• 4.2.2 基于內(nèi)存資源優(yōu)化的回填調(diào)度算法設計43-47
• 4.2.3 基于內(nèi)存資源優(yōu)化的回填調(diào)度算法實現(xiàn)47-51
• 4.3 多隊列負載均衡調(diào)度51-55
• 4.4 本章小結(jié)55-56
• 第五章 仿真實驗與結(jié)果分析56-65
• 5.1 仿真環(huán)境及其驗證56-58
• 5.1.1 實驗平臺與實驗數(shù)據(jù)56-57
• 5.1.2 仿真環(huán)境的測試驗證57-58
• 5.2 基于內(nèi)存資源優(yōu)化的回填調(diào)度實驗與結(jié)果分析58-61
• 5.3 多隊列負載均衡調(diào)度實驗與結(jié)果分析61-64
• 5.4 本章小結(jié)64-65
• 第六章 總結(jié)與展望65-66
• 6.1 論文工作總結(jié)65
• 6.2 進一步工作的展望65-66
• 參考文獻66-71
• 攻讀碩士學位期間取得的研究成果71-72
• 致謝72-73
• 附件73

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 惠永濤;;作業(yè)調(diào)度的原理及算法[J];計算機研究與發(fā)展;1989年03期

2 陳曦,柳林;基于仿真方法的流通加工作業(yè)調(diào)度研究[J];信息技術(shù);2001年11期

3 潘全科,羅翔,朱劍英;基于準時制的時間成本雙目標作業(yè)調(diào)度優(yōu)化[J];東南大學學報(自然科學版);2003年01期

4 劉繁茂;陳新;;中小型半流程制造業(yè)的生產(chǎn)作業(yè)調(diào)度系統(tǒng)研究與應用[J];制造技術(shù)與機床;2006年09期

5 顏斯泰;熊萌立;趙淑光;曾志華;;高性能計算與作業(yè)調(diào)度技術(shù)在核電工程領(lǐng)域的應用[J];互聯(lián)網(wǎng)天地;2013年10期

6 蔡龍飛;;田間作業(yè)調(diào)度的優(yōu)化研究與應用[J];現(xiàn)代計算機(專業(yè)版);2009年02期

7 劉新闖;邱洪澤;魏二有;蘇兆鋒;;利用優(yōu)勢元素改進進化算法求解柔性作業(yè)調(diào)度[J];計算機工程與應用;2010年17期

8 梁迪;陶澤;;多目標柔性作業(yè)調(diào)度的優(yōu)化研究[J];計算機工程與應用;2009年15期

9 胡中華;趙敏;;一種求解機器人作業(yè)調(diào)度的智能優(yōu)化算法[J];電焊機;2009年11期

10 蘇開根;毋國慶;石曉紅;;785計算機操作系統(tǒng)作業(yè)調(diào)度策略[J];計算機工程與科學;1981年01期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 裴爾明;Karim Bernardet;于傳松;孫功星;;基于Agent技術(shù)“推拉”結(jié)合的網(wǎng)格作業(yè)調(diào)度系統(tǒng)[A];第十四屆全國核電子學與核探測技術(shù)學術(shù)年會論文集（2）[C];2008年

2 劉禮;楊裔;火久元;劉海迪;李振芳;李廉;;數(shù)學網(wǎng)絡集成環(huán)境作業(yè)調(diào)度系統(tǒng)模型[A];2006年全國理論計算機科學學術(shù)年會論文集[C];2006年

3 裴爾明;Karim Bernardet;于傳松;孫功星;;基于Agent技術(shù)“推拉”結(jié)合的網(wǎng)格作業(yè)調(diào)度系統(tǒng)[A];第十四屆全國核電子學與核探測技術(shù)學術(shù)年會論文集（下冊）[C];2008年

中國重要報紙全文數(shù)據(jù)庫 前1條

1 陳超;有效作業(yè)調(diào)度實現(xiàn)高效生產(chǎn)[N];中國計算機報;2004年

中國博士學位論文全文數(shù)據(jù)庫 前6條

1 王丹丹;面向集裝箱碼頭岸橋調(diào)度的可重疊流水作業(yè)優(yōu)化[D];東南大學;2015年

2 鄒敢;柔性搬運系統(tǒng)的智能作業(yè)調(diào)度方法研究[D];昆明理工大學;2014年

3 顧學民;分布式制造環(huán)境下的作業(yè)調(diào)度研究[D];西北工業(yè)大學;2006年

4 梁毅;面向網(wǎng)絡計算的作業(yè)調(diào)度系統(tǒng)關(guān)鍵技術(shù)研究[D];中國科學院研究生院（計算技術(shù)研究所）;2005年

5 顧濤;集群MapReduce環(huán)境中任務和作業(yè)調(diào)度若干關(guān)鍵問題的研究[D];南開大學;2014年

6 高昊江;板料加工車間物流智能控制及倉儲管理系統(tǒng)研究[D];華中科技大學;2007年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 干一宏;面向航天制造企業(yè)的車間作業(yè)調(diào)度與指導技術(shù)研究[D];南京理工大學;2015年

2 代應祥;基于Hadoop的作業(yè)調(diào)度策略研究[D];電子科技大學;2015年

3 周凱;高性能計算中作業(yè)調(diào)度技術(shù)與集群管理系統(tǒng)的研究[D];江蘇科技大學;2015年

4 侯明霞;云計算環(huán)境下作業(yè)調(diào)度策略研究[D];電子科技大學;2014年

5 王海明;基于Hadoop的作業(yè)調(diào)度方案研究[D];東北大學;2013年

6 燕明磊;Hadoop平臺下基于遺傳算法的作業(yè)調(diào)度的研究與改進[D];西安工程大學;2015年

7 趙新;基于排隊網(wǎng)的拉式作業(yè)調(diào)度系統(tǒng)建模與仿真[D];沈陽工業(yè)大學;2016年

8 謝楊;自動化立體倉庫揀選作業(yè)調(diào)度優(yōu)化研究[D];重慶大學;2015年

9 嚴金雙;基于資源環(huán)境和作業(yè)開銷感知的Hadoop MapReduce作業(yè)調(diào)度優(yōu)化研究[D];南京大學;2013年

10 洪旭升;云計算環(huán)境下資源分配與作業(yè)調(diào)度的研究[D];福州大學;2013年

，

本文編號：607967