本文關(guān)鍵詞：面向高通量生物信息分析的智能計(jì)算系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 集群 調(diào)度 日志分析 隊(duì)列管理

【摘要】：隨著生物高通量測序技術(shù)的不斷進(jìn)步,基因組數(shù)據(jù)爆炸式增長給基因數(shù)據(jù)處理帶來了巨大的挑戰(zhàn)。依靠傳統(tǒng)普通集群的調(diào)度策略無法應(yīng)對(duì)高通量生物信息分析的處理程序?qū)Y源高效利用的需求。不合理的用戶參數(shù)和調(diào)度策略不僅造成了任務(wù)等待時(shí)間的增加,而且降低了系統(tǒng)資源的利用率。因此研究面向高通量生物信息分析的智能計(jì)算系統(tǒng),以支持計(jì)算任務(wù)的自動(dòng)提交和智能調(diào)度有著重要的意義。本文針對(duì)華大基因研究院的高通量生物計(jì)算系統(tǒng)的系統(tǒng)日志進(jìn)行分析,在對(duì)生物信息分析的計(jì)算任務(wù)進(jìn)行任務(wù)建模的基礎(chǔ)上,設(shè)計(jì)和構(gòu)建了面向高通量生物信息分析的高通量智能計(jì)算系統(tǒng)。該系統(tǒng)能夠?qū)ο到y(tǒng)歷史任務(wù)進(jìn)行建模,基于任務(wù)模型分析出合理的隊(duì)列劃分和資源分配方案,并能周期性地對(duì)不同隊(duì)列采用不同調(diào)度策略進(jìn)行仿真調(diào)度,篩選性能最優(yōu)的調(diào)度算法推薦給管理員,使得調(diào)度策略能不斷適應(yīng)系統(tǒng)的變化,從而提高系統(tǒng)的計(jì)算性能和資源利用率。本文首先對(duì)高通量計(jì)算系統(tǒng)的任務(wù)日志進(jìn)行預(yù)處理和格式轉(zhuǎn)換,對(duì)任務(wù)的資源使用特性、任務(wù)的投遞特性和系統(tǒng)隊(duì)列特性進(jìn)行了統(tǒng)計(jì)分析�；谌蝿�(wù)日志中對(duì)每個(gè)任務(wù)的資源的使用量進(jìn)行聚類分析,并在此基礎(chǔ)上根據(jù)任務(wù)對(duì)資源的需求情況對(duì)任務(wù)進(jìn)行劃分,進(jìn)而通過量化指標(biāo)構(gòu)建任務(wù)模型。在任務(wù)日志分析的基礎(chǔ)上,本文設(shè)計(jì)了面向生物信息分析的智能計(jì)算系統(tǒng)。該系統(tǒng)能夠基于任務(wù)模型進(jìn)行任務(wù)提交和智能調(diào)度。一方面,隊(duì)列的劃分和資源的分配可以根據(jù)隊(duì)列的任務(wù)模型來進(jìn)行,令具有不同特點(diǎn)的資源能夠得到最大程度的使用;另一方面,系統(tǒng)可以針對(duì)不同的隊(duì)列采用不同調(diào)度算法進(jìn)行仿真調(diào)度,為隊(duì)列選擇更好的調(diào)度算法。論文還提出了基于任務(wù)模型的多隊(duì)列優(yōu)化調(diào)度方法,并對(duì)其進(jìn)行了仿真驗(yàn)證實(shí)驗(yàn)。本文研發(fā)的系統(tǒng)可為高通量生物信息計(jì)算系統(tǒng)的用戶提供了一個(gè)便于進(jìn)行調(diào)度和資源分配研究的基礎(chǔ)平臺(tái),系統(tǒng)提供的標(biāo)準(zhǔn)化接口使得容易在該平臺(tái)上快速增加新的調(diào)度算法,并可對(duì)調(diào)度算法進(jìn)行部署、測試以及完成性能對(duì)比實(shí)驗(yàn),使得系統(tǒng)具有良好的擴(kuò)展性。
【關(guān)鍵詞】：集群 調(diào)度 日志分析 隊(duì)列管理
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP384
【目錄】：

• 摘要5-6
• Abstract6-11
• 第一章 緒論11-18
• 1.1 研究背景和意義11-13
• 1.2 國內(nèi)外研究現(xiàn)狀13-16
• 1.2.1 集群管理系統(tǒng)的研究現(xiàn)狀13-15
• 1.2.2 調(diào)度算法的研究現(xiàn)狀15-16
• 1.3 主要研究工作和內(nèi)容16-17
• 1.4 論文的組織結(jié)構(gòu)17
• 1.5 本章小結(jié)17-18
• 第二章 相關(guān)理論與技術(shù)18-24
• 2.1 集群管理系統(tǒng)18-19
• 2.2 任務(wù)建模19-20
• 2.3 仿真模擬20-21
• 2.4 系統(tǒng)開發(fā)技術(shù)21-23
• 2.4.1 J2EE21
• 2.4.2 MVC21-22
• 2.4.3 SOA22-23
• 2.5 本章小結(jié)23-24
• 第三章 需求分析24-33
• 3.1 計(jì)算集群的日志分析24-29
• 3.1.1 任務(wù)特性分析24-27
• 3.1.2 任務(wù)投遞特性分析27-28
• 3.1.3 隊(duì)列資源利用率分析28-29
• 3.2 智能計(jì)算系統(tǒng)的需求分析29-32
• 3.2.1 基于任務(wù)模型的隊(duì)列管理30
• 3.2.2 基于任務(wù)模型的任務(wù)調(diào)度30
• 3.2.3 調(diào)度策略的智能推薦30-31
• 3.2.4 任務(wù)流的提交和管理31
• 3.2.5 調(diào)度策略的性能評(píng)估31
• 3.2.6 在調(diào)度算法和隊(duì)列管理算法方面保持強(qiáng)可擴(kuò)展性31-32
• 3.3 本章小結(jié)32-33
• 第四章 系統(tǒng)設(shè)計(jì)33-49
• 4.1 系統(tǒng)架構(gòu)設(shè)計(jì)33-38
• 4.1.1 系統(tǒng)設(shè)計(jì)目標(biāo)33-34
• 4.1.2 系統(tǒng)的總體層次圖34-35
• 4.1.3 系統(tǒng)邏輯結(jié)構(gòu)35-36
• 4.1.4 系統(tǒng)核心模塊流程圖36-38
• 4.2 存儲(chǔ)層設(shè)計(jì)38-39
• 4.3 系統(tǒng)主模塊設(shè)計(jì)39-46
• 4.3.1 Web交互模塊39-40
• 4.3.2 用戶管理模塊40-41
• 4.3.3 集群監(jiān)控模塊41-42
• 4.3.4 日志管理模塊42-43
• 4.3.5 智能調(diào)度和隊(duì)列管理模塊43-44
• 4.3.6 任務(wù)管理模塊44-45
• 4.3.7 性能比對(duì)模塊45-46
• 4.4 系統(tǒng)擴(kuò)展性設(shè)計(jì)46-48
• 4.4.1 調(diào)度器策略開發(fā)接口46-47
• 4.4.2 隊(duì)列資源分配策略開發(fā)接口47-48
• 4.5 本章小結(jié)48-49
• 第五章 系統(tǒng)核心模塊實(shí)現(xiàn)方案49-65
• 5.1 任務(wù)建模方案49-53
• 5.1.1 采用改進(jìn)的聚類方法進(jìn)行任務(wù)建模49-50
• 5.1.2 改進(jìn)后算法的基本流程50-51
• 5.1.3 聚類結(jié)果51-52
• 5.1.4 任務(wù)模型的選取52-53
• 5.2 隊(duì)列劃分和資源分配方案53-57
• 5.2.1 隊(duì)列劃分規(guī)則53-55
• 5.2.2 資源分配的公平性原則55
• 5.2.3 資源分配算法基本流程55-57
• 5.3 資源預(yù)測方案57-58
• 5.4 基于任務(wù)模型的調(diào)度方案58-64
• 5.4.1 基于任務(wù)模型和動(dòng)態(tài)資源分配的調(diào)度策略優(yōu)點(diǎn)59
• 5.4.2 基于傳統(tǒng)FCFS調(diào)度算法的改進(jìn)59-60
• 5.4.3 調(diào)度方案的實(shí)驗(yàn)驗(yàn)證60-64
• 5.5 本章小結(jié)64-65
• 第六章 系統(tǒng)部署與測試65-76
• 6.1 系統(tǒng)部署方案65-66
• 6.2 系統(tǒng)測試環(huán)境66-67
• 6.3 系統(tǒng)功能測試67-75
• 6.3.1 用戶管理67-69
• 6.3.2 隊(duì)列管理69-71
• 6.3.3 任務(wù)管理71-73
• 6.3.4 系統(tǒng)監(jiān)控73-74
• 6.3.5 性能評(píng)估74-75
• 6.4 本章小結(jié)75-76
• 結(jié)論與展望76-77
• 參考文獻(xiàn)77-80
• 攻讀碩士學(xué)位期間取得的研究成果80-81
• 致謝81-82
• 附件82

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 陳世平;用于減少網(wǎng)絡(luò)響應(yīng)時(shí)間的最短作業(yè)優(yōu)先分組調(diào)度算法[J];上海理工大學(xué)學(xué)報(bào);2003年04期

2 羅紅,慕德俊,鄧智群,王曉東;網(wǎng)格計(jì)算中任務(wù)調(diào)度研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2005年05期

3 江志華;齊文靜;;常用作業(yè)調(diào)度算法的分析與評(píng)價(jià)[J];樂山師范學(xué)院學(xué)報(bào);2008年12期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 巴巍;實(shí)時(shí)系統(tǒng)動(dòng)態(tài)優(yōu)先級(jí)任務(wù)調(diào)度算法的研究[D];大連理工大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 鄭晶;基于GridSim的網(wǎng)格資源調(diào)度算法研究[D];福州大學(xué);2006年

，

本文編號(hào)：1079408