本文關(guān)鍵詞：高性能計(jì)算中作業(yè)調(diào)度技術(shù)與集群管理系統(tǒng)的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：計(jì)算科學(xué)從誕生以來,已經(jīng)在科學(xué)研究、工程技術(shù)以及軍事等方面取得了巨大的成就。在計(jì)算科學(xué)的發(fā)展過程中,高性能計(jì)算技術(shù)憑借其易用性、靈活性和平臺(tái)無關(guān)性等特點(diǎn),在國內(nèi)外廣受關(guān)注。同時(shí),高性能計(jì)算也是許多計(jì)算學(xué)科的工具基礎(chǔ),正因如此,高性能計(jì)算中常用的集群技術(shù)正愈發(fā)受到各科研部門的重視和關(guān)注。集群管理系統(tǒng)主要包括了資源管理、作業(yè)管理和用戶管理,本文主要從高性能計(jì)算的起源、發(fā)展趨勢(shì)以及相比大型機(jī)的優(yōu)勢(shì)所在等方面闡述高性能計(jì)算中資源管理、作業(yè)管理和用戶管理的研究成果。本文主要的工作如下:1、介紹了集群硬件架構(gòu)的發(fā)展過程,分析了Linux高性能集群系統(tǒng)平臺(tái)的構(gòu)成,闡述了集群中各硬件節(jié)點(diǎn)以及所用網(wǎng)絡(luò)的功能,同時(shí)對(duì)集群中軟件架構(gòu)進(jìn)行了分析;2、以資源管理器Torque與作業(yè)調(diào)度器Maui組合為基礎(chǔ),結(jié)合監(jiān)控軟件Ganglia,給出利用Python語言在Django框架下開發(fā)集群系統(tǒng)管理軟件CCLAB的過程。3、分析了CCLAB中“作業(yè)調(diào)度”、“集群用戶”和“集群監(jiān)控”三個(gè)Portlet的設(shè)計(jì)開發(fā)過程,給出了CCLAB中URL的設(shè)計(jì)過程,并分析了文中采用的GPFS并行文件系統(tǒng)、消息傳遞接口(MPI)技術(shù)以及集群遠(yuǎn)程電源管理的工作原理;4、分析了作業(yè)調(diào)度的分類和過程,根據(jù)作業(yè)調(diào)度器Maui調(diào)度作業(yè)的方式對(duì)作業(yè)調(diào)度進(jìn)行數(shù)學(xué)模型抽象,通過有向無環(huán)圖(DAG圖)解釋調(diào)度過程。在分析了常用的FCFS策略、優(yōu)先級(jí)調(diào)度策略、Firstfit策略、Bestfit策、預(yù)約策略和回填策略優(yōu)缺點(diǎn)的基礎(chǔ)上,改進(jìn)并分析了一種基于節(jié)點(diǎn)負(fù)載情況自定義優(yōu)先級(jí)預(yù)約回填的策略(“BLPRB”策略),拓展了單、雙策略的研究,并對(duì)其實(shí)現(xiàn)節(jié)點(diǎn)負(fù)載評(píng)估、作業(yè)優(yōu)先級(jí)確定和預(yù)約資源以及回填作業(yè)的過程進(jìn)行詳細(xì)分析,給出“BLPRB”策略確定預(yù)約作業(yè)最遲執(zhí)行時(shí)間和解決大作業(yè)饑餓問題的算法理論分析,最后將該策略集成到Maui調(diào)度器中。在搭建的高性能計(jì)算平臺(tái)上進(jìn)行驗(yàn)證分析,結(jié)果表明BLPRB策略相比Firstfit和FCFS,作業(yè)最大響應(yīng)時(shí)間最大減幅達(dá)到26.17%和25.99%,吞吐率最大提升達(dá)到54.55%和30.77%,對(duì)比Firstfit策略和FCFS策略,BLPRB策略在平均等待時(shí)間上的最大降幅分別為35.22%和60.58%。測(cè)試結(jié)果表明BLPRB策略一定程度上提高了集群的系統(tǒng)利用率和吞吐率。文中開發(fā)的CCLAB大大降低了集群管理員的負(fù)擔(dān),有一定的實(shí)際價(jià)值,改進(jìn)后的新型作業(yè)調(diào)度策略能在一定程度上提升集群資源的利用率。
【關(guān)鍵詞】：作業(yè)調(diào)度 Torque 自定義優(yōu)先級(jí) 回填策略 BLPRB策略
【學(xué)位授予單位】：江蘇科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TB497
【目錄】：

• 摘要6-7
• Abstract7-15
• 第1章 緒論15-25
• 1.1 課題研究的背景及意義15-17
• 1.2 國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢(shì)17-22
• 1.2.1 集群管理系統(tǒng)的研究現(xiàn)狀與發(fā)展趨勢(shì)17-19
• 1.2.2 作業(yè)調(diào)度策略的研究現(xiàn)狀與發(fā)展趨勢(shì)19-22
• 1.3 本文的主要研究工作及主要章節(jié)安排22-24
• 1.3.1 本文的主要研究工作22-23
• 1.3.2 主要章節(jié)安排23-24
• 1.4 本章小結(jié)24-25
• 第2章 高性能計(jì)算集群的體系架構(gòu)25-35
• 2.1 集群系統(tǒng)概述25-28
• 2.2 Linux高性能集群系統(tǒng)28
• 2.2.1 Beowulf集群28
• 2.2.2 COW集群28
• 2.3 Linux高性能集群系統(tǒng)平臺(tái)的構(gòu)成28-32
• 2.3.1 Linux高性能集群系統(tǒng)硬件構(gòu)成29-31
• 2.3.2 Linux高性能集群系統(tǒng)軟件構(gòu)成31-32
• 2.4 典型Linux高性能集群拓?fù)鋱D32-33
• 2.5 本章小結(jié)33-35
• 第3章 基于Web的高性能計(jì)算集群管理系統(tǒng)35-59
• 3.1 集群管理系統(tǒng)中作業(yè)調(diào)度系統(tǒng)的選取35-36
• 3.1.1 CONDOR35-36
• 3.1.2 Platform LSF (Load Sharing Facility)36
• 3.1.3 PBS(Portable Batch System)36
• 3.1.4 Torque(Terascale Open-source Resource and QUEue manager)36
• 3.2 集群管理系統(tǒng)Web服務(wù)網(wǎng)格門戶技術(shù)36-41
• 3.2.1 第一代集群管理系統(tǒng)門戶37-38
• 3.2.2 第二代集群管理系統(tǒng)門戶38-41
• 3.3 集群監(jiān)控工具Ganglia的架構(gòu)及工作原理41-43
• 3.3.1 Ganglia基本架構(gòu)41
• 3.3.2 gmond的工作原理41-42
• 3.3.3 gmetad、RRDTool和gweb的工作原理42-43
• 3.4 集群管理系統(tǒng)所用到的主要技術(shù)43-53
• 3.4.1 Django架構(gòu)44-48
• 3.4.2 并行文件系統(tǒng)技術(shù)48-50
• 3.4.3 消息傳遞接. MPI技術(shù)50-51
• 3.4.4 集群遠(yuǎn)程電源管理51-53
• 3.5 CCLAB各模塊工作狀態(tài)顯示53-57
• 3.5.1 登錄驗(yàn)證模塊53
• 3.5.2 作業(yè)調(diào)度模塊53-54
• 3.5.3 集群用戶操作模塊54-55
• 3.5.4 CCLAB中集群系統(tǒng)監(jiān)控模塊55-57
• 3.6 本章小結(jié)57-59
• 第4章 基于節(jié)點(diǎn)負(fù)載情況自定義優(yōu)先級(jí)預(yù)約回填策略的設(shè)計(jì)59-77
• 4.1 作業(yè)調(diào)度分類及過程59-60
• 4.2 Torque的體系架構(gòu)60-62
• 4.2.1 Torque的工作原理61
• 4.2.2 Torque處理批作業(yè)的過程61-62
• 4.3 Torque默認(rèn)的調(diào)度器62-63
• 4.4 集成調(diào)度器Maui63
• 4.5 基于節(jié)點(diǎn)負(fù)載情況自定義優(yōu)先級(jí)預(yù)約回填策略63-74
• 4.5.1 作業(yè)調(diào)度的數(shù)學(xué)抽象模型63-65
• 4.5.2 常用作業(yè)選取策略分析65-66
• 4.5.3 基于節(jié)點(diǎn)負(fù)載情況自定義優(yōu)先級(jí)預(yù)約回填策略的分析66-74
• 4.6 BLPRB策略的算法理論分析74-75
• 4.6.1 BLPRB策略能夠確定預(yù)約作業(yè)進(jìn)入運(yùn)行階段的最遲時(shí)間75
• 4.6.2 BLPRB策略可以解決大作業(yè)的饑餓問題75
• 4.7 本章小結(jié)75-77
• 第5章 BLPRB策略模擬實(shí)驗(yàn)及性能分析77-87
• 5.1 搭建集群環(huán)境77-79
• 5.1.1 硬件環(huán)境77
• 5.1.2 軟件環(huán)境77-78
• 5.1.3 集群硬件拓?fù)鋱D78
• 5.1.4 集群實(shí)際上架圖78-79
• 5.2 衡量作業(yè)調(diào)度性能的指標(biāo)79-80
• 5.3 實(shí)驗(yàn)結(jié)果分析80-85
• 5.3.1 測(cè)試所用作業(yè)集的選取80-81
• 5.3.2 作業(yè)的編譯與提交81-82
• 5.3.3 測(cè)試結(jié)果分析82-85
• 5.4 本章小結(jié)85-87
• 第6章 總結(jié)與展望87-89
• 6.1 全文小結(jié)87-88
• 6.2 未來展望88-89
• 參考文獻(xiàn)89-93
• 攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)論文93-95
• 致謝95

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 童端,董小社,李紀(jì)云,劉廣紅;基于OpenPBS的機(jī)群作業(yè)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2004年13期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 韓鵬;并行環(huán)境下動(dòng)態(tài)負(fù)載平衡方法的研究與實(shí)現(xiàn)[D];東北大學(xué);2010年

  本文關(guān)鍵詞：高性能計(jì)算中作業(yè)調(diào)度技術(shù)與集群管理系統(tǒng)的研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：430034