【摘要】：隨著分布式計(jì)算的快速發(fā)展,越來越多的應(yīng)用程序被部署在大規(guī)模服務(wù)器集群中。集群通常被多個(gè)用戶所共享,運(yùn)行著大量多源異構(gòu)的作業(yè),它們?cè)谫Y源需求、運(yùn)行時(shí)間和優(yōu)先級(jí)方面都存在較大區(qū)別。因此,在管理這些異構(gòu)作業(yè)的過程中,良好的作業(yè)分類方法和動(dòng)態(tài)的資源調(diào)控策略,對(duì)集群任務(wù)吞吐量和計(jì)算資源利用率的提升意義重大。然而,目前一些通用的集群管理系統(tǒng)仍然存在一些問題:首先,作業(yè)申請(qǐng)的計(jì)算資源配額經(jīng)常過高,系統(tǒng)缺少對(duì)資源過度申請(qǐng)現(xiàn)象的檢測(cè);其次,主要著重于面向?qū)我活愋偷淖鳂I(yè)進(jìn)行管理,缺乏從多個(gè)方面分析異構(gòu)作業(yè)特征的功能;最后,未結(jié)合作業(yè)特征進(jìn)行動(dòng)態(tài)的資源調(diào)控和任務(wù)調(diào)度,難以讓這些異構(gòu)作業(yè)全都獲得相對(duì)合理的運(yùn)行環(huán)境。針對(duì)上述三個(gè)問題,本文提出了面向異構(gòu)作業(yè)集群的的動(dòng)態(tài)混合調(diào)度與資源管理框架,旨在將作業(yè)特征歸類結(jié)果與基于作業(yè)特征的調(diào)度方法相結(jié)合。該框架持續(xù)地收集集群作業(yè)運(yùn)行數(shù)據(jù),通過資源預(yù)判算法調(diào)整作業(yè)資源配額;依據(jù)分類模型和匹配策略產(chǎn)生作業(yè)特征歸類與容器匹配結(jié)果;基于不同的執(zhí)行規(guī)則將不同類型的容器指派給不同的調(diào)度器,然后依據(jù)相應(yīng)調(diào)度策略將容器分發(fā)至服務(wù)器節(jié)點(diǎn),以實(shí)現(xiàn)動(dòng)態(tài)混合和低延遲的任務(wù)調(diào)度。本文的主要研究內(nèi)容如下:(1)提出資源過度申請(qǐng)預(yù)判方法本文針對(duì)作業(yè)資源過度申請(qǐng)現(xiàn)象,提出了基于TAN貝葉斯網(wǎng)絡(luò)的資源過度申請(qǐng)預(yù)判方法。根據(jù)集群歷史作業(yè)的資源申請(qǐng)量、計(jì)算數(shù)據(jù)量和運(yùn)行時(shí)間段等信息生成面向作業(yè)的資源過度申請(qǐng)檢測(cè)模型,從而為未來的作業(yè)調(diào)控資源配額。(2)提出面向容器類型匹配的作業(yè)特征歸類方法本文針對(duì)集群作業(yè)的多源異構(gòu)性,提出了面向容器類型匹配的作業(yè)特征歸類方法,從三方面分析了作業(yè)特征,通過決策樹和累積分布方法將作業(yè)特征歸類,進(jìn)而將具有不同特征的作業(yè)匹配到不同類型的容器,并參考資源過度申請(qǐng)預(yù)判結(jié)果為容器調(diào)控資源,容器類型匹配結(jié)果將被作用于調(diào)度環(huán)節(jié)。這些步驟共同構(gòu)成了作業(yè)預(yù)處理過程。(3)提出結(jié)合作業(yè)特征的動(dòng)態(tài)混合調(diào)度機(jī)制本文針對(duì)類型豐富、特征各異的作業(yè),提出了結(jié)合作業(yè)特征的動(dòng)態(tài)混合調(diào)度機(jī)制。在任務(wù)調(diào)度方面,根據(jù)容器類型和集群實(shí)時(shí)運(yùn)行狀態(tài)執(zhí)行動(dòng)態(tài)混合的容器沖突解決、調(diào)度器匹配及節(jié)點(diǎn)選取等策略;在資源管理方面,提出了針對(duì)服務(wù)器節(jié)點(diǎn)的CPU和內(nèi)存資源預(yù)測(cè)模型,實(shí)現(xiàn)對(duì)閑置資源的檢測(cè)和利用。(4)構(gòu)建基于動(dòng)態(tài)混合調(diào)度與資源管理框架的原型系統(tǒng)本文基于動(dòng)態(tài)混合調(diào)度與資源管理框架構(gòu)建了一個(gè)原型系統(tǒng),用于驗(yàn)證該框架在實(shí)際應(yīng)用場景中的有效性和可靠性。原型系統(tǒng)分為集群應(yīng)用管理和資源管理兩個(gè)模塊:應(yīng)用管理模塊用于提交作業(yè)及相關(guān)配置信息;資源管理模塊用于設(shè)置任務(wù)調(diào)度和資源管理相關(guān)策略所需的閾值,并監(jiān)控集群的整體資源使用狀態(tài)和作業(yè)類型分布情況。
【圖文】：

本章將分析典型集群應(yīng)用的業(yè)務(wù)需求及業(yè)務(wù)場景，以明確隨后，將提出針對(duì)本文應(yīng)用場景所構(gòu)建的系統(tǒng)框架，以及和組織方式。最后，我們將對(duì)本章內(nèi)容做一個(gè)總結(jié)。場景云服務(wù)技術(shù)經(jīng)常被用于為各類應(yīng)用提供在線的數(shù)據(jù)計(jì)算支應(yīng)用程序時(shí)（如記賬 APP），通常是在應(yīng)用中發(fā)出增刪改后被轉(zhuǎn)發(fā)到應(yīng)用的后臺(tái)程序進(jìn)行對(duì)應(yīng)的查詢或處理，并將另一方面，近年來越來越多的應(yīng)用運(yùn)營商都趨向于將應(yīng)用。將應(yīng)用部署在云平臺(tái)的前提是，運(yùn)營開發(fā)商需要自行決的計(jì)算資源，并將資源申請(qǐng)信息與應(yīng)用代碼打包一并提交臺(tái)的資源管理和調(diào)度系統(tǒng)來為應(yīng)用程序分配資源，并負(fù)責(zé)資源監(jiān)控。這類應(yīng)用的工作流程如圖 2-1 所示。

圖 2-2 業(yè)務(wù)場景與本文目標(biāo)Fig. 2-2 Business scenarios and targets of this paper針對(duì)這些目標(biāo)，本文將對(duì)集群應(yīng)用衍生作業(yè)進(jìn)行資源調(diào)控與特征歸類，并結(jié)合作業(yè)特征與集群本身的運(yùn)行狀態(tài)屬性提出一種動(dòng)態(tài)混合調(diào)度機(jī)制。本文方法的優(yōu)勢(shì)在于：（1）從應(yīng)用開發(fā)商角度，本文的資源過度申請(qǐng)預(yù)判方法幫助他們從一定程度上減少了由過度申請(qǐng)導(dǎo)致的資源浪費(fèi)；（2）從集群運(yùn)營商角度，本文的框架可通過對(duì)作業(yè)歷史運(yùn)行數(shù)據(jù)的分析得出多源異構(gòu)作業(yè)的特征歸類方法，在集群運(yùn)行一段時(shí)間后，作業(yè)特征可在作業(yè)被提交時(shí)根據(jù)配置信息自動(dòng)分析得出，，無需由集群運(yùn)營商手動(dòng)操作。在不同的集群狀態(tài)下，每種作業(yè)可以被動(dòng)態(tài)分配給一種調(diào)度器，使調(diào)度吞吐量和資源利用率得到提升。在本文的調(diào)度策略下，不同類型的作業(yè)具有不同的執(zhí)行規(guī)則和優(yōu)先級(jí)；（3）從應(yīng)用用戶角度，得益于以上這些規(guī)則，可以避免由作業(yè)資源競爭引起的用戶體驗(yàn)問題。2.2 系統(tǒng)框架
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP315;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張新宇;邵驍;;優(yōu)化學(xué)校作業(yè)管理,提高作業(yè)應(yīng)用效果[J];上海課程教學(xué)研究;2019年Z1期

2 余燕平;;大學(xué)生作業(yè)管理的問題及其智能化管理策略[J];高教論壇;2019年09期

3 侯博;;作業(yè)管理理論和實(shí)踐的思考[J];經(jīng)濟(jì)師;2018年03期

4 瞿國建;;初中物理有效作業(yè)的探討[J];湖南中學(xué)物理;2017年07期

5 高春蕾;;從Show My Homework學(xué)生作業(yè)管理平臺(tái)引發(fā)的思考[J];中國現(xiàn)代教育裝備;2017年08期

6 冉北彥;;改進(jìn)作業(yè)管理常規(guī) 切實(shí)提高作業(yè)效度——關(guān)于中小學(xué)高效課堂教學(xué)常規(guī)重建實(shí)踐的思考[J];才智;2016年10期

7 張亞芳;;優(yōu)化作業(yè)管理 提升科學(xué)素養(yǎng)[J];科學(xué)咨詢(教育科研);2016年10期

8 黃衛(wèi)偉;;生產(chǎn)與作業(yè)管理的演進(jìn)及制造技術(shù)的創(chuàng)新[J];船舶標(biāo)準(zhǔn)化與質(zhì)量;2000年03期

9 羅陽佳;薛婷彥;;作業(yè)變革,撬動(dòng)教育質(zhì)量的重要支點(diǎn)[J];上海教育;2019年13期

10 廖錦花;;中職電子商務(wù)課堂分層作業(yè)探索[J];現(xiàn)代職業(yè)教育;2016年35期

相關(guān)會(huì)議論文 前10條

1 郭文旺;戴天君;陳振好;鐘衍起;曾中游;;高中數(shù)學(xué)作業(yè)分層設(shè)計(jì)的實(shí)踐研究[A];《教師教學(xué)能力發(fā)展研究》科研成果集（第十四卷）[C];2018年

2 王道堂;;計(jì)算機(jī)輔助設(shè)計(jì)中的繪圖作業(yè)管理[A];中國土木工程學(xué)會(huì)計(jì)算機(jī)應(yīng)用學(xué)會(huì)學(xué)術(shù)報(bào)告會(huì)論文集（4）[C];1989年

3 解勇;沈彬彬;吳s

本文編號(hào)：2701794