【摘要】：隨著分布式計算的快速發(fā)展,越來越多的應用程序被部署在大規(guī)模服務器集群中。集群通常被多個用戶所共享,運行著大量多源異構的作業(yè),它們在資源需求、運行時間和優(yōu)先級方面都存在較大區(qū)別。因此,在管理這些異構作業(yè)的過程中,良好的作業(yè)分類方法和動態(tài)的資源調控策略,對集群任務吞吐量和計算資源利用率的提升意義重大。然而,目前一些通用的集群管理系統(tǒng)仍然存在一些問題:首先,作業(yè)申請的計算資源配額經常過高,系統(tǒng)缺少對資源過度申請現象的檢測;其次,主要著重于面向對單一類型的作業(yè)進行管理,缺乏從多個方面分析異構作業(yè)特征的功能;最后,未結合作業(yè)特征進行動態(tài)的資源調控和任務調度,難以讓這些異構作業(yè)全都獲得相對合理的運行環(huán)境。針對上述三個問題,本文提出了面向異構作業(yè)集群的的動態(tài)混合調度與資源管理框架,旨在將作業(yè)特征歸類結果與基于作業(yè)特征的調度方法相結合。該框架持續(xù)地收集集群作業(yè)運行數據,通過資源預判算法調整作業(yè)資源配額;依據分類模型和匹配策略產生作業(yè)特征歸類與容器匹配結果;基于不同的執(zhí)行規(guī)則將不同類型的容器指派給不同的調度器,然后依據相應調度策略將容器分發(fā)至服務器節(jié)點,以實現動態(tài)混合和低延遲的任務調度。本文的主要研究內容如下:(1)提出資源過度申請預判方法本文針對作業(yè)資源過度申請現象,提出了基于TAN貝葉斯網絡的資源過度申請預判方法。根據集群歷史作業(yè)的資源申請量、計算數據量和運行時間段等信息生成面向作業(yè)的資源過度申請檢測模型,從而為未來的作業(yè)調控資源配額。(2)提出面向容器類型匹配的作業(yè)特征歸類方法本文針對集群作業(yè)的多源異構性,提出了面向容器類型匹配的作業(yè)特征歸類方法,從三方面分析了作業(yè)特征,通過決策樹和累積分布方法將作業(yè)特征歸類,進而將具有不同特征的作業(yè)匹配到不同類型的容器,并參考資源過度申請預判結果為容器調控資源,容器類型匹配結果將被作用于調度環(huán)節(jié)。這些步驟共同構成了作業(yè)預處理過程。(3)提出結合作業(yè)特征的動態(tài)混合調度機制本文針對類型豐富、特征各異的作業(yè),提出了結合作業(yè)特征的動態(tài)混合調度機制。在任務調度方面,根據容器類型和集群實時運行狀態(tài)執(zhí)行動態(tài)混合的容器沖突解決、調度器匹配及節(jié)點選取等策略;在資源管理方面,提出了針對服務器節(jié)點的CPU和內存資源預測模型,實現對閑置資源的檢測和利用。(4)構建基于動態(tài)混合調度與資源管理框架的原型系統(tǒng)本文基于動態(tài)混合調度與資源管理框架構建了一個原型系統(tǒng),用于驗證該框架在實際應用場景中的有效性和可靠性。原型系統(tǒng)分為集群應用管理和資源管理兩個模塊:應用管理模塊用于提交作業(yè)及相關配置信息;資源管理模塊用于設置任務調度和資源管理相關策略所需的閾值,并監(jiān)控集群的整體資源使用狀態(tài)和作業(yè)類型分布情況。
【圖文】：

本章將分析典型集群應用的業(yè)務需求及業(yè)務場景，以明確隨后，將提出針對本文應用場景所構建的系統(tǒng)框架，以及和組織方式。最后，我們將對本章內容做一個總結。場景云服務技術經常被用于為各類應用提供在線的數據計算支應用程序時（如記賬 APP），通常是在應用中發(fā)出增刪改后被轉發(fā)到應用的后臺程序進行對應的查詢或處理，并將另一方面，近年來越來越多的應用運營商都趨向于將應用。將應用部署在云平臺的前提是，運營開發(fā)商需要自行決的計算資源，并將資源申請信息與應用代碼打包一并提交臺的資源管理和調度系統(tǒng)來為應用程序分配資源，并負責資源監(jiān)控。這類應用的工作流程如圖 2-1 所示。

圖 2-2 業(yè)務場景與本文目標Fig. 2-2 Business scenarios and targets of this paper針對這些目標，本文將對集群應用衍生作業(yè)進行資源調控與特征歸類，并結合作業(yè)特征與集群本身的運行狀態(tài)屬性提出一種動態(tài)混合調度機制。本文方法的優(yōu)勢在于：（1）從應用開發(fā)商角度，本文的資源過度申請預判方法幫助他們從一定程度上減少了由過度申請導致的資源浪費；（2）從集群運營商角度，本文的框架可通過對作業(yè)歷史運行數據的分析得出多源異構作業(yè)的特征歸類方法，在集群運行一段時間后，作業(yè)特征可在作業(yè)被提交時根據配置信息自動分析得出，，無需由集群運營商手動操作。在不同的集群狀態(tài)下，每種作業(yè)可以被動態(tài)分配給一種調度器，使調度吞吐量和資源利用率得到提升。在本文的調度策略下，不同類型的作業(yè)具有不同的執(zhí)行規(guī)則和優(yōu)先級；（3）從應用用戶角度，得益于以上這些規(guī)則，可以避免由作業(yè)資源競爭引起的用戶體驗問題。2.2 系統(tǒng)框架
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP315;TP311.13

【相似文獻】

相關期刊論文 前10條

1 張新宇;邵驍;;優(yōu)化學校作業(yè)管理,提高作業(yè)應用效果[J];上海課程教學研究;2019年Z1期

2 余燕平;;大學生作業(yè)管理的問題及其智能化管理策略[J];高教論壇;2019年09期

3 侯博;;作業(yè)管理理論和實踐的思考[J];經濟師;2018年03期

4 瞿國建;;初中物理有效作業(yè)的探討[J];湖南中學物理;2017年07期

5 高春蕾;;從Show My Homework學生作業(yè)管理平臺引發(fā)的思考[J];中國現代教育裝備;2017年08期

6 冉北彥;;改進作業(yè)管理常規(guī) 切實提高作業(yè)效度——關于中小學高效課堂教學常規(guī)重建實踐的思考[J];才智;2016年10期

7 張亞芳;;優(yōu)化作業(yè)管理 提升科學素養(yǎng)[J];科學咨詢(教育科研);2016年10期

8 黃衛(wèi)偉;;生產與作業(yè)管理的演進及制造技術的創(chuàng)新[J];船舶標準化與質量;2000年03期

9 羅陽佳;薛婷彥;;作業(yè)變革,撬動教育質量的重要支點[J];上海教育;2019年13期

10 廖錦花;;中職電子商務課堂分層作業(yè)探索[J];現代職業(yè)教育;2016年35期

相關會議論文 前10條

1 郭文旺;戴天君;陳振好;鐘衍起;曾中游;;高中數學作業(yè)分層設計的實踐研究[A];《教師教學能力發(fā)展研究》科研成果集（第十四卷）[C];2018年

2 王道堂;;計算機輔助設計中的繪圖作業(yè)管理[A];中國土木工程學會計算機應用學會學術報告會論文集（4）[C];1989年

3 解勇;沈彬彬;吳s

本文編號：2701794