【摘要】：隨著云計算和虛擬化技術(shù)的不斷成熟以及云服務的不斷豐富,越來越多的應用被部署在云數(shù)據(jù)中心虛擬化環(huán)境下。由于分布式的特點,數(shù)據(jù)中心應用的性能與網(wǎng)絡傳輸性能密切相關(guān),其網(wǎng)絡傳輸需求通常表示為傳輸任務,每個任務由若干條分布式的流組成,因此研究人員通常采用流調(diào)度技術(shù)優(yōu)化應用的網(wǎng)絡傳輸性能。根據(jù)應用對網(wǎng)絡傳輸性能的不同需求,可將任務分為延遲敏感型任務,如Web服務的任務;和帶寬敏感型任務,如MapReduce應用的任務。數(shù)據(jù)中心虛擬化環(huán)境下異構(gòu)混雜的任務并存,給數(shù)據(jù)中心流調(diào)度帶來了巨大挑戰(zhàn),主要體現(xiàn)在兩個方面:1)不同類型的任務競爭共享的網(wǎng)絡資源,難以同時滿足不同類型任務的網(wǎng)絡傳輸性能需求;2)不同效用特征的帶寬敏感型任務無差別分配資源,難以高效用的利用有限的網(wǎng)絡資源�，F(xiàn)有工作未能有效針對數(shù)據(jù)中心虛擬化環(huán)境下異構(gòu)混雜的任務特點,難以應對上述挑戰(zhàn)。因此,本文對數(shù)據(jù)中心虛擬化環(huán)境下任務級流調(diào)度問題進行研究,主要從流調(diào)度機制的兩個關(guān)鍵步驟,即流隊列管理和全局流調(diào)度兩個方面開展理論研究,具體包括如下內(nèi)容:首先,針對因為不同類型的任務競爭共享的網(wǎng)絡資源而難以同時滿足不同類型任務的網(wǎng)絡傳輸性能需求的挑戰(zhàn),研究任務類型感知的虛擬化層流隊列管理機制。本文基于對任務類型的感知,實現(xiàn)對不同類型任務流量的隔離,同時針對應用網(wǎng)絡負載強度的動態(tài)變化,對不同類型任務的權(quán)重進行調(diào)整,從而提升網(wǎng)絡傳輸性能,保證不同類型任務對網(wǎng)絡傳輸性能的需求。其次,針對因為不同效用特征的帶寬敏感型任務無差別分配資源而難以高效用的利用有限的網(wǎng)絡資源的挑戰(zhàn),研究面向異構(gòu)時間敏感程度的全局流調(diào)度機制。基于全局任務感知,對同一任務中的多條分布式的流進行統(tǒng)一的調(diào)度,以適應任務的分布式特點,同時,采用效用函數(shù)對不同任務對完成時間的敏感程度進行建模,在保證任務之間效用公平性的同時盡可能的提升系統(tǒng)帶寬資源分配效用。最后,設計并實現(xiàn)數(shù)據(jù)中心虛擬化環(huán)境下任務級流調(diào)度系統(tǒng)。本文基于東南大學云計算平臺真實環(huán)境,將理論研究成果與實踐相結(jié)合,設計并實現(xiàn)了原型系統(tǒng),并進行了部署和實驗。通過在東南大學云計算中心實際環(huán)境中的實驗結(jié)果表明,本文所提出的數(shù)據(jù)中心虛擬化環(huán)境下任務級流調(diào)度機制能夠較好的為不同類型任務提供網(wǎng)絡傳輸性能保證,同時保證任務之間效用公平性并提高系統(tǒng)帶寬資源分配效用,實現(xiàn)了高性能、高效用的任務級流調(diào)度。
【學位授予單位】：東南大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP308;TP393.09
【圖文】：

圖 3-6 延遲敏感任務流大小分布 CDF 曲線應用流量數(shù)據(jù)由兩部分構(gòu)成，第一部分是延遲敏感型任務的流量，來自世界杯期間92 天內(nèi)其網(wǎng)站訪問的近 10 億條請求記錄[37]。本文對該數(shù)據(jù)集的流大小分布進行了分析，得出流大小分布的 CDF 曲線如圖 3-6 所示。從圖中可以看出，95%以上的流大小都在 100 字節(jié)到 1MB 之間。第二部分是帶寬敏感型任務的流量，來自 Facebook 公司 150個機架包含 3000 臺服務器的 MapReduce 集群一小時內(nèi)的任務傳輸記錄[38]，其流大小分布的 CDF 曲線如圖 3-7 所示。從圖中可以看出，所有的流大小都在 1MB 以上，近 80%的流大小在 1MB 到 1GB 之間。

圖 3-6 延遲敏感任務流大小分布 CDF 曲線應用流量數(shù)據(jù)由兩部分構(gòu)成，第一部分是延遲敏感型任務的流量，來自世界杯期間92 天內(nèi)其網(wǎng)站訪問的近 10 億條請求記錄[37]。本文對該數(shù)據(jù)集的流大小分布進行了分析，得出流大小分布的 CDF 曲線如圖 3-6 所示。從圖中可以看出，95%以上的流大小都在 100 字節(jié)到 1MB 之間。第二部分是帶寬敏感型任務的流量，來自 Facebook 公司 150個機架包含 3000 臺服務器的 MapReduce 集群一小時內(nèi)的任務傳輸記錄[38]，其流大小分布的 CDF 曲線如圖 3-7 所示。從圖中可以看出，所有的流大小都在 1MB 以上，近 80%的流大小在 1MB 到 1GB 之間。

VM5VM6VM7VM8圖 3-8 實驗拓撲.2 實驗結(jié)果基于以上實驗設置，本文從三個方面進行了實驗測試：1）延遲敏感型任務的報遲；2）帶寬敏感型任務的流完成時間和流帶寬滿足率；3）負載強度動態(tài)變化遲敏感型任務的報文傳輸延遲。詳細實驗結(jié)果如下：實驗結(jié)果 1. 延遲敏感型任務的報文傳輸延遲在實驗 1 中，本文測試了在延遲敏感型任務和帶寬敏感型任務流量負載不同配，延遲敏感型任務的報文傳輸延遲。實驗分別應用了 Fair Sharing 策略、當前于優(yōu)先級的策略 PIAS、以及本文提出的任務類型感知的虛擬化層流隊列管理h。實驗得到的報文傳輸延遲 CDF 曲線如圖 3-9、圖 3-10、圖 3-11 和圖 3-12 所報文延遲如表 3-1 所示。

【參考文獻】

相關(guān)期刊論文 前1條

1 羅軍舟;金嘉暉;宋愛波;東方;;云計算:體系架構(gòu)與關(guān)鍵技術(shù)[J];通信學報;2011年07期

本文編號：2785775