本文關(guān)鍵詞：數(shù)據(jù)中心中的虛擬化資源管理—部署與使用

  更多相關(guān)文章： 數(shù)據(jù)中心 虛擬化 資源利用率 作業(yè)完成時(shí)間

【摘要】：隨著大數(shù)據(jù)與云計(jì)算技術(shù)的發(fā)展,數(shù)據(jù)中心已經(jīng)成為了我們便捷生活背后一個(gè)必不可少的基礎(chǔ)。生物醫(yī)學(xué)、智能交通、各領(lǐng)域的個(gè)性化推薦背后巨大的數(shù)據(jù)量和計(jì)算量都需要集中有大量計(jì)算和存儲(chǔ)資源的數(shù)據(jù)中心的支持。提高數(shù)據(jù)中心的使用效率不僅能夠?yàn)樯蠈討?yīng)用提供更好的支持,也能夠?yàn)榉⻊?wù)提供商節(jié)約巨額成本,獲得更大收益。因此,如何提高數(shù)據(jù)中心的資源利用率是一個(gè)值得研究的問(wèn)題。近年來(lái),隨著虛擬化技術(shù)的發(fā)展,對(duì)數(shù)據(jù)中心的研究工作已經(jīng)步入了一個(gè)新的階段。數(shù)據(jù)中心不再只是放置服務(wù)器和其他相關(guān)組件的基礎(chǔ)設(shè)施,而是逐漸將服務(wù)器提供的邏輯資源和物理實(shí)體剝離開來(lái),以云服務(wù)的方式向第三方提供虛擬化資源。本文分公有云和私有云兩部分對(duì)現(xiàn)有數(shù)據(jù)中心的虛擬化資源管理存在的問(wèn)題進(jìn)行了討論。對(duì)于公有云共享的虛擬機(jī)資源,現(xiàn)有多租戶數(shù)據(jù)中心的虛擬機(jī)部署算法對(duì)有軟件形式中間件的存在的情況并未給出對(duì)租戶的帶寬保障。本文的工作考慮了租戶對(duì)軟件中間件的需求,提出了一種基于網(wǎng)絡(luò)功能虛擬化環(huán)境的多租戶數(shù)據(jù)中心虛擬機(jī)資源部署方法MISSILE,使得租戶的需求得到保障的同時(shí)最大化數(shù)據(jù)中心的虛擬機(jī)利用率,以最大化數(shù)據(jù)中心的收益。通過(guò)仿真實(shí)驗(yàn),我們驗(yàn)證了我們算法在對(duì)租戶的接收率、虛擬機(jī)資源利用率以及帶寬利用率上的有效性。對(duì)于私有云上運(yùn)行的大數(shù)據(jù)處理框架的資源共享,現(xiàn)有工作大多把精力放在部署于資源管理平臺(tái)上的調(diào)度算法上。然而,上層數(shù)據(jù)處理框架申請(qǐng)的資源可能并不能正確描述任務(wù)執(zhí)行所需要的實(shí)際資源。一方面,用戶可能并不了解自己的應(yīng)用需要多少資源,另一方面,隨著要處理的數(shù)據(jù)量和時(shí)間的不同,應(yīng)用需要資源是動(dòng)態(tài)變化的。這就導(dǎo)致了上層框架向資源管理平臺(tái)請(qǐng)求的資源不一定能滿足當(dāng)前需要執(zhí)行任務(wù)的需求。雖然現(xiàn)在已有一些能夠隨數(shù)據(jù)動(dòng)態(tài)調(diào)整資源需求的方法,但這些方法會(huì)帶來(lái)較大的額外開銷。本文針對(duì)之前工作的這些局限性,基于大數(shù)據(jù)處理平臺(tái)Spark原有的資源管理模式提出了一種改進(jìn)的"動(dòng)態(tài)資源申請(qǐng)"方法,有效減少了向大數(shù)據(jù)處理平臺(tái)提交的作業(yè)(Job)的平均作業(yè)完成時(shí)間(Job Completion Time,JCT)。通過(guò)在一個(gè)有72個(gè)CPU內(nèi)核,185.2GB內(nèi)存的集群上的實(shí)驗(yàn),驗(yàn)證了我們工作比起現(xiàn)有的其他3種資源申請(qǐng)方法能夠更快獲得運(yùn)行用戶作業(yè)需要的資源從而更快完成用戶作業(yè)。
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP308

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 江南;數(shù)據(jù)中心如何應(yīng)付管理挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2001年40期

2 ;簡(jiǎn)化管理挑戰(zhàn)——惠普推實(shí)用數(shù)據(jù)中心解決方案[J];每周電腦報(bào);2001年67期

3 李慶莉;去數(shù)據(jù)中心看一看——中國(guó)銀行華北信息中心計(jì)劃處處長(zhǎng)云恩善談數(shù)據(jù)中心運(yùn)行、管理[J];中國(guó)金融電腦;2002年12期

4 馬天蔚;;數(shù)據(jù)中心按需造[J];每周電腦報(bào);2002年25期

5 戚麗,蔣東興,武海平,馮珂;校園數(shù)據(jù)中心建設(shè)與管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企業(yè)的數(shù)據(jù)中心2003了嗎?[J];微電腦世界;2003年17期

7 ;挖潛數(shù)據(jù)中心[J];金融電子化;2004年07期

8 王琨月;;數(shù)據(jù)中心業(yè)務(wù)就緒[J];每周電腦報(bào);2004年21期

9 包東智;新熱點(diǎn):創(chuàng)建下一代數(shù)據(jù)中心[J];上海信息化;2005年10期

10 ;把握數(shù)據(jù)中心建設(shè)五大看點(diǎn)[J];中國(guó)計(jì)算機(jī)用戶;2005年10期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 姚，

本文編號(hào)：1278900