本文關(guān)鍵詞：云計算平臺的能耗優(yōu)化調(diào)度技術(shù)的研究

  更多相關(guān)文章： 能耗優(yōu)化 虛擬機放置 MapReduce 云計算

【摘要】：隨著大數(shù)據(jù)時代的到來,云計算作為一種IT基礎(chǔ)設(shè)施使用模式,備受工業(yè)界和學術(shù)界的關(guān)注。各種云計算服務(wù)供應(yīng)商建立了大量的云計算基礎(chǔ)設(shè)施,為用戶按需提供各種計算資源,類似于亞馬遜的EC2、微軟的Azure等基礎(chǔ)設(shè)施服務(wù)(IaaS)快速涌現(xiàn)在我們的生活和工作中。IaaS提供者為用戶提供自動彈性的資源。然而,在云計算技術(shù)在為我們的生活和工作提供便利的同時,云數(shù)據(jù)中心的高能耗問題逐漸成為一個突出的問題,能耗的高效管理成為近年來學者們非常關(guān)注的研究課題。云數(shù)據(jù)中心有各種不同類型的任務(wù),合理的為每個任務(wù)分配物理資源能夠有效降低能量消耗,如何為這些不同類型的任務(wù)高效的分配物理服務(wù)器資源屬于多目標優(yōu)化問題。本文通過建立系統(tǒng)模型,確定節(jié)能目標函數(shù)以及相關(guān)變量。針對任務(wù)集的物理資源分配問題,提出一種節(jié)能調(diào)度算法——任務(wù)集整合算法。任務(wù)集整合算法通過任務(wù)集之間的資源需求情況,計算啟發(fā)式算法的參數(shù),控制任務(wù)集之間的整合,降低云數(shù)據(jù)中心的能量消耗。并且驗證了任務(wù)集整合算法使云計算平臺激活的物理服務(wù)器數(shù)量比不使用任何節(jié)能算法時降低70%左右,能耗降低67%左右。MapReduce常常被用來處理數(shù)據(jù)密集型作業(yè),隨著虛擬化技術(shù)的普及,許多云數(shù)據(jù)中心能夠直接建立MapReduce虛擬集群。本文針對MapReduce虛擬集群的能耗優(yōu)化問題,分別對批處理模式和在線模式提出虛擬機放置能耗優(yōu)化策略。針對批處理模式,本文提出虛擬機配方打包算法和頻率調(diào)整算法,這兩個算法能夠在保證作業(yè)的完成時間的同時,有效降低數(shù)據(jù)中心的能量消耗。并且證明了本文所使用的處理器的最優(yōu)頻率,以及使用DVFS技術(shù)能夠達到的節(jié)能上限。FS算法也能夠應(yīng)用于其他的虛擬機放置算法。針對在線模式,本文提出在線時間平衡算法,這個算法能夠在虛擬機的生命周期和資源利用率之間做出權(quán)衡,使數(shù)據(jù)中心活躍的物理服務(wù)器和能量消耗一定程度的降低。最后,本文實現(xiàn)一套能在集群上快速部署Hadoop平臺,按需進行個性化配置,對集群資源進行可視化管理的系統(tǒng)。使用本文的系統(tǒng),能夠使用戶從繁瑣的集群配置中解放出來,使用圖形化的配置界面,一鍵配置Hadoop平臺。同時木文的系統(tǒng)提供多種實時調(diào)度器,用戶可以根據(jù)自己作業(yè)的類型,選用適合自己的調(diào)度器。本文的系統(tǒng)還能實時監(jiān)控Hadoop平臺的運行情況,從系統(tǒng)中查看其運行狀況。
【關(guān)鍵詞】：能耗優(yōu)化 虛擬機放置 MapReduce 云計算
【學位授予單位】：西南交通大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP393.09
【目錄】：

• 摘要6-7
• Abstract7-11
• 第1章 緒論11-16
• 1.1 論文的研究背景和意義11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-14
• 1.3 本文研究內(nèi)容14
• 1.4 本文的組織結(jié)構(gòu)14-16
• 第2章 相關(guān)技術(shù)16-22
• 2.1 Hadoop生態(tài)系統(tǒng)16-17
• 2.2 MapReduce計算框架17-19
• 2.3 HDFS文件系統(tǒng)19-20
• 2.4 Xen虛擬機軟件20
• 2.5 DVFS技術(shù)20-21
• 2.6 本章小結(jié)21-22
• 第3章 任務(wù)集整合能耗優(yōu)化策略22-35
• 3.1 系統(tǒng)調(diào)度模型22-28
• 3.1.1 物理集群模型22
• 3.1.2 虛擬集群模型22-24
• 3.1.3 能耗模型24
• 3.1.4 DVFS能耗模型24-26
• 3.1.5 任務(wù)集模型26
• 3.1.6 MapReduce作業(yè)模型26-27
• 3.1.7 性能模型27-28
• 3.2 任務(wù)集整合策略28-30
• 3.3 性能評估30-33
• 3.4 本章小結(jié)33-35
• 第4章 虛擬機放置能耗優(yōu)化策略35-54
• 4.1 批處理模式下的虛擬機放置能耗優(yōu)化策略35-39
• 4.1.1 飽和配方生成算法35-37
• 4.1.2 配方打包算法37
• 4.1.3 頻率調(diào)整算法37-39
• 4.1.4 最優(yōu)頻率證明39
• 4.2 在線模式下的虛擬機放置能耗優(yōu)化策略39-41
• 4.3 性能評估41-52
• 4.3.1 仿真實驗42-49
• 4.3.2 Hadoop平臺實驗49-52
• 4.4 本章小結(jié)52-54
• 第5章 云計算平臺調(diào)度管理系統(tǒng)的設(shè)計與實現(xiàn)54-65
• 5.1 系統(tǒng)介紹54-55
• 5.2 模塊介紹與展示55-58
• 5.3 系統(tǒng)測試58-64
• 5.4 本章小結(jié)64-65
• 結(jié)論65-67
• 致謝67-68
• 參考文獻68-73
• 攻讀碩士期間發(fā)表的論文及科研成果73

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 宗平;嚴金瑤;;云計算環(huán)境中服務(wù)器能耗管理機制的應(yīng)用研究[J];計算機技術(shù)與發(fā)展;2013年11期

2 袁中華;胡暉;;基于物聯(lián)網(wǎng)的通信能耗管控系統(tǒng)[J];現(xiàn)代電信科技;2012年10期

3 陳海雄;蔣多元;;能源管理技術(shù)在勘探開發(fā)云中心的應(yīng)用[J];數(shù)字技術(shù)與應(yīng)用;2014年02期

4 劉偉;崔永鋒;;復(fù)雜目標進化指導(dǎo)的高效網(wǎng)絡(luò)能耗指導(dǎo)[J];科技通報;2014年04期

5 鞠寧;周建;;基于無線網(wǎng)絡(luò)的能耗實時監(jiān)測系統(tǒng)[J];中國水運(下半月);2014年03期

6 鄧飛;;依托動力環(huán)境監(jiān)控建立通信局站能耗管理體系[J];通信電源技術(shù);2009年S1期

7 王云生;于軍琪;楊柳;;大型公建能耗實時監(jiān)測及節(jié)能管理系統(tǒng)研究[J];建筑科學;2009年08期

8 葉可江;吳朝暉;姜曉紅;何欽銘;;虛擬化云計算平臺的能耗管理[J];計算機學報;2012年06期

9 雷成軍;羅亮;吳文峻;;基于云計算的集群能耗監(jiān)控與節(jié)能方法研究[J];計算機應(yīng)用與軟件;2011年11期

10 杜正杰;王衛(wèi)鋒;李鴻斌;;基于網(wǎng)絡(luò)技術(shù)的能耗監(jiān)管系統(tǒng)設(shè)計[J];測控技術(shù);2013年03期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 黃韌;羅記龍;;綠色通信能耗專家系統(tǒng)[A];通信電源新技術(shù)論壇2011通信電源學術(shù)研討會論文集[C];2011年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 記者 張陸龍;我市推行更嚴格能耗管理制度[N];紹興日報;2010年

2 通訊員 聶卿;漳澤發(fā)電分公司開展能耗評估[N];中國電力報;2005年

3 本報記者 馬玲 通訊員 熊杰;管控住每一個能耗點[N];中國石化報;2014年

4 郗海才;齊魯煉廠能耗管理效果顯著[N];中國石化報;2004年

5 方彤;河南油田試油部三道防線降能耗[N];中國石化報;2008年

6 本報記者 穆廣田 通訊員 賀地紅;打好“組合牌” 能耗降下來[N];中國石油報;2013年

7 記者 王衍國 劉新圣;齊魯石化儲運廠節(jié)能實現(xiàn)新突破[N];物資信息報;2005年

8 薛振河;依靠科技進步 加強能耗管理 建設(shè)節(jié)約型企業(yè)[N];中國航空報;2006年

9 記者 余萬芳邋見習記者 魏金金;能耗不降,企業(yè)和政府領(lǐng)導(dǎo)一律“問責”[N];紹興日報;2007年

10 劉楠;我國首個電廠能耗實時監(jiān)控系統(tǒng)問世[N];中國知識產(chǎn)權(quán)報;2008年

中國博士學位論文全文數(shù)據(jù)庫 前3條

1 郝亮;面向能耗優(yōu)化的云計算資源調(diào)度算法研究[D];哈爾濱工業(yè)大學;2015年

2 左利云;云計算中基于任務(wù)特性和資源約束的調(diào)度方法研究[D];華南理工大學;2016年

3 賴志權(quán);眾核系統(tǒng)動態(tài)能耗管理技術(shù)研究[D];國防科學技術(shù)大學;2015年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 王丹;區(qū)域經(jīng)濟單位GDP能耗的解析研究[D];東北大學;2014年

2 趙洲;面向云計算服務(wù)的能耗采集與預(yù)測方法[D];華東師范大學;2016年

3 鄧聃婷;云計算平臺的能耗優(yōu)化調(diào)度技術(shù)的研究[D];西南交通大學;2016年

4 吳敏;建筑能耗評價方法研究及校園能耗監(jiān)測系統(tǒng)開發(fā)[D];西安建筑科技大學;2016年

5 潘雄;性能確保的能耗感知實時應(yīng)用設(shè)計優(yōu)化[D];電子科技大學;2016年

6 苗守庭;基于作業(yè)成本法的電信運營企業(yè)能耗管理研究[D];北京郵電大學;2010年

7 吳瓊;沈陽市裝備制造業(yè)能耗評價體系研究[D];沈陽工業(yè)大學;2010年

8 李妍霏;云計算中的能耗計量模型和節(jié)能優(yōu)化機制[D];北京郵電大學;2013年

9 黃金禮;高性能計算機系統(tǒng)能耗管理技術(shù)方法研究[D];國防科學技術(shù)大學;2012年

10 張秀洋;基于軟件版本演化的能耗建模與分析方法研究[D];云南大學;2015年

，

本文編號：836457