本文關(guān)鍵詞：基于IaaS云平臺(tái)的Hadoop資源調(diào)度策略研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：云計(jì)算是當(dāng)前國(guó)內(nèi)外研究的熱點(diǎn)領(lǐng)域之一,它通過(guò)網(wǎng)絡(luò)整合計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源,并且將這些資源按需提供給用戶使用。Hadoop是一個(gè)開源的分布式系統(tǒng)框架,可以實(shí)現(xiàn)大規(guī)模的數(shù)據(jù)計(jì)算和存儲(chǔ),通常部署在服務(wù)器集群中。將Hadoop部署在IaaS云環(huán)境有諸多益處,但I(xiàn)aaS云為Hadoop提供的環(huán)境和傳統(tǒng)的物理集群存在差異。本文主要研究將Hadoop部署在IaaS云環(huán)境,在以下三個(gè)方面開展研究性工作：(1)考慮到IaaS云環(huán)境中Hadoop不能了解底層物理主機(jī)的資源使用情況,為合理利用物理主機(jī)的資源和增強(qiáng)虛擬集群的可伸縮性,本文設(shè)計(jì)將Hadoop f口IaaS云融合的DHCI(Dynamic Hadoop Cluster on IaaS)架構(gòu)。在DHCI架構(gòu)中,除私有云和Hadoop原有的套件外,增加監(jiān)控模塊、虛擬機(jī)管理模塊和調(diào)度模塊。監(jiān)控模塊收集物理主機(jī)負(fù)載信息,為Hadoop資源調(diào)度研究提供了依據(jù)；虛擬機(jī)管理模塊和調(diào)度模塊實(shí)現(xiàn)集群靈活的伸縮。(2)在DHCI架構(gòu)基礎(chǔ)上,本文提出基于物理主機(jī)負(fù)載反饋的資源調(diào)度策略。通過(guò)調(diào)度模塊獲取的物理主機(jī)負(fù)載信息,并對(duì)這些負(fù)載信息進(jìn)行分級(jí)處理,確保Hadoop進(jìn)行資源分配時(shí),有效避免將資源分配給負(fù)載過(guò)重的物理主機(jī),實(shí)現(xiàn)物理主機(jī)負(fù)載的均衡。(3)本文在Hadoop集群中使用計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)相分離的部署策略,雖然可以較好地保證集群的可伸縮性,但在一定程度上破壞了Hadoop的數(shù)據(jù)本地性。為此,本文設(shè)計(jì)IaaS云平臺(tái)上動(dòng)態(tài)虛擬機(jī)遷移策略�；凇耙苿�(dòng)計(jì)算”的思想,充分考慮運(yùn)算資源特點(diǎn),將不滿足本地性要求的計(jì)算節(jié)點(diǎn)遷移到相應(yīng)存儲(chǔ)節(jié)點(diǎn)所在的物理主機(jī)或機(jī)架上,以減輕帶寬資源的消耗,進(jìn)而提高系統(tǒng)的性能。最后,本文選用開源的計(jì)算管理平臺(tái)OpenStack作為IaaS云平臺(tái),對(duì)所提出系統(tǒng)架構(gòu)和策略進(jìn)行實(shí)現(xiàn)。采用Hadoop勺性能測(cè)試工具Hibench實(shí)現(xiàn)系統(tǒng)性能測(cè)試。結(jié)果表明：在運(yùn)行相同的任務(wù)情況下,DHCI架構(gòu)完成時(shí)間要少于普通Hadoop集群。在任務(wù)運(yùn)行過(guò)程中,對(duì)物理主機(jī)負(fù)載數(shù)據(jù)進(jìn)行統(tǒng)計(jì),可以發(fā)現(xiàn)DHCI架構(gòu)下物理主機(jī)之間的負(fù)載比普通Hadoop集群更為均衡。在Hadoop數(shù)據(jù)本地性測(cè)試中,在執(zhí)行相同任務(wù)情況下,經(jīng)過(guò)本地性優(yōu)化Hadoop集群的任務(wù)運(yùn)行時(shí)間少于未經(jīng)過(guò)本地性優(yōu)化的集群。
【關(guān)鍵詞】：云計(jì)算 Hadoop 資源調(diào)度 負(fù)載均衡 彈性伸縮 OpenStack
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP393.09
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-11
• 1 引言11-16
• 1.1 研究背景及意義11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-14
• 1.2.1 國(guó)外研究現(xiàn)狀12-13
• 1.2.2 國(guó)內(nèi)研究現(xiàn)狀13-14
• 1.3 研究?jī)?nèi)容及創(chuàng)新點(diǎn)14-15
• 1.4 論文結(jié)構(gòu)安排15-16
• 2 云計(jì)算相關(guān)技術(shù)16-22
• 2.1 云計(jì)算定義與特點(diǎn)16-17
• 2.2 云計(jì)算關(guān)鍵技術(shù)及類型17-18
• 2.3 OpenStack相關(guān)技術(shù)18-21
• 2.4 小結(jié)21-22
• 3 Hadoop分布式平臺(tái)相關(guān)技術(shù)22-31
• 3.1 HDFS文件系統(tǒng)22-25
• 3.2 MapReduce計(jì)算模型25-26
• 3.3 下一代Hadoop計(jì)算平臺(tái)YARN26-28
• 3.4 Hadoop作業(yè)調(diào)度算法28-29
• 3.5 小結(jié)29-31
• 4 基于負(fù)載反饋的Hadoop資源調(diào)度設(shè)計(jì)31-43
• 4.1 研究背景31-33
• 4.2 核心系統(tǒng)架構(gòu)設(shè)計(jì)33-36
• 4.3 基于負(fù)載反饋的資源調(diào)度策略36-40
• 4.3.1 算法思想36-38
• 4.3.2 調(diào)度策略流程38-40
• 4.4 IaaS云上Hadoop彈性伸縮策略40-42
• 4.5 小結(jié)42-43
• 5 基于動(dòng)態(tài)遷移的Hadoop數(shù)據(jù)本地性策略43-50
• 5.1 研究背景43-45
• 5.2 本地性策略設(shè)計(jì)45-49
• 5.3 小結(jié)49-50
• 6 動(dòng)態(tài)可配置Hadoop架構(gòu)的實(shí)現(xiàn)50-55
• 6.1 系統(tǒng)架構(gòu)實(shí)現(xiàn)50-53
• 6.2 OpenStack中虛擬機(jī)遷移的實(shí)現(xiàn)53-54
• 6.3 小結(jié)54-55
• 7 實(shí)驗(yàn)測(cè)試及結(jié)果分析55-65
• 7.1 實(shí)驗(yàn)環(huán)境及測(cè)試平臺(tái)搭建55-56
• 7.2 實(shí)驗(yàn)結(jié)果及性能分析56-63
• 7.3 小結(jié)63-65
• 8 總結(jié)與展望65-67
• 8.1 工作總結(jié)65
• 8.2 工作展望65-67
• 參考文獻(xiàn)67-70
• 作者簡(jiǎn)歷及攻讀碩士學(xué)位期間取得的研究成果70-72
• 學(xué)位論文數(shù)據(jù)集72

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王];鄭樹琴;;調(diào)度策略在并行機(jī)調(diào)度仿真的應(yīng)用[J];機(jī)械管理開發(fā);2013年01期

2 王浩,鐘玉琢;一種新的基于流合并的調(diào)度策略[J];計(jì)算機(jī)學(xué)報(bào);2001年03期

3 張麗曉,袁立強(qiáng),徐煒民;基于任務(wù)類型的集群調(diào)度策略[J];計(jì)算機(jī)工程;2004年13期

4 寧凝;錢省三;孟志雷;;帶有工藝約束的并行多機(jī)調(diào)度策略[J];工業(yè)工程;2008年02期

5 劉宴兵;李秉智;幸云輝;;寬帶路由器輸入排隊(duì)調(diào)度策略的綜合研究[J];計(jì)算機(jī)科學(xué);2002年03期

6 楊祥茂;譚曦;;基于網(wǎng)絡(luò)資源消費(fèi)者模型的調(diào)度策略[J];計(jì)算機(jī)科學(xué);2003年09期

7 黃敏;姚正林;劉金剛;;網(wǎng)絡(luò)QoS調(diào)度策略的分析與研究[J];計(jì)算機(jī)工程與應(yīng)用;2006年29期

8 方泳;袁召云;;環(huán)行穿梭車調(diào)度策略的仿真研究[J];物流技術(shù)與應(yīng)用;2012年04期

9 胡敏,陶洋;基于網(wǎng)絡(luò)配置管理的調(diào)度策略分析[J];數(shù)字通信;1999年04期

10 王振凱,劉斌,徐光yP;核心無(wú)狀態(tài)虛擬時(shí)鐘調(diào)度策略[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 胡子敬;李紅燕;;一種資源共享情況下的連續(xù)查詢算子調(diào)度策略[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

2 林志紅;;照口水電廠優(yōu)化調(diào)度策略的分析[A];福建省科學(xué)技術(shù)協(xié)會(huì)第八屆學(xué)術(shù)年會(huì)分會(huì)場(chǎng)——提高水電站水庫(kù)調(diào)度技術(shù) 推進(jìn)海西經(jīng)濟(jì)建設(shè)研討會(huì)論文集[C];2008年

3 黃錦濤;何加銘;陳平;賈德祥;;基于移動(dòng)中間件抽象層調(diào)度策略研究[A];浙江省電子學(xué)會(huì)2010學(xué)術(shù)年會(huì)論文集[C];2010年

4 王冰;谷寒雨;席裕庚;;大規(guī)模單機(jī)靜態(tài)調(diào)度的終端約束滾動(dòng)策略[A];第二十二屆中國(guó)控制會(huì)議論文集（下）[C];2003年

5 趙千川;鄭大鐘;;一類HDS的事件反饋型最優(yōu)調(diào)度策略[A];1996年中國(guó)控制會(huì)議論文集[C];1996年

6 趙千川;鄭大鐘;;CLB調(diào)度策略的性能估計(jì)[A];1998年中國(guó)控制會(huì)議論文集[C];1998年

7 方劍;席裕庚;;動(dòng)態(tài)環(huán)境下的Job Shop周期性滾動(dòng)調(diào)度策略[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

8 淡圖南;朱立平;顏紀(jì)迅;;一種基于時(shí)間觸發(fā)的安全關(guān)鍵操作系統(tǒng)混合調(diào)度策略[A];全面建成小康社會(huì)與中國(guó)航空發(fā)展——2013首屆中國(guó)航空科學(xué)技術(shù)大會(huì)論文集[C];2013年

9 郭紅星;彭嘉麗;盛濤;田婷;張愛(ài)華;;無(wú)線多用戶視頻流中支持內(nèi)容感知的包調(diào)度策略[A];第四屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2008年

10 李茂增;王丹;杜東明;;一種數(shù)據(jù)流查詢操作符的調(diào)度策略[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前1條

1 戈;國(guó)華集群負(fù)載優(yōu)化系統(tǒng)具備八項(xiàng)功能[N];電腦商報(bào);2007年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前8條

1 周瀏陽(yáng);網(wǎng)絡(luò)控制系統(tǒng)中調(diào)度策略的設(shè)計(jì)與延時(shí)的處理[D];哈爾濱工業(yè)大學(xué);2015年

2 Rabee Furkan Hassan Saleh;[D];電子科技大學(xué);2015年

3 張曄;基于模塊的調(diào)度策略及其對(duì)多處理器系統(tǒng)的支持[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

4 曾碧卿;分布式計(jì)算中并行I/O調(diào)度策略研究[D];中南大學(xué);2005年

5 何忠賀;切換服務(wù)網(wǎng)絡(luò)的穩(wěn)定性及交通信號(hào)控制應(yīng)用[D];北京工業(yè)大學(xué);2013年

6 王文樂(lè);基于替代/補(bǔ)償?shù)膶?shí)時(shí)事務(wù)處理策略研究[D];江西財(cái)經(jīng)大學(xué);2013年

7 王書舉;車輛控制系統(tǒng)局域網(wǎng)絡(luò)（CAN）調(diào)度策略研究[D];東北大學(xué);2011年

8 張金藝;可重構(gòu)SoC DFT架構(gòu)與TLB測(cè)試調(diào)度策略研究[D];上海大學(xué);2009年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 丁富淮;嵌入式Linux系統(tǒng)的二級(jí)調(diào)度策略優(yōu)化技術(shù)及應(yīng)用[D];蘇州大學(xué);2015年

2 成先鏡;公共自行車兩階段調(diào)度策略與模型及求解方法研究[D];南京師范大學(xué);2015年

3 趙金濤;虛擬單元制造中考慮隨機(jī)擾動(dòng)的多級(jí)動(dòng)態(tài)穩(wěn)健調(diào)度策略研究[D];江蘇科技大學(xué);2015年

4 張晏;OpenStack的拓?fù)淇梢暬O(jiān)控技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 殷洪海;云環(huán)境下基于改進(jìn)蟻群算法的資源調(diào)度策略[D];電子科技大學(xué);2014年

6 王潤(rùn)澤;CPU與GPU混合虛擬化資源高效調(diào)度策略[D];上海交通大學(xué);2015年

7 童毅;基于MapReduce模型的云平臺(tái)調(diào)度策略優(yōu)化研究[D];南京郵電大學(xué);2015年

8 蘇孝明;考慮大規(guī)模間歇性能源接入的調(diào)度策略研究[D];華北電力大學(xué);2015年

9 王炳旭;基于IaaS云平臺(tái)的Hadoop資源調(diào)度策略研究[D];北京交通大學(xué);2016年

10 李振雙;云計(jì)算環(huán)境下資源調(diào)度策略的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2014年

  本文關(guān)鍵詞：基于IaaS云平臺(tái)的Hadoop資源調(diào)度策略研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：275365