本文關(guān)鍵詞：云計(jì)算平臺(tái)上任務(wù)調(diào)度算法的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著應(yīng)用種類(lèi)的增多和數(shù)據(jù)規(guī)模的增大,傳統(tǒng)資源組織和管理方式無(wú)法滿(mǎn)足用戶(hù)對(duì)計(jì)算和存儲(chǔ)的需求,這促使云計(jì)算概念出現(xiàn)和快速發(fā)展。云計(jì)算將成百上千的計(jì)算機(jī)組成遠(yuǎn)端大規(guī)模集群,將計(jì)算能力、數(shù)據(jù)存儲(chǔ)和應(yīng)用等以服務(wù)方式提供給用戶(hù),使用戶(hù)像水電一樣使用計(jì)算機(jī)資源。一經(jīng)提出,受到學(xué)術(shù)界和企業(yè)界的廣泛關(guān)注。隨著越來(lái)越多的應(yīng)用遷移到云平臺(tái),提高云計(jì)算平臺(tái)的性能具有十分重要的意義。隨著云計(jì)算的不斷應(yīng)用和發(fā)展,.針對(duì)應(yīng)用需求出現(xiàn)了不同類(lèi)型的分布式計(jì)算框架,相應(yīng)產(chǎn)生了多種云計(jì)算平臺(tái)。主流云計(jì)算平臺(tái)包括：(1)適合處理離線批量應(yīng)用的基于MapReduce計(jì)算框架的云平臺(tái),(2)可快速處理迭代應(yīng)用和遞增應(yīng)用的基于事件驅(qū)動(dòng)的云平臺(tái)和(3)支持同時(shí)運(yùn)行多種計(jì)算框架應(yīng)用的彈性計(jì)算云平臺(tái)。本文在深入調(diào)研云計(jì)算領(lǐng)域關(guān)鍵技術(shù)和研究現(xiàn)狀的基礎(chǔ)上,針對(duì)主流云計(jì)算平臺(tái),以提高云計(jì)算平臺(tái)性能為目標(biāo),研究任務(wù)調(diào)度問(wèn)題。本文的主要內(nèi)容和貢獻(xiàn)點(diǎn)如下：1.研究了基于MapReduce計(jì)算框架的云平臺(tái)特性,提出了基于預(yù)取的調(diào)度算法,并進(jìn)一步實(shí)現(xiàn)了一個(gè)任務(wù)調(diào)度器-HPSO。將預(yù)測(cè)機(jī)制、數(shù)據(jù)預(yù)取技術(shù)和任務(wù)調(diào)度三者結(jié)合,在任務(wù)調(diào)度策略的指引下采用數(shù)據(jù)預(yù)取技術(shù),提高具有數(shù)據(jù)本地性任務(wù)的比例,進(jìn)而優(yōu)化云平臺(tái)性能。實(shí)驗(yàn)結(jié)果顯示：HPSO可獲得不低于90%的數(shù)據(jù)本地性,可獲得最高1.49倍的加速比。2.分析了基于事件驅(qū)動(dòng)的云平臺(tái)的特性,提出兩步調(diào)度算法,并設(shè)計(jì)了任務(wù)調(diào)度器一TSS。該算法將新觸發(fā)器直接分配到監(jiān)測(cè)數(shù)據(jù)所在節(jié)點(diǎn)上,以響應(yīng)數(shù)據(jù)更新；隨后針對(duì)集群負(fù)載不均衡的情況,運(yùn)用主節(jié)點(diǎn)宏觀調(diào)控下的分布式隨機(jī)抽樣均衡算法進(jìn)行負(fù)載均衡。將TSS配置在基于事件驅(qū)動(dòng)的云平臺(tái)Domino上,通過(guò)實(shí)驗(yàn)驗(yàn)證了該算法的有效性。3.分析了影響彈性計(jì)算云平臺(tái)的性能因素,該平臺(tái)采用增量資源機(jī)制防止任務(wù)餓死,為任務(wù)預(yù)留資源,導(dǎo)致資源利用率低,基于此提出了一種新的分類(lèi)調(diào)度算法- CategoryS。該算法定義了小作業(yè)(small job)和大作業(yè)(largejob)兩種標(biāo)簽,算法可分為兩部分：第一部分,優(yōu)先執(zhí)行l(wèi)arge job,盡量減少預(yù)留資源次數(shù)；第二部分,CategoryS將large job預(yù)留的資源借給smalljob,當(dāng)large job所等待的資源到達(dá)時(shí),收回借出的預(yù)留資源,這樣即不影響large job的運(yùn)行,且提高集群利用率。將CategoryS配置在YARN上，，實(shí)驗(yàn)結(jié)果表明,該算法可有效提高混合任務(wù)集的性能。
【關(guān)鍵詞】：云計(jì)算 任務(wù)調(diào)度 計(jì)算框架 觸發(fā)器 彈性計(jì)算
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP393.09;TP301.6
【目錄】：

• 摘要5-7
• ABSTRACT7-16
• 主要符號(hào)對(duì)照表16-17
• 第一章 緒論17-29
• 1.1 云計(jì)算的概念17-20
• 1.1.1 云計(jì)算服務(wù)分類(lèi)17-18
• 1.1.2 云計(jì)算研究現(xiàn)狀18-20
• 1.2 研究背景和意義20-25
• 1.2.1 MapReduce平臺(tái)的調(diào)度算法20-21
• 1.2.2 基于事件驅(qū)動(dòng)的云平臺(tái)的調(diào)度算法21-23
• 1.2.3 彈性計(jì)算云平臺(tái)的調(diào)度算法23-25
• 1.3 本文的研究?jī)?nèi)容25-26
• 1.3.1 任務(wù)調(diào)度問(wèn)題描述25-26
• 1.3.2 研究?jī)?nèi)容26
• 1.4 論文結(jié)構(gòu)26-29
• 第二章 MapReduce平臺(tái)上基于預(yù)取的調(diào)度算法29-57
• 2.1 引言29-30
• 2.2 相關(guān)工作介紹30-37
• 2.2.1 MapReduce計(jì)算框架30-31
• 2.2.2 Hadoop實(shí)現(xiàn)31-33
• 2.2.3 Hadoop資源管理33-34
• 2.2.4 數(shù)據(jù)本地性問(wèn)題34-35
• 2.2.5 現(xiàn)有相關(guān)解決方案35-37
• 2.3 基于預(yù)取的調(diào)度算法設(shè)計(jì)37-47
• 2.3.1 任務(wù)調(diào)度問(wèn)題描述38-39
• 2.3.2 算法框架39-40
• 2.3.3 預(yù)測(cè)模塊40-41
• 2.3.4 調(diào)度優(yōu)化器模塊41-45
• 2.3.5 預(yù)取緩存機(jī)制45-47
• 2.4 實(shí)驗(yàn)和分析47-53
• 2.4.1 性能分析47-49
• 2.4.2 實(shí)驗(yàn)設(shè)置49
• 2.4.3 不同基準(zhǔn)用例的性能比較49-51
• 2.4.4 基準(zhǔn)用例輸入數(shù)據(jù)大小時(shí)的性能比較51-53
• 2.4.5 HDFS基本數(shù)據(jù)塊大小不同時(shí)性能比較53
• 2.4.6 擴(kuò)展性能分析53
• 2.5 小結(jié)53-57
• 第三章 基于事件驅(qū)動(dòng)云平臺(tái)的兩步調(diào)度算法57-77
• 3.1 引言57
• 3.2 相關(guān)工作介紹57-62
• 3.2.1 基于事件驅(qū)動(dòng)的計(jì)算框架57-58
• 3.2.2 基于事件驅(qū)動(dòng)的云平臺(tái)58-60
• 3.2.3 基于事件驅(qū)動(dòng)云平臺(tái)與MapReduce平臺(tái)比較60-61
• 3.2.4 任務(wù)調(diào)度相關(guān)研究61-62
• 3.3 兩步調(diào)度算法設(shè)計(jì)62-69
• 3.3.1 任務(wù)調(diào)度問(wèn)題描述62-64
• 3.3.2 算法總體框架64
• 3.3.3 觸發(fā)器分配64-65
• 3.3.4 負(fù)載均衡算法65-69
• 3.3.5 算法復(fù)雜度分析69
• 3.4 TSS設(shè)計(jì)和實(shí)現(xiàn)69-71
• 3.5 實(shí)驗(yàn)和分析71-75
• 3.5.1 實(shí)驗(yàn)設(shè)置71-72
• 3.5.2 PageRank應(yīng)用性能比較72-73
• 3.5.3 wordcount應(yīng)用性能比較73-74
• 3.5.4 擴(kuò)展性分析74-75
• 3.6 小結(jié)75-77
• 第四章 彈性云平臺(tái)任務(wù)調(diào)度算法77-97
• 4.1 引言77-78
• 4.2 相關(guān)工作介紹78-83
• 4.2.1 彈性計(jì)算云平臺(tái)78-81
• 4.2.2 相關(guān)任務(wù)調(diào)度算法81-83
• 4.3 算法設(shè)計(jì)83-91
• 4.3.1 問(wèn)題描述83-84
• 4.3.2 算法框架84-85
• 4.3.3 多維資源分配85-88
• 4.3.4 基于預(yù)留資源的調(diào)度策略88-91
• 4.3.5 適用性91
• 4.4 實(shí)驗(yàn)和分析性能91-96
• 4.4.1 性能分析91-92
• 4.4.2 實(shí)驗(yàn)設(shè)置92
• 4.4.3 CategoryS性能分析92-95
• 4.4.4 擴(kuò)展性分析95-96
• 4.5 小結(jié)96-97
• 第五章 總結(jié)與展望97-101
• 5.1 主要工作總結(jié)97-98
• 5.2 未來(lái)工作展望98-101
• 參考文獻(xiàn)101-107
• 致謝107-109
• 在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果109-110

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 孟憲福;基于優(yōu)先級(jí)的任務(wù)調(diào)度與負(fù)載均衡模型研究[J];小型微型計(jì)算機(jī)系統(tǒng);2005年09期

2 廖曉文;廖京盛;;時(shí)間觸發(fā)模式的任務(wù)調(diào)度與分解策略[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2006年07期

3 樊曉香;;任務(wù)調(diào)度問(wèn)題機(jī)制設(shè)計(jì)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2008年07期

4 黃漾;;分布式環(huán)境下任務(wù)調(diào)度探討[J];電腦知識(shí)與技術(shù);2011年19期

5 陳軍;謝立;孫鐘秀;;分布式任務(wù)調(diào)度研究的新趨向[J];計(jì)算機(jī)研究與發(fā)展;1990年04期

6 陳艇;;基于混沌最優(yōu)博弈的網(wǎng)絡(luò)任務(wù)調(diào)度算法仿真[J];計(jì)算機(jī)仿真;2013年11期

7 李陶深;李明麗;張希翔;;云計(jì)算環(huán)境下任務(wù)調(diào)度技術(shù)的研究進(jìn)展[J];玉林師范學(xué)院學(xué)報(bào);2014年02期

8 劉雄文,陸鑫達(dá);元計(jì)算環(huán)境中任務(wù)調(diào)度的深入分析[J];計(jì)算機(jī)工程與應(yīng)用;2002年17期

9 羅紅,慕德俊,鄧智群,王曉東;網(wǎng)格計(jì)算中任務(wù)調(diào)度研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2005年05期

10 張國(guó)海;江平宇;周光輝;;多設(shè)計(jì)任務(wù)調(diào)度的非合作博弈研究[J];西安交通大學(xué)學(xué)報(bào);2007年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 劉培培;李連;叢海鵬;謝勇;;基于多代理協(xié)商機(jī)制的任務(wù)調(diào)度系統(tǒng)研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集（下）[C];2006年

2 張磊;馬軍;;描述短時(shí)資源混雜占用型任務(wù)調(diào)度的數(shù)學(xué)模型與算法[A];2005年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

3 王軍;巢玉強(qiáng);彭釗軼;;基于任務(wù)調(diào)度的電能量計(jì)量采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006電力系統(tǒng)自動(dòng)化學(xué)術(shù)交流研討大會(huì)論文集[C];2006年

4 張志強(qiáng);王萬(wàn)玉;王建平;李凡;袁剛;;多站多星任務(wù)調(diào)度優(yōu)化模型研究[A];第二十三屆全國(guó)空間探測(cè)學(xué)術(shù)交流會(huì)論文摘要集[C];2010年

5 韓云;于炯;張偉;王命全;;基于負(fù)載均衡的任務(wù)調(diào)度改進(jìn)算法[A];2010年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集[C];2010年

6 王全民;王靚;許智宏;;網(wǎng)格環(huán)境中基于蟻群算法的批量任務(wù)調(diào)度的研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集（上）[C];2006年

7 張曉云;岳繼光;楊麟祥;;零星任務(wù)調(diào)度在多控制任務(wù)系統(tǒng)中的應(yīng)用[A];第16屆中國(guó)過(guò)程控制學(xué)術(shù)年會(huì)暨第4屆全國(guó)故障診斷與安全性學(xué)術(shù)會(huì)議論文集[C];2005年

8 劉宇;劉玉榮;周冰;;基于WCF的環(huán)境減災(zāi)星座運(yùn)控任務(wù)調(diào)度系統(tǒng)[A];第二十五屆全國(guó)空間探測(cè)學(xué)術(shù)研討會(huì)摘要集[C];2012年

9 黃文澤;邵峰晶;孫仁誠(chéng);;基于雙總線安全結(jié)構(gòu)的操作系統(tǒng)任務(wù)調(diào)度[A];2009全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)與通信學(xué)術(shù)會(huì)議論文集[C];2009年

10 楊艦;黃道平;李小亞;;GDCS任務(wù)調(diào)度的SPN模型研究[A];第二十六屆中國(guó)控制會(huì)議論文集[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前1條

1 王波;Linux與服務(wù)器集群技術(shù)[N];中國(guó)計(jì)算機(jī)報(bào);2002年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 趙凡宇;航天器多目標(biāo)觀測(cè)任務(wù)調(diào)度與規(guī)劃方法研究[D];北京理工大學(xué);2015年

2 孫明明;云計(jì)算平臺(tái)上任務(wù)調(diào)度算法的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

3 郭力爭(zhēng);云計(jì)算環(huán)境下資源部署與任務(wù)調(diào)度研究[D];東華大學(xué);2015年

4 黃萬(wàn)偉;基于服務(wù)屬性區(qū)分的可重構(gòu)任務(wù)調(diào)度研究[D];解放軍信息工程大學(xué);2009年

5 瞿進(jìn);可重構(gòu)系統(tǒng)軟硬功能劃分及任務(wù)調(diào)度技術(shù)研究[D];解放軍信息工程大學(xué);2011年

6 周雙娥;實(shí)時(shí)分布容錯(cuò)系統(tǒng)的任務(wù)調(diào)度技術(shù)研究[D];哈爾濱工程大學(xué);2003年

7 柴亞輝;基于FPGA的高性能計(jì)算架構(gòu)硬件任務(wù)與資源模型研究[D];上海大學(xué);2012年

8 金剛;云環(huán)境下任務(wù)調(diào)度關(guān)鍵問(wèn)題研究[D];吉林大學(xué);2015年

9 耿曉中;基于多核分布式環(huán)境下的任務(wù)調(diào)度關(guān)鍵技術(shù)研究[D];吉林大學(xué);2013年

10 陳錫明;基于NOW的任務(wù)調(diào)度和負(fù)載平衡方法研究[D];電子科技大學(xué);2000年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 張巧龍;云計(jì)算環(huán)境下任務(wù)調(diào)度問(wèn)題的研究[D];江南大學(xué);2015年

2 徐彬;云環(huán)境下基于動(dòng)態(tài)融合遺傳蟻群算法的DAG任務(wù)調(diào)度研究[D];南京信息工程大學(xué);2015年

3 鐘瀟柔;基于動(dòng)態(tài)遺傳算法的云計(jì)算任務(wù)節(jié)能調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2015年

4 李婷;分布式爬蟲(chóng)任務(wù)調(diào)度與AJAX頁(yè)面抓取研究[D];電子科技大學(xué);2015年

5 趙彬;基于任務(wù)調(diào)度和動(dòng)態(tài)資源調(diào)整的云計(jì)算節(jié)能機(jī)制及能效分析[D];廣西大學(xué);2015年

6 楊鏡;基于人工免疫系統(tǒng)的云平臺(tái)動(dòng)態(tài)任務(wù)調(diào)度[D];電子科技大學(xué);2014年

7 王一冰;基于ASP.NET的任務(wù)調(diào)度管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

8 白晶晶;云環(huán)境下安全和可靠性驅(qū)動(dòng)的工作流任務(wù)調(diào)度研究[D];新疆大學(xué);2015年

9 呂信科;基于多核陣列的任務(wù)調(diào)度技術(shù)研究[D];電子科技大學(xué);2015年

10 溫宇昂;單階段差異化多機(jī)可拆分任務(wù)調(diào)度優(yōu)化方法[D];東北大學(xué);2013年

  本文關(guān)鍵詞：云計(jì)算平臺(tái)上任務(wù)調(diào)度算法的研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：265844