本文關(guān)鍵詞：面向高性能計(jì)算的YARN平臺(tái)關(guān)鍵技術(shù)與應(yīng)用研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著大數(shù)據(jù)時(shí)代的來(lái)臨,各類并行計(jì)算框架應(yīng)運(yùn)而生。這其中,基于MapReduce架構(gòu)的Hadoop和Spark等由于具備高容錯(cuò)性、高擴(kuò)展性和高可靠性等優(yōu)點(diǎn),越來(lái)越受到人們的關(guān)注。隨后,研究人員在MRv2中將資源管理和處理組件分開,形成通用的資源處理框架—-YARN,進(jìn)一步提升了系統(tǒng)的可伸縮性、效率和靈活性。YARN平臺(tái)非常適合面向互聯(lián)網(wǎng)的大規(guī)模數(shù)據(jù)處理,但當(dāng)其應(yīng)用到高性能計(jì)算中時(shí),在資源調(diào)度、Shuffle算法等方面,仍然存在可提升性能的地方。本文針對(duì)上述問(wèn)題,進(jìn)行了深入的研究,取得的主要成果如下：(1)提出并實(shí)現(xiàn)了一種基于人工魚群的YARN平臺(tái)資源調(diào)度器算法,提高了系統(tǒng)的資源利用率。該算法從提高內(nèi)存利用率和減少job運(yùn)行時(shí)間兩個(gè)方面進(jìn)行了改進(jìn),使其更加適應(yīng)高性能計(jì)算的需求,并將其抽象為MKP多背包問(wèn)題,最后應(yīng)用人工魚群算法獲得最優(yōu)解。實(shí)驗(yàn)證明本文可以有效地提高系統(tǒng)的運(yùn)行效率和資源利用率。(2)提出并實(shí)現(xiàn)了一種面向RDMA的YARN平臺(tái)Shuffle算法,提高了YARN系統(tǒng)的處理效率。該算法充分利用新一代網(wǎng)絡(luò)互聯(lián)設(shè)備RDMA的高帶寬,將Shuffle操作從Reduce端分裂出來(lái),做成后臺(tái)進(jìn)程,同時(shí)改進(jìn)了讀寫策略,降低了磁盤隨機(jī)讀寫的負(fù)載,減少了Shuffle過(guò)程的時(shí)間。實(shí)驗(yàn)證明改進(jìn)的Shuffle算法可以有效地提升系統(tǒng)的處理效率。(3)針對(duì)地質(zhì)高性能計(jì)算應(yīng)用系統(tǒng)—-Kirchhoff疊前時(shí)間偏移(PKTM)算法進(jìn)行了研究,在本文改進(jìn)的YARN平臺(tái)上,分別提出和實(shí)現(xiàn)了基于Hadoop平臺(tái)和Spark平臺(tái)的PKTM系統(tǒng),并對(duì)其性能進(jìn)行了分析,驗(yàn)證了本文改進(jìn)算法的有效性,也為地質(zhì)成像算法在MapReduce架構(gòu)上的并行化提供了借鑒。
【關(guān)鍵詞】：大數(shù)據(jù) Hadoop Spafk PKTM RDMA Shuffle
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13;TP18
【目錄】：

• 摘要5-6
• Abstract6-10
• 第一章 緒論10-20
• 1.1 研究背景與意義10-14
• 1.1.1 Hadoop背景11-12
• 1.1.1.1 MapReduce介紹11-12
• 1.1.2 YARN平臺(tái)背景12-13
• 1.1.3 Spark背景13-14
• 1.1.3.1 RDD介紹14
• 1.2 研究現(xiàn)狀14-18
• 1.2.1 YARN研究現(xiàn)狀14-16
• 1.2.2 Shuffle研究現(xiàn)狀16-17
• 1.2.3 PKTM研究現(xiàn)狀17-18
• 1.3 本文主要工作和內(nèi)容組織18-20
• 1.3.1 本文工作18
• 1.3.2 章節(jié)安排18-20
• 第二章 一種基于人工魚群算法的YARN資源調(diào)度器20-39
• 2.1 YARN調(diào)度器概述20-21
• 2.2 相關(guān)工作21
• 2.3 資源調(diào)度目標(biāo)21-23
• 2.4 基于人工魚群的資源調(diào)度器框架23-32
• 2.4.1 Memory-based目標(biāo)函數(shù)設(shè)計(jì)24-25
• 2.4.2 Time-based目標(biāo)函數(shù)設(shè)計(jì)25-28
• 2.4.2.1 Dependency分析26-27
• 2.4.2.2 Adaptive分析27-28
• 2.4.3 AFSA在調(diào)度器上的實(shí)現(xiàn)28-32
• 2.5 實(shí)驗(yàn)環(huán)境和結(jié)果32-38
• 2.5.1 實(shí)驗(yàn)配置34-35
• 2.5.2 實(shí)驗(yàn)結(jié)果和分析35-38
• 2.6 本章小結(jié)38-39
• 第三章 基于RDMA的YARN平臺(tái)Shuffle算法改進(jìn)39-50
• 3.1 Shuffle概述39-42
• 3.2 相關(guān)工作42
• 3.3 RDMA簡(jiǎn)介42-43
• 3.4 基于RDMA的Shuffle改進(jìn)43-46
• 3.4.1 Shuffle詳細(xì)設(shè)計(jì)44-45
• 3.4.2 Shuffle算法實(shí)現(xiàn)45-46
• 3.5 實(shí)驗(yàn)結(jié)果與分析46-49
• 3.6 本章小結(jié)49-50
• 第四章 基于改進(jìn)的YARN平臺(tái)的PKTM系統(tǒng)50-63
• 4.1 PKTM概述50-51
• 4.2 相關(guān)工作51-52
• 4.3 PKTM分布式算法實(shí)現(xiàn)52-57
• 4.3.1 Hadoop上的Kirchhoff算法實(shí)現(xiàn)52-54
• 4.3.2 Spark上的Kirchhoff算法實(shí)現(xiàn)54-57
• 4.4 實(shí)驗(yàn)結(jié)果與分析57-62
• 4.4.1 數(shù)據(jù)準(zhǔn)備57
• 4.4.2 實(shí)驗(yàn)結(jié)果57-62
• 4.5 本章小結(jié)62-63
• 第五章 總結(jié)與展望63-65
• 5.1 總結(jié)63-64
• 5.2 展望64-65
• 參考文獻(xiàn)65-71
• 科研成果71-72
• 在校參加的研究工作71
• 在校發(fā)表論文71-72
• 致謝72-73

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 陳f ,施伯樂(lè);多版本調(diào)度器的分析[J];計(jì)算機(jī)學(xué)報(bào);1990年10期

2 郭建新;李冀;魏明亮;陸桑璐;陳貴海;謝立;;基于簇結(jié)構(gòu)的分層調(diào)度器的設(shè)計(jì)和實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué);2001年04期

3 高銀河;;浪潮天梭8650負(fù)載均衡調(diào)度器工作原理與配置故障分析[J];科技資訊;2006年14期

4 王重鋼,隆克平,龔向陽(yáng),程時(shí)端;一種增強(qiáng)的速率比例調(diào)度器[J];電子學(xué)報(bào);2001年07期

5 李奇;樊曉平;;一種時(shí)間觸發(fā)的多任務(wù)調(diào)度器設(shè)計(jì)[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2008年05期

6 崔翠;彭艦;曹曉陽(yáng);郭翔;;融合多集群的ECCSSM分布式調(diào)度器研究與設(shè)計(jì)[J];計(jì)算機(jī)應(yīng)用;2009年S1期

7 魏艷艷;孟李林;;高速分組交換網(wǎng)絡(luò)中調(diào)度器的設(shè)計(jì)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2012年01期

8 劉桂波;陳國(guó)華;羅大庸;;一類鏈路調(diào)度器的統(tǒng)一隨機(jī)服務(wù)曲線研究[J];有色冶金設(shè)計(jì)與研究;2011年Z1期

9 閆石;馬潮;;時(shí)間觸發(fā)模式下的Protothreads設(shè)計(jì)應(yīng)用[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2009年01期

10 王克宏,謝樹煜,湯志忠;μs16系統(tǒng)的固化特征——二、固化的多任務(wù)調(diào)度器[J];微電子學(xué)與計(jì)算機(jī);1985年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 劉桂波;陳國(guó)華;羅大庸;;一類鏈路調(diào)度器的統(tǒng)一隨機(jī)服務(wù)曲線研究[A];2011第十六屆全國(guó)自動(dòng)化技術(shù)與應(yīng)用學(xué)術(shù)年會(huì)專輯[C];2011年

2 葉永凱;董威;舒紹嫻;徐小平;;freeRTOS內(nèi)核的RM調(diào)度器的設(shè)計(jì)與實(shí)現(xiàn)[A];第十六屆計(jì)算機(jī)工程與工藝年會(huì)暨第二屆微處理器技術(shù)論壇論文集[C];2012年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前7條

1 并行分布處理國(guó)家重點(diǎn)實(shí)驗(yàn)室 章文嵩 章文卓 吳泉源;可伸縮網(wǎng)絡(luò)服務(wù)的Linux集群[N];計(jì)算機(jī)世界;2000年

2 中科院計(jì)算所軟件研究室 李洋;確保Linux環(huán)境下文件共享的安全[N];計(jì)算機(jī)世界;2004年

3 ;IP層次化QoS大有可為[N];計(jì)算機(jī)世界;2004年

4 吳e

本文編號(hào)：322302