發(fā)布時(shí)間：2017-10-22 08:02

  本文關(guān)鍵詞：數(shù)據(jù)中心服務(wù)器和網(wǎng)絡(luò)的聯(lián)合優(yōu)化研究

  更多相關(guān)文章： 數(shù)據(jù)中心網(wǎng)絡(luò) hadoop SDN fat-tree 聯(lián)合優(yōu)化

【摘要】：作為云計(jì)算的核心基礎(chǔ)設(shè)施和下一代網(wǎng)絡(luò)技術(shù)的創(chuàng)新平臺(tái),運(yùn)行大規(guī)模分布式計(jì)算任務(wù)的數(shù)據(jù)中心在全世界范圍內(nèi)構(gòu)建；其中以分布式文件系統(tǒng)(Hadoop Distributed File System, HDFS)和MapReduce (Google MapReduce的開(kāi)源實(shí)現(xiàn))為核心的開(kāi)源分布式計(jì)算平臺(tái)hadoop;憑借高可靠性、高擴(kuò)展性、高效性、高容錯(cuò)性的優(yōu)點(diǎn)在數(shù)據(jù)中心中得到廣泛部署；對(duì)于數(shù)據(jù)中心網(wǎng)絡(luò),新型拓?fù)浣Y(jié)構(gòu)和各種帶寬共享機(jī)制也使網(wǎng)絡(luò)吞吐率得到很大改善。 然而,計(jì)算資源優(yōu)化與網(wǎng)絡(luò)傳輸優(yōu)化沒(méi)有直接的相關(guān)性；因?yàn)?不同的優(yōu)化策略產(chǎn)生不同的流量矩陣；不同流量矩陣對(duì)于網(wǎng)絡(luò)負(fù)載影響不同,進(jìn)而影響計(jì)算性能的程度也不同。另外,hadoop發(fā)展時(shí)間相對(duì)比較短,對(duì)多工作(jobs)情況下的數(shù)據(jù)分配和處理還不夠完善。 因此,基于計(jì)算端與網(wǎng)絡(luò)端聯(lián)合優(yōu)化和SDN(Software Defined Network)思想,本文設(shè)計(jì)了可擴(kuò)展性的VM任務(wù)放置與網(wǎng)絡(luò)路由聯(lián)合優(yōu)化的方案。 在此方案中,首先分析和介紹了HDFS文件系統(tǒng)的工作原理和MapReduce的計(jì)算流程；并且搭建Hadoop平臺(tái)測(cè)試MapReduce計(jì)算性能和HDFS文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)方式；然后,根據(jù)測(cè)試中統(tǒng)計(jì)的信息和相關(guān)的文獻(xiàn)資料總結(jié)出現(xiàn)的問(wèn)題；接下來(lái)介紹數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)銯at-Tree,應(yīng)用于Fat-tree中的等價(jià)多路徑(ECMP)協(xié)議和SDN的思想；緊接著,給出具體任務(wù)分配方案和基于Fat-tree網(wǎng)絡(luò)拓?fù)涞穆?lián)合方案,確定出各種不同工作的HDFS劃分文件和map/reduce任務(wù)的合理分配位置；根據(jù)Fat-tree拓?fù)浣Y(jié)構(gòu)的特點(diǎn),在ECMP協(xié)議基礎(chǔ)上設(shè)計(jì)新的帶寬分配算法。最后,實(shí)驗(yàn)驗(yàn)證聯(lián)合優(yōu)化方案,結(jié)果表明,我們的方案在保證計(jì)算優(yōu)化的基礎(chǔ)上能夠提高網(wǎng)絡(luò)吞吐率,并且改善了不同工作數(shù)據(jù)流的網(wǎng)絡(luò)傳輸。
【關(guān)鍵詞】：數(shù)據(jù)中心網(wǎng)絡(luò) hadoop SDN fat-tree 聯(lián)合優(yōu)化
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP308
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-14
• 1.1 研究背景及意義9-11
• 1.2 問(wèn)題分析11-12
• 1.3 研究?jī)?nèi)容12-13
• 1.4 論文組織結(jié)構(gòu)13-14
• 第二章 背景知識(shí)和相關(guān)技術(shù)14-31
• 2.1 分布式計(jì)算平臺(tái)Hadoop14-24
• 2.1.1 MapReduce計(jì)算模型14-16
• 2.1.2 MapReduce工作流程16-18
• 2.1.3 MapReduce并行處理18-19
• 2.1.4 MapReduce調(diào)度算法介紹19-21
• 2.1.5 HDFS體系結(jié)構(gòu)21-24
• 2.2 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)Fat-tree24-26
• 2.2.1 樹(shù)形結(jié)構(gòu)的不足24-25
• 2.2.2 Fat-tree拓?fù)涮攸c(diǎn)25-26
• 2.3 軟件定義網(wǎng)絡(luò)(SDN)26-28
• 2.4 數(shù)據(jù)中心帶寬分配機(jī)制28-31
• 2.4.1 帶寬保證的意義28
• 2.4.2 數(shù)據(jù)中心帶寬共享機(jī)制28-29
• 2.4.3 帶寬分配模型29-31
• 第三章 搭建Hadoop平臺(tái)測(cè)試MapReduce模型和HDFS31-39
• 3.1 Hadoop的配置和安裝31-34
• 3.1.1 配置SSH和JDK31-32
• 3.1.2 Hadoop配置安裝32-34
• 3.2 MapReduce性能測(cè)試與分析34-38
• 3.2.1 測(cè)試用例程序的設(shè)計(jì)34-35
• 3.2.2 評(píng)估指標(biāo)35
• 3.2.3 測(cè)試結(jié)果分析與總結(jié)35-37
• 3.2.4 性能瓶頸分析37-38
• 3.3 HDFS對(duì)性能的影響38-39
• 第四章 主要研究問(wèn)題分析39-42
• 4.1 MapReduce并行計(jì)算問(wèn)題分析39-40
• 4.2 網(wǎng)絡(luò)流調(diào)度問(wèn)題分析40-42
• 第五章 多作業(yè)多任務(wù)數(shù)據(jù)分配方案設(shè)計(jì)42-46
• 5.1 分布式計(jì)算應(yīng)用的流模型分析42
• 5.2 多作業(yè)數(shù)據(jù)放置方案設(shè)計(jì)42-44
• 5.3 多作業(yè)MapReduce任務(wù)流帶寬分配設(shè)計(jì)44-46
• 第六章 基于網(wǎng)絡(luò)拓?fù)銯at-tree的聯(lián)合優(yōu)化46-57
• 6.1 等價(jià)多路徑ECMP(Equal-cost multi-path)路由46
• 6.2 基于ECMP協(xié)議的帶寬分配46-47
• 6.3 Fat-tree上基于ECMP協(xié)議的模型設(shè)計(jì)47-48
• 6.4 基于SDN思想的VM放置策略與網(wǎng)絡(luò)的聯(lián)合優(yōu)化方案48-49
• 6.5 聯(lián)合優(yōu)化方案的模擬測(cè)試49-57
• 6.5.1 多作業(yè)數(shù)據(jù)放置方案測(cè)試49-52
• 6.5.2 基于ECMP協(xié)議的帶寬分配的模擬52-54
• 6.5.3 聯(lián)合優(yōu)化模擬測(cè)試54-57
• 第七章 結(jié)束語(yǔ)57-59
• 7.1 工作總結(jié)57-58
• 7.2 系統(tǒng)展望58-59
• 參考文獻(xiàn)59-61
• 致謝61-62
• 作者攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄62

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 王凱;吳泉源;楊樹(shù)強(qiáng);;一種多用戶(hù)MapReduce集群的作業(yè)調(diào)度算法的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)與現(xiàn)代化;2010年10期

，

本文編號(hào)：1077430