發(fā)布時間：2017-10-22 08:02

  本文關鍵詞：數據中心服務器和網絡的聯合優(yōu)化研究

  更多相關文章： 數據中心網絡 hadoop SDN fat-tree 聯合優(yōu)化

【摘要】：作為云計算的核心基礎設施和下一代網絡技術的創(chuàng)新平臺,運行大規(guī)模分布式計算任務的數據中心在全世界范圍內構建；其中以分布式文件系統(tǒng)(Hadoop Distributed File System, HDFS)和MapReduce (Google MapReduce的開源實現)為核心的開源分布式計算平臺hadoop;憑借高可靠性、高擴展性、高效性、高容錯性的優(yōu)點在數據中心中得到廣泛部署；對于數據中心網絡,新型拓撲結構和各種帶寬共享機制也使網絡吞吐率得到很大改善。 然而,計算資源優(yōu)化與網絡傳輸優(yōu)化沒有直接的相關性；因為,不同的優(yōu)化策略產生不同的流量矩陣；不同流量矩陣對于網絡負載影響不同,進而影響計算性能的程度也不同。另外,hadoop發(fā)展時間相對比較短,對多工作(jobs)情況下的數據分配和處理還不夠完善。 因此,基于計算端與網絡端聯合優(yōu)化和SDN(Software Defined Network)思想,本文設計了可擴展性的VM任務放置與網絡路由聯合優(yōu)化的方案。 在此方案中,首先分析和介紹了HDFS文件系統(tǒng)的工作原理和MapReduce的計算流程；并且搭建Hadoop平臺測試MapReduce計算性能和HDFS文件系統(tǒng)的數據存儲方式；然后,根據測試中統(tǒng)計的信息和相關的文獻資料總結出現的問題；接下來介紹數據中心網絡拓撲Fat-Tree,應用于Fat-tree中的等價多路徑(ECMP)協(xié)議和SDN的思想；緊接著,給出具體任務分配方案和基于Fat-tree網絡拓撲的聯合方案,確定出各種不同工作的HDFS劃分文件和map/reduce任務的合理分配位置；根據Fat-tree拓撲結構的特點,在ECMP協(xié)議基礎上設計新的帶寬分配算法。最后,實驗驗證聯合優(yōu)化方案,結果表明,我們的方案在保證計算優(yōu)化的基礎上能夠提高網絡吞吐率,并且改善了不同工作數據流的網絡傳輸。
【關鍵詞】：數據中心網絡 hadoop SDN fat-tree 聯合優(yōu)化
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP308
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-14
• 1.1 研究背景及意義9-11
• 1.2 問題分析11-12
• 1.3 研究內容12-13
• 1.4 論文組織結構13-14
• 第二章 背景知識和相關技術14-31
• 2.1 分布式計算平臺Hadoop14-24
• 2.1.1 MapReduce計算模型14-16
• 2.1.2 MapReduce工作流程16-18
• 2.1.3 MapReduce并行處理18-19
• 2.1.4 MapReduce調度算法介紹19-21
• 2.1.5 HDFS體系結構21-24
• 2.2 網絡拓撲結構Fat-tree24-26
• 2.2.1 樹形結構的不足24-25
• 2.2.2 Fat-tree拓撲特點25-26
• 2.3 軟件定義網絡(SDN)26-28
• 2.4 數據中心帶寬分配機制28-31
• 2.4.1 帶寬保證的意義28
• 2.4.2 數據中心帶寬共享機制28-29
• 2.4.3 帶寬分配模型29-31
• 第三章 搭建Hadoop平臺測試MapReduce模型和HDFS31-39
• 3.1 Hadoop的配置和安裝31-34
• 3.1.1 配置SSH和JDK31-32
• 3.1.2 Hadoop配置安裝32-34
• 3.2 MapReduce性能測試與分析34-38
• 3.2.1 測試用例程序的設計34-35
• 3.2.2 評估指標35
• 3.2.3 測試結果分析與總結35-37
• 3.2.4 性能瓶頸分析37-38
• 3.3 HDFS對性能的影響38-39
• 第四章 主要研究問題分析39-42
• 4.1 MapReduce并行計算問題分析39-40
• 4.2 網絡流調度問題分析40-42
• 第五章 多作業(yè)多任務數據分配方案設計42-46
• 5.1 分布式計算應用的流模型分析42
• 5.2 多作業(yè)數據放置方案設計42-44
• 5.3 多作業(yè)MapReduce任務流帶寬分配設計44-46
• 第六章 基于網絡拓撲Fat-tree的聯合優(yōu)化46-57
• 6.1 等價多路徑ECMP(Equal-cost multi-path)路由46
• 6.2 基于ECMP協(xié)議的帶寬分配46-47
• 6.3 Fat-tree上基于ECMP協(xié)議的模型設計47-48
• 6.4 基于SDN思想的VM放置策略與網絡的聯合優(yōu)化方案48-49
• 6.5 聯合優(yōu)化方案的模擬測試49-57
• 6.5.1 多作業(yè)數據放置方案測試49-52
• 6.5.2 基于ECMP協(xié)議的帶寬分配的模擬52-54
• 6.5.3 聯合優(yōu)化模擬測試54-57
• 第七章 結束語57-59
• 7.1 工作總結57-58
• 7.2 系統(tǒng)展望58-59
• 參考文獻59-61
• 致謝61-62
• 作者攻讀學位期間發(fā)表的學術論文目錄62

【參考文獻】

中國期刊全文數據庫 前1條

1 王凱;吳泉源;楊樹強;;一種多用戶MapReduce集群的作業(yè)調度算法的設計與實現[J];計算機與現代化;2010年10期

，

本文編號：1077430