發(fā)布時間：2017-10-08 17:33

  本文關鍵詞：Hadoop數據中心網絡TCP Incast問題的研究

  更多相關文章： Hadoop集群 數據中心網絡 網絡吞吐量 TCP Incast 重傳超時 BPGS

【摘要】：信息化年代,網絡資源日益龐大,用戶請求信息數據量伴隨著互聯網的發(fā)展而不斷增加。由于集群存儲系統有諸多優(yōu)勢,所以集群存儲系統已被廣泛應用于數據中心中。集群存儲系統中,數據塊以條狀方式分散存儲在多個不同的服務器中,當并發(fā)訪問的用戶過多、響應服務器數量不斷增大、多個發(fā)送方同步將數據并發(fā)傳輸給一個接收方,當這些并發(fā)傳輸的數據量足夠超過以太網交換機緩沖區(qū)大小時,就會在高帶寬低延遲的環(huán)境中發(fā)生Incast問題。對Hadoop集群的構造、運行機制以及存在于Hadoop集群中的網絡塌陷行為進行了深入研究探討。結合Hadoop集群運行環(huán)境和在集群中發(fā)生的Incast問題,對Hadoop集群中發(fā)生的Incast問題提出兩種解決方案。第一種是提出優(yōu)化TCP超時來改善Incast現象,通過修改m i nR T O的值來提高網絡傳輸質量,提高帶寬利用率。第二種解決方案是通過將數據交錯分組傳輸來避免發(fā)生Incast現象。將原先并發(fā)傳輸的數據交錯開來實現數據類串行傳輸,避免發(fā)生TCP Incast現象。使用網絡仿真工具NS2對這兩種方案進行模擬仿真。仿真實驗結果表明,通過修改m i nR T O的值可以提高網絡傳輸質量和高帶寬利用率;通過將數據交錯分組傳輸可以避免發(fā)生Incast現象。論文中提出的兩種解決方案都能改善網絡傳輸質量,有效降低在Hadoop集群環(huán)境中TCP Incast發(fā)生率,避免網絡吞吐量出現大幅降低現象。
【關鍵詞】：Hadoop集群 數據中心網絡 網絡吞吐量 TCP Incast 重傳超時 BPGS
【學位授予單位】：南京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP308
【目錄】：

• 摘要4-5
• Abstract5-8
• 第一章 緒論8-16
• 1.1 研究背景8-9
• 1.2 數據中心網絡概述9-11
• 1.2.1 數據中心網絡介紹9-10
• 1.2.2 數據中心網絡架構10-11
• 1.3 TCP概述11-12
• 1.4 國內外研究現狀12-14
• 1.5 主要研究內容和論文組織結構14-16
• 第二章 HADOOP集群與網絡16-27
• 2.1 HADOOP集群構造16-18
• 2.2 HADOOP集群運行機制18-23
• 2.2.1 Hadoop集群運行過程18-22
• 2.2.2 機架感知22-23
• 2.3 HADOOP集群中網絡塌陷現象23-26
• 2.3.1 數據讀寫過程中的Incast現象23-25
• 2.3.2 MapReduce調度過程中的Incast現象25-26
• 2.4 本章小結26-27
• 第三章 TCP INCAST研究及模擬27-39
• 3.1 TCP INCAST研究27-29
• 3.1.1 TCP Incast27
• 3.1.2 引起TCP Incast原因27-29
• 3.2 TCP INCAST模擬29-31
• 3.2.1 模擬環(huán)境29-31
• 3.2.2 重傳超時31
• 3.3 已有的解決方案仿真實驗與結果分析31-37
• 3.3.1 傳輸層解決方案32-34
• 3.3.2 應用層解決方案34-36
• 3.3.3 其它解決方案36-37
• 3.4 本章小結37-39
• 第四章 HADOOP集群中基于重傳超時優(yōu)化算法39-52
• 4.1 相關工作39-43
• 4.1.1 數據中心網絡的超時重傳40-41
• 4.1.2 高精確度內核時鐘41-42
• 4.1.3 細粒度超時計時器42
• 4.1.4 定時器的維護42-43
• 4.2 典型TCP重傳超時算法43-45
• 4.2.1 Jacobson算法43-44
• 4.2.2 Karn算法44
• 4.2.3 RFC2988算法44-45
• 4.3 基于重傳超時優(yōu)化算法45-48
• 4.4 仿真實驗與結果分析48-50
• 4.5 本章小結50-52
• 第五章 基于緊迫度分組調度算法52-64
• 5.1 經典擁塞控制算法TCP NEWRENO和CUBIC研究52-56
• 5.1.1 經典擁塞控制算法TCP NewReno研究52-54
• 5.1.2 新型高速TCP變種協議CUBIC研究54-56
• 5.2 避免INCAST問題的應用層方法交錯流算法研究56-59
• 5.3 基于緊迫度分組調度算法59-60
• 5.4 仿真實驗與結果分析60-63
• 5.5 本章小結63-64
• 第六章 總結與展望64-66
• 6.1 總結64-65
• 6.2 展望65-66
• 參考文獻66-69
• 附錄1攻讀碩士學位期間撰寫的論文69-70
• 附錄2攻讀碩士學位期間參加的科研項目70-71
• 致謝71

【相似文獻】

中國期刊全文數據庫 前10條

1 江南;數據中心如何應付管理挑戰(zhàn)[J];互聯網周刊;2001年40期

2 ;簡化管理挑戰(zhàn)——惠普推實用數據中心解決方案[J];每周電腦報;2001年67期

3 李慶莉;去數據中心看一看——中國銀行華北信息中心計劃處處長云恩善談數據中心運行、管理[J];中國金融電腦;2002年12期

4 馬天蔚;;數據中心按需造[J];每周電腦報;2002年25期

5 戚麗,蔣東興,武海平,馮珂;校園數據中心建設與管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企業(yè)的數據中心2003了嗎?[J];微電腦世界;2003年17期

7 ;挖潛數據中心[J];金融電子化;2004年07期

8 王琨月;;數據中心業(yè)務就緒[J];每周電腦報;2004年21期

9 包東智;新熱點:創(chuàng)建下一代數據中心[J];上海信息化;2005年10期

10 ;把握數據中心建設五大看點[J];中國計算機用戶;2005年10期

中國重要會議論文全文數據庫 前10條

1 姚，

本文編號：995395