本文關(guān)鍵詞：面向視頻云存儲的HDFS負載均衡工具設(shè)計與實現(xiàn)

  更多相關(guān)文章： 在線視頻服務(wù) 云存儲 負載均衡 HDFS 帶寬

【摘要】：在線視頻服務(wù)是互聯(lián)網(wǎng)服務(wù)的重要組成部分,存儲是提供在線視頻服務(wù)的基礎(chǔ)。HDFS (Hadoop Distributed File System)作為面向通用文件存儲的云存儲系統(tǒng),被很多視頻服務(wù)網(wǎng)站使用,但其負載均衡工具未考慮利用視頻文件在線播放時的帶寬消耗特性來使集群的帶寬資源得到更充分的利用。為解決原有負載評估模型沒有考慮帶寬資源的問題,論文提出基于帶寬消耗預(yù)估的負載評估模型。通過對各個視頻文件的碼率、數(shù)據(jù)塊大小和訪問熱度等特性的分析對各個數(shù)據(jù)節(jié)點支持在線視頻播放系統(tǒng)時實際消耗的帶寬量進行預(yù)估,以此作為數(shù)據(jù)節(jié)點負載評估模型中帶寬消耗特性的評估標準,模擬實驗表明該負載評估模型能夠更準確地對數(shù)據(jù)節(jié)點的帶寬消耗特性進行評估。為解決負載均衡方案生成過程中負載評估指標由一維上升到二維時數(shù)據(jù)節(jié)點配對不合理的問題,論文提出基于對稱匹配的負載均衡方案生成方法。論文分析并提出了二維負載評估指標情況下的負載均衡目標,通過對過載、正常和低載數(shù)據(jù)節(jié)點中數(shù)據(jù)塊組成情況的分析提出了二維情況下的對稱匹配準則,設(shè)計了二維情況下數(shù)據(jù)節(jié)點進行配對的方法和數(shù)據(jù)移動任務(wù)生成的方法,模擬實驗表明該負載均衡方案生成方法能夠更有效地完成負載均衡目標中與帶寬相關(guān)的部分。為避免負載調(diào)度過程中發(fā)生高帶寬消耗數(shù)據(jù)塊聚集的情況,論文提出基于條件選擇的負載調(diào)度方法。通過對數(shù)據(jù)移動任務(wù)對應(yīng)的需要被移動的數(shù)據(jù)塊的大小和帶寬消耗估計值的整體特性的分析,提出了按照預(yù)設(shè)條件交替進行數(shù)據(jù)塊的隨機性選擇和確定性選擇的負載調(diào)度方法,模擬實驗表明該負載調(diào)度方法能夠更有效地降低帶寬目標均衡值。在HDFS原有負載均衡工具的基礎(chǔ)上設(shè)計并實現(xiàn)了面向視頻云存儲的HDFS負載均衡工具,測試表明論文所述方法能夠使集群中的帶寬資源得到更充分的利用,在高帶寬消耗視頻文件作為視頻服務(wù)訪問熱點的測試場景中,論文所述方法在90%的場景中優(yōu)于原有負載均衡方法,最高能夠使集群中瓶頸節(jié)點的帶寬峰值降低20%。
【關(guān)鍵詞】：在線視頻服務(wù) 云存儲 負載均衡 HDFS 帶寬
【學位授予單位】：浙江大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要5-6
• Abstract6-14
• 第1章 緒論14-26
• 1.1 研究背景14-16
• 1.1.1 云存儲14-15
• 1.1.2 視頻云存儲15-16
• 1.1.3 負載均衡16
• 1.2 國內(nèi)外研究現(xiàn)狀16-22
• 1.2.1 云存儲系統(tǒng)16-18
• 1.2.2 視頻云存儲系統(tǒng)18-20
• 1.2.3 云存儲系統(tǒng)的負載均衡20-22
• 1.3 論文內(nèi)容22-25
• 1.3.1 研究內(nèi)容22-24
• 1.3.2 篇章結(jié)構(gòu)24-25
• 1.4 本章小結(jié)25-26
• 第2章 基于帶寬消耗預(yù)估的負載評估方法26-41
• 2.1 問題分析26-27
• 2.2 負載評估模型27-29
• 2.2.1 模型分析27-28
• 2.2.2 模型定義28-29
• 2.3 數(shù)據(jù)分析和維護29-34
• 2.3.1 架構(gòu)分析29-30
• 2.3.2 視頻文件屬性分析30-32
• 2.3.3 數(shù)據(jù)塊相關(guān)信息維護32-34
• 2.4 模擬實驗34-40
• 2.4.1 低熱點讀取模式35-37
• 2.4.2 中熱點讀取模式37-38
• 2.4.3 高熱點讀取模式38-40
• 2.5 本章小結(jié)40-41
• 第3章 基于對稱匹配的負載均衡方案生成方法41-53
• 3.1 問題分析41-43
• 3.1.1 負載均衡方案生成問題41-42
• 3.1.2 負載均衡目標42-43
• 3.2 負載均衡方案生成方法43-47
• 3.3 模擬實驗47-52
• 3.3.1 均衡閾值分析47-49
• 3.3.2 存儲資源均衡效果對比49-51
• 3.3.3 帶寬資源均衡效果對比51-52
• 3.4 本章小結(jié)52-53
• 第4章 基于條件選擇的負載調(diào)度方法53-64
• 4.1 問題分析53-54
• 4.2 調(diào)度方法54-57
• 4.3 負載均衡流程57-58
• 4.4 模擬實驗58-63
• 4.4.1 均衡閾值分析58-60
• 4.4.2 存儲資源均衡效果對比60-62
• 4.4.3 帶寬資源均衡效果對比62-63
• 4.5 本章小結(jié)63-64
• 第5章 面向視頻云存儲的HDFS負載均衡工具64-82
• 5.1 系統(tǒng)概述64
• 5.2 功能介紹64-66
• 5.3 系統(tǒng)架構(gòu)和功能實現(xiàn)66-73
• 5.3.1 架構(gòu)分析66-68
• 5.3.2 模塊功能設(shè)計68-70
• 5.3.3 系統(tǒng)類圖70-72
• 5.3.4 模塊間交互72-73
• 5.4 系統(tǒng)測試73-76
• 5.4.1 測試環(huán)境73-74
• 5.4.2 測試方法74-76
• 5.5 測試結(jié)果分析76-81
• 5.5.1 均衡目標值對比76-77
• 5.5.2 實際讀取效果對比77-81
• 5.5.3 性能對比81
• 5.6 本章小結(jié)81-82
• 第6章 總結(jié)和展望82-84
• 6.1 論文工作總結(jié)82
• 6.2 未來工作展望82-84
• 參考文獻84-88
• 攻讀碩士學位期間主要的研究成果88-89
• 致謝89

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 湯臨春;李心科;潘秋菱;;基于上下文的移動Web Services[J];合肥工業(yè)大學學報(自然科學版);2006年10期

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 黃曉成;面向視頻云存儲的HDFS負載均衡工具設(shè)計與實現(xiàn)[D];浙江大學;2016年

，

本文編號：886586