本文關(guān)鍵詞：面向視頻云存儲的HDFS負(fù)載均衡工具設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 在線視頻服務(wù) 云存儲 負(fù)載均衡 HDFS 帶寬

【摘要】：在線視頻服務(wù)是互聯(lián)網(wǎng)服務(wù)的重要組成部分,存儲是提供在線視頻服務(wù)的基礎(chǔ)。HDFS (Hadoop Distributed File System)作為面向通用文件存儲的云存儲系統(tǒng),被很多視頻服務(wù)網(wǎng)站使用,但其負(fù)載均衡工具未考慮利用視頻文件在線播放時的帶寬消耗特性來使集群的帶寬資源得到更充分的利用。為解決原有負(fù)載評估模型沒有考慮帶寬資源的問題,論文提出基于帶寬消耗預(yù)估的負(fù)載評估模型。通過對各個視頻文件的碼率、數(shù)據(jù)塊大小和訪問熱度等特性的分析對各個數(shù)據(jù)節(jié)點(diǎn)支持在線視頻播放系統(tǒng)時實(shí)際消耗的帶寬量進(jìn)行預(yù)估,以此作為數(shù)據(jù)節(jié)點(diǎn)負(fù)載評估模型中帶寬消耗特性的評估標(biāo)準(zhǔn),模擬實(shí)驗(yàn)表明該負(fù)載評估模型能夠更準(zhǔn)確地對數(shù)據(jù)節(jié)點(diǎn)的帶寬消耗特性進(jìn)行評估。為解決負(fù)載均衡方案生成過程中負(fù)載評估指標(biāo)由一維上升到二維時數(shù)據(jù)節(jié)點(diǎn)配對不合理的問題,論文提出基于對稱匹配的負(fù)載均衡方案生成方法。論文分析并提出了二維負(fù)載評估指標(biāo)情況下的負(fù)載均衡目標(biāo),通過對過載、正常和低載數(shù)據(jù)節(jié)點(diǎn)中數(shù)據(jù)塊組成情況的分析提出了二維情況下的對稱匹配準(zhǔn)則,設(shè)計(jì)了二維情況下數(shù)據(jù)節(jié)點(diǎn)進(jìn)行配對的方法和數(shù)據(jù)移動任務(wù)生成的方法,模擬實(shí)驗(yàn)表明該負(fù)載均衡方案生成方法能夠更有效地完成負(fù)載均衡目標(biāo)中與帶寬相關(guān)的部分。為避免負(fù)載調(diào)度過程中發(fā)生高帶寬消耗數(shù)據(jù)塊聚集的情況,論文提出基于條件選擇的負(fù)載調(diào)度方法。通過對數(shù)據(jù)移動任務(wù)對應(yīng)的需要被移動的數(shù)據(jù)塊的大小和帶寬消耗估計(jì)值的整體特性的分析,提出了按照預(yù)設(shè)條件交替進(jìn)行數(shù)據(jù)塊的隨機(jī)性選擇和確定性選擇的負(fù)載調(diào)度方法,模擬實(shí)驗(yàn)表明該負(fù)載調(diào)度方法能夠更有效地降低帶寬目標(biāo)均衡值。在HDFS原有負(fù)載均衡工具的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了面向視頻云存儲的HDFS負(fù)載均衡工具,測試表明論文所述方法能夠使集群中的帶寬資源得到更充分的利用,在高帶寬消耗視頻文件作為視頻服務(wù)訪問熱點(diǎn)的測試場景中,論文所述方法在90%的場景中優(yōu)于原有負(fù)載均衡方法,最高能夠使集群中瓶頸節(jié)點(diǎn)的帶寬峰值降低20%。
【關(guān)鍵詞】：在線視頻服務(wù) 云存儲 負(fù)載均衡 HDFS 帶寬
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要5-6
• Abstract6-14
• 第1章 緒論14-26
• 1.1 研究背景14-16
• 1.1.1 云存儲14-15
• 1.1.2 視頻云存儲15-16
• 1.1.3 負(fù)載均衡16
• 1.2 國內(nèi)外研究現(xiàn)狀16-22
• 1.2.1 云存儲系統(tǒng)16-18
• 1.2.2 視頻云存儲系統(tǒng)18-20
• 1.2.3 云存儲系統(tǒng)的負(fù)載均衡20-22
• 1.3 論文內(nèi)容22-25
• 1.3.1 研究內(nèi)容22-24
• 1.3.2 篇章結(jié)構(gòu)24-25
• 1.4 本章小結(jié)25-26
• 第2章 基于帶寬消耗預(yù)估的負(fù)載評估方法26-41
• 2.1 問題分析26-27
• 2.2 負(fù)載評估模型27-29
• 2.2.1 模型分析27-28
• 2.2.2 模型定義28-29
• 2.3 數(shù)據(jù)分析和維護(hù)29-34
• 2.3.1 架構(gòu)分析29-30
• 2.3.2 視頻文件屬性分析30-32
• 2.3.3 數(shù)據(jù)塊相關(guān)信息維護(hù)32-34
• 2.4 模擬實(shí)驗(yàn)34-40
• 2.4.1 低熱點(diǎn)讀取模式35-37
• 2.4.2 中熱點(diǎn)讀取模式37-38
• 2.4.3 高熱點(diǎn)讀取模式38-40
• 2.5 本章小結(jié)40-41
• 第3章 基于對稱匹配的負(fù)載均衡方案生成方法41-53
• 3.1 問題分析41-43
• 3.1.1 負(fù)載均衡方案生成問題41-42
• 3.1.2 負(fù)載均衡目標(biāo)42-43
• 3.2 負(fù)載均衡方案生成方法43-47
• 3.3 模擬實(shí)驗(yàn)47-52
• 3.3.1 均衡閾值分析47-49
• 3.3.2 存儲資源均衡效果對比49-51
• 3.3.3 帶寬資源均衡效果對比51-52
• 3.4 本章小結(jié)52-53
• 第4章 基于條件選擇的負(fù)載調(diào)度方法53-64
• 4.1 問題分析53-54
• 4.2 調(diào)度方法54-57
• 4.3 負(fù)載均衡流程57-58
• 4.4 模擬實(shí)驗(yàn)58-63
• 4.4.1 均衡閾值分析58-60
• 4.4.2 存儲資源均衡效果對比60-62
• 4.4.3 帶寬資源均衡效果對比62-63
• 4.5 本章小結(jié)63-64
• 第5章 面向視頻云存儲的HDFS負(fù)載均衡工具64-82
• 5.1 系統(tǒng)概述64
• 5.2 功能介紹64-66
• 5.3 系統(tǒng)架構(gòu)和功能實(shí)現(xiàn)66-73
• 5.3.1 架構(gòu)分析66-68
• 5.3.2 模塊功能設(shè)計(jì)68-70
• 5.3.3 系統(tǒng)類圖70-72
• 5.3.4 模塊間交互72-73
• 5.4 系統(tǒng)測試73-76
• 5.4.1 測試環(huán)境73-74
• 5.4.2 測試方法74-76
• 5.5 測試結(jié)果分析76-81
• 5.5.1 均衡目標(biāo)值對比76-77
• 5.5.2 實(shí)際讀取效果對比77-81
• 5.5.3 性能對比81
• 5.6 本章小結(jié)81-82
• 第6章 總結(jié)和展望82-84
• 6.1 論文工作總結(jié)82
• 6.2 未來工作展望82-84
• 參考文獻(xiàn)84-88
• 攻讀碩士學(xué)位期間主要的研究成果88-89
• 致謝89

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 湯臨春;李心科;潘秋菱;;基于上下文的移動Web Services[J];合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版);2006年10期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 黃曉成;面向視頻云存儲的HDFS負(fù)載均衡工具設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2016年

，

本文編號：886586