本文關(guān)鍵詞：基于HDFS的云計(jì)算動態(tài)副本策略研究

  更多相關(guān)文章： 云計(jì)算 HDFS改進(jìn)系統(tǒng) 動態(tài)副本策略 放置策略 負(fù)載均衡

【摘要】：隨著信息技術(shù)的高速發(fā)展，密集型的計(jì)算和大規(guī)模的存儲需求日益凸顯。云計(jì)算因其超強(qiáng)的計(jì)算能力、低廉的價(jià)格、獲取資源方便、可擴(kuò)展性強(qiáng)在科技產(chǎn)品上得到了廣泛的應(yīng)用，也成為了學(xué)者研究的熱點(diǎn)。云計(jì)算中的副本資源管理技術(shù)是影響系統(tǒng)性能的關(guān)鍵技術(shù)之一，也是保證云存儲系統(tǒng)高可靠性的核心要素。然而，目前被大量應(yīng)用的基于Hadoop的云計(jì)算在某些方面仍存在著不足： 首先，HDFS默認(rèn)的副本策略是靜態(tài)的，如果在短時(shí)間內(nèi)，用戶大量訪問某些信息，這些對象就成為了“熱點(diǎn)文件”，熱點(diǎn)問題會降低用戶訪問的速度，影響系統(tǒng)讀取性能；其次，副本資源調(diào)度缺乏標(biāo)準(zhǔn)性。副本動態(tài)調(diào)整的核心是根據(jù)需求增加或減少副本的數(shù)量，目前在副本個(gè)數(shù)的計(jì)算上沒有一個(gè)明確的標(biāo)準(zhǔn)，大多采用“需要就增加”的方式。而在副本刪除的策略上一般選擇存在時(shí)間久的副本進(jìn)行刪除，，其缺乏理論依據(jù)；最后，目前存在的一些副本放置算法，大部分未考慮節(jié)點(diǎn)的異構(gòu)性，對節(jié)點(diǎn)進(jìn)行均一化處理，這樣的處理方式是不準(zhǔn)確的。另外，目前的一些放置算法，也存在時(shí)間復(fù)雜度太高，模型太過簡單等問題。 根據(jù)上述不足，本文在前人的研究基礎(chǔ)上做了以下工作： （1）針對默認(rèn)HDFS靜態(tài)副本策略在大量文件訪問請求的情況下出現(xiàn)服務(wù)質(zhì)量降低的缺點(diǎn)，本文在原生HDFS文件系統(tǒng)之上進(jìn)行了改進(jìn)，增加了中央控制器、平衡計(jì)時(shí)器、訪問緩存以及歷史記錄棧，改進(jìn)后的系統(tǒng)能夠動態(tài)的調(diào)整副本數(shù)量。 （2）針對副本資源調(diào)度缺乏標(biāo)準(zhǔn)性的問題，本文在副本個(gè)數(shù)的計(jì)算上根據(jù)用戶的訪問情況來計(jì)算副本塊被訪問的頻率，由該頻率與平均頻率的比值來確定應(yīng)該維持的副本個(gè)數(shù)。對于副本刪除策略，本文從計(jì)算服務(wù)器、機(jī)架、功能模塊三個(gè)方面選擇性能較差的節(jié)點(diǎn)刪除副本。 （3）對于副本放置策略，本文選擇了典型的數(shù)據(jù)中心三層網(wǎng)絡(luò)結(jié)構(gòu)，提出了基于四級維度網(wǎng)絡(luò)感知(SRMD)的副本放置算法，在該算法中，分別從計(jì)算服務(wù)器、計(jì)算機(jī)架、功能模塊、節(jié)點(diǎn)網(wǎng)絡(luò)距離四個(gè)方面綜合考慮服務(wù)器節(jié)點(diǎn)性能，確定最優(yōu)的節(jié)點(diǎn)進(jìn)行副本放置作業(yè)。利用云計(jì)算仿真軟件CloudSim3.0來模擬一個(gè)復(fù)雜網(wǎng)絡(luò)的集群環(huán)境,從多方面對實(shí)驗(yàn)結(jié)果進(jìn)行分析，三種策略的對比表明本論文提出的動態(tài)副本策略是正確可行的。
【關(guān)鍵詞】：云計(jì)算 HDFS改進(jìn)系統(tǒng) 動態(tài)副本策略 放置策略 負(fù)載均衡
【學(xué)位授予單位】：浙江理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-10
• 第一章 緒論10-16
• 1.1 課題的研究背景10-11
• 1.2 研究現(xiàn)狀及意義11-12
• 1.2.1 國外云存儲研究現(xiàn)狀11
• 1.2.2 國內(nèi)云存儲研究現(xiàn)狀11-12
• 1.2.3 研究意義12
• 1.3 本文的主要工作12-14
• 1.4 本文章節(jié)安排14-16
• 第二章 分布式文件系統(tǒng) HDFS 研究16-26
• 2.1 分布式文件系統(tǒng)簡介16-17
• 2.1.1 分布式文件系統(tǒng)結(jié)構(gòu)及特點(diǎn)16
• 2.1.2 分布式文件系統(tǒng)的關(guān)鍵技術(shù)16-17
• 2.2 常見分布式文件系統(tǒng)17-18
• 2.3 HDFS 架構(gòu)概述18-23
• 2.3.1 HDFS 體系結(jié)構(gòu)18-20
• 2.3.2 HDFS 存取機(jī)制20-22
• 2.3.3 HDFS 中文件的刪除與恢復(fù)22-23
• 2.4 副本管理策略的基本理論23-24
• 2.5 現(xiàn)有 HDFS 架構(gòu)不足24-25
• 2.6 本章小結(jié)25-26
• 第三章 副本放置策略研究26-47
• 3.1 副本放置策略原則26
• 3.2 HDFS 默認(rèn)副本放置策略26-27
• 3.3 副本放置策略現(xiàn)狀27-28
• 3.4 基于四級維度網(wǎng)絡(luò)感知(SRMD)的副本放置算法28-38
• 3.4.1 SRMD 算法原理28-36
• 3.4.1.1 常見數(shù)據(jù)中心抽象結(jié)構(gòu)28-30
• 3.4.1.2 SRMD 算法度量方法30
• 3.4.1.3 SRMD 算法詳解30-36
• 3.4.2 SRMD 算法實(shí)現(xiàn)36-38
• 3.5 SRMD 算法實(shí)驗(yàn)結(jié)果與分析38-45
• 3.5.1 實(shí)驗(yàn)參數(shù)設(shè)置38-40
• 3.5.2 模擬實(shí)驗(yàn)結(jié)果分析40-45
• 3.6 本章小結(jié)45-47
• 第四章 云計(jì)算存儲資源動態(tài)調(diào)度機(jī)制的研究47-57
• 4.1 副本動態(tài)管理實(shí)現(xiàn)目標(biāo)47
• 4.2 HDFS 改進(jìn)型系統(tǒng)模型47-49
• 4.3 基于頻度算法的副本個(gè)數(shù)計(jì)算49-51
• 4.3.1 副本個(gè)數(shù)計(jì)算現(xiàn)狀49-50
• 4.3.2 頻度算法的副本個(gè)數(shù)計(jì)算實(shí)現(xiàn)50-51
• 4.4 基于 HDFS 改進(jìn)型系統(tǒng)模型的動態(tài)調(diào)度機(jī)制51-56
• 4.4.1 副本的增加策略51-53
• 4.4.2 副本的刪除策略53-56
• 4.4.2.1 副本刪除策略的啟動情況53-54
• 4.4.2.2 HDFS 默認(rèn)副本刪除策略54
• 4.4.2.3 副本刪除算法研究現(xiàn)狀54-55
• 4.4.2.4 副本刪除策略的實(shí)現(xiàn)55-56
• 4.5 本章小結(jié)56-57
• 第五章 仿真實(shí)驗(yàn)與性能分析57-63
• 5.1 實(shí)驗(yàn)環(huán)境57-58
• 5.2 實(shí)驗(yàn)結(jié)果與分析58-63
• 第六章 總結(jié)與展望63-65
• 6.1 工作總結(jié)63-64
• 6.2 進(jìn)一步研究方向64-65
• 參考文獻(xiàn)65-69
• 致謝69-70
• 攻讀學(xué)位期間的研究成果#@@

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前7條

1 應(yīng)朝暉，高洪奎，黃若衡;分布式文件系統(tǒng)[J];計(jì)算機(jī)工程與科學(xué);1995年03期

2 孫大為;常桂然;高尚;靳立忠;王興偉;;Modeling a Dynamic Data Replication Strategy to Increase System Availability in Cloud Computing Environments[J];Journal of Computer Science & Technology;2012年02期

3 張建勛;古志民;鄭超;;云計(jì)算研究進(jìn)展綜述[J];計(jì)算機(jī)應(yīng)用研究;2010年02期

4 董繼光;陳衛(wèi)衛(wèi);吳海佳;田浪軍;;基于動態(tài)副本技術(shù)的云存儲負(fù)載均衡研究[J];計(jì)算機(jī)應(yīng)用研究;2012年09期

5 李曉愷;代翔;李文杰;崔U

本文編號：1026799