大數(shù)據(jù)時(shí)代的到來(lái)給人類帶來(lái)機(jī)遇,也帶來(lái)挑戰(zhàn)。云存儲(chǔ)為大數(shù)據(jù)提供了理想的存儲(chǔ)解決方案。可用性和性能是用戶使用云存儲(chǔ)的重要考量。云存儲(chǔ)中的副本技術(shù)不僅能維持系統(tǒng)較高的可用性,同時(shí)還能整體提升系統(tǒng)的性能。動(dòng)態(tài)副本技術(shù)相比較于靜態(tài)副本技術(shù)更能滿足云存儲(chǔ)復(fù)雜環(huán)境下的數(shù)據(jù)訪問(wèn)需求。副本因子動(dòng)態(tài)調(diào)整策略以及副本放置問(wèn)題是副本技術(shù)的研究重點(diǎn),也是本文的主要研究?jī)?nèi)容。本文針對(duì)副本因子動(dòng)態(tài)調(diào)整問(wèn)題,在分析現(xiàn)有Hadoop分布式文件系統(tǒng)靜態(tài)副本機(jī)制不足的基礎(chǔ)上,結(jié)合時(shí)間局部性原理對(duì)文件的訪問(wèn)熱度進(jìn)行預(yù)測(cè),對(duì)不同熱度的文件動(dòng)態(tài)地采取不同的調(diào)整策略,具體通過(guò)篩選和調(diào)整兩個(gè)階段來(lái)完成,在提升訪問(wèn)性能的同時(shí)避免存儲(chǔ)資源的浪費(fèi)。實(shí)驗(yàn)結(jié)果表明改進(jìn)的副本因子調(diào)整策略可以降低系統(tǒng)作業(yè)平均響應(yīng)時(shí)間,能夠有效地提升數(shù)據(jù)訪問(wèn)的性能。本文針對(duì)副本放置問(wèn)題,分析了已有副本放置策略在異構(gòu)環(huán)境下所存在的局限性,結(jié)合統(tǒng)計(jì)學(xué)知識(shí)對(duì)集群中節(jié)點(diǎn)的異構(gòu)特性進(jìn)行定量評(píng)價(jià),在遵循給定副本放置基本原則的前提下,根據(jù)節(jié)點(diǎn)綜合性能評(píng)價(jià)值的不同來(lái)進(jìn)行合理的副本放置。實(shí)驗(yàn)結(jié)果表明改進(jìn)的副本放置策略在確保系統(tǒng)整體可用性的前提之下能使副本分布更加趨于合理和均衡,同... 

【文章來(lái)源】：南京郵電大學(xué)江蘇省

【文章頁(yè)數(shù)】：64 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

GCP全球區(qū)域和服務(wù)點(diǎn)為了減少因軟硬件故障或自然災(zāi)害等引起的系統(tǒng)服務(wù)質(zhì)量下降、用戶數(shù)據(jù)丟失的情況，

驗(yàn)證動(dòng)態(tài)副本因子調(diào)整算法對(duì)系統(tǒng)性能的改進(jìn)，在阿里云環(huán)境下搭建 Hadoop環(huán)境進(jìn)行仿真實(shí)驗(yàn)驗(yàn)證，對(duì)比分析了默認(rèn)副本機(jī)制和動(dòng)態(tài)副本因子調(diào)整算法對(duì)時(shí)間的影響。 實(shí)驗(yàn)環(huán)境與設(shè)置于 Hadoop 的 Master/Slave 架構(gòu)，借助阿里云云服務(wù)器 ECS 搭建分布式的仿真CS（Elastic Compute Service，彈性計(jì)算服務(wù)）是由 Alibaba 下屬阿里云推出的具和擴(kuò)展性的云服務(wù)器，用戶可以按需進(jìn)行計(jì)算和存儲(chǔ)資源的購(gòu)買，圖 3.4 是 E面，同時(shí)阿里云推出的“云翼計(jì)劃”針對(duì)高校學(xué)生群體采取了一系列從購(gòu)買優(yōu)再到應(yīng)聘的推廣方案。該分布式實(shí)驗(yàn)平臺(tái)包含 3 個(gè) Slave 節(jié)點(diǎn)以及一個(gè) Maste主要配置如表 3.1 所示。

(c) 128.0MB 文件作業(yè)響應(yīng)時(shí)間隨訪問(wèn)熱度變化(d) 256.0MB 文件作業(yè)響應(yīng)時(shí)間隨訪問(wèn)熱度變化圖 3.5 作業(yè)響應(yīng)時(shí)間隨訪問(wèn)熱度變化的對(duì)比圖3.5 本章小結(jié)本文設(shè)計(jì)的動(dòng)態(tài)副本因子調(diào)整改進(jìn)策略主要解決了云環(huán)境下靜態(tài)副本機(jī)制存在的局限性，針對(duì)什么時(shí)候觸發(fā)副本因子調(diào)整以及如何進(jìn)行副本因子調(diào)整作出了相關(guān)的算法處理說(shuō)明。結(jié)合云環(huán)境下多用戶文件訪問(wèn)的熱度差異和不同決策時(shí)間區(qū)間內(nèi)的訪問(wèn)熱度值，對(duì)副本因子進(jìn)行動(dòng)態(tài)的調(diào)整，可以在提升文件訪問(wèn)性能的同時(shí)降低存儲(chǔ)空間的消耗。后續(xù)的研究工作將考慮如何進(jìn)一步優(yōu)化副本因子調(diào)整算法，以更好地適應(yīng)復(fù)雜云環(huán)境下文件突發(fā)性的訪問(wèn)需求。


本文編號(hào)：3425303