【摘要】：隨著互聯網技術的發(fā)展,云計算應用越來越廣泛,數據量呈現出爆炸式的增長,如何對海量數據進行有效的存儲一直是研究的熱點。尤其隨著近幾年大數據和云計算的快速發(fā)展,單一的數據中心不能滿足當前的存儲需求,一個解決方法是可以將數據中心部署在Geo-distributed環(huán)境下,多個數據中心部署在不同的地理位置。如何保證Geo-distributed系統(tǒng)的性能是非常重要的研究方向,對系統(tǒng)中的數據副本進行合理放置,是一種可以有效提高系統(tǒng)性能的方法。本文提出的Geo-distributed數據副本放置方法,主要工作包括以下方面的內容:(1)在傳統(tǒng)副本放置方法的基礎上,根據Geo-distributed環(huán)境的特點,提出了一種新的數據副本放置方法,不僅考慮集群中數據節(jié)點當前的存儲負載情況,還將影響性能的因素:數據節(jié)點的網絡帶寬、磁盤負載、數據節(jié)點的距離考慮在內。(2)提出一種Geo-distributed環(huán)境下基于熱度感知的數據副本放置方法,在統(tǒng)計數據訪問熱度計算,提出一種動態(tài)時間窗口的計算方法,根據數據訪問改變率的大小,調整時間窗口大小。還考慮到在Geo-distributed環(huán)境下數據節(jié)點的差異性,根據歷史信息將訪問熱度高的數據副本放置到物理性能高的數據節(jié)點中,這樣可以保證系統(tǒng)的性能,提高用戶訪問效率。最后通過基于Hadoop平臺設計實現了Geo-distributed云存儲原型系統(tǒng),在系統(tǒng)中設計相關的業(yè)務場景,驗證結果表明,本文提出的數據副本放置方法是可行的。
【圖文】：

DateNode DateNodeDateNodeepacet5ack4 455圖 2.4 HDFS 寫操作流程圖讀文件時與寫文件相似，首先在 NameNode 節(jié)點上接受客戶端的讀客戶端存儲訪問數據的 DateNode 節(jié)點。S 副本放置系統(tǒng)設計之初就考慮到目的是用來對大數據的處理，所以 HDFS 適合件根據系統(tǒng)中數據塊的大小分成多個數據塊，文件數據塊的大小和系統(tǒng)中通過參數配置的。每個數據塊大小原則上是基本相同，只能不夠規(guī)定數據塊的大小，但是也按照數據塊的大小存儲。Name名字空間，存儲著文件目錄等元數據信息。

圖 4.9 T14 時刻數據副本分布圖訪問次數的減少，相應的數據副本訪問熱度也會降低，從 T8 時刻后訪問次數們可以看到高物理性能數據節(jié)點 DN1，DN3 中的數據副本數量變少了，而數4、DN5 中的數據副本數量增加。但是集群系統(tǒng)中數據副本整體數量變少了HRP 算法實現了系統(tǒng)中各個數據節(jié)點的數據副本的動態(tài)調整。來分析對集群性能的提升，，我們分別統(tǒng)計了三組數據塊在不同副本放置方法間。020406080DN1 DN2 DN3 DN4 DN5第一組第二組第三組
【學位授予單位】：南京郵電大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP333

【參考文獻】

相關期刊論文 前2條

1 傅穎勛;羅圣美;舒繼武;;安全云存儲系統(tǒng)與關鍵技術綜述[J];計算機研究與發(fā)展;2013年01期

2 劉琨;李愛菊;董龍江;;基于Hadoop的云存儲的研究及實現[J];微計算機信息;2011年07期

相關碩士學位論文 前1條

1 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學;2013年

本文編號：2691372