為了應(yīng)對日漸增長的數(shù)據(jù)規(guī)模和存儲集群規(guī)模以及對數(shù)據(jù)讀寫越來越嚴(yán)格的性能要求,分布式存儲系統(tǒng)在數(shù)據(jù)存儲業(yè)界得到了日漸廣泛的應(yīng)用。在分布式存儲系統(tǒng)中,為了使數(shù)據(jù)獲得更好的可用性,對數(shù)據(jù)進行冗余是很有必要的。副本是一種常用的冗余方式,在規(guī)模較大的系統(tǒng)中,由于數(shù)據(jù)體量是極為龐大的,如果不使用合理高效的算法對數(shù)據(jù)副本進行放置,將會對整個系統(tǒng)造成極大的性能損失。在分布式存儲系統(tǒng)中,目前應(yīng)用較為廣泛的數(shù)據(jù)分布算法包括crush算法以及kinesis算法等。crush算法旨在存儲集群發(fā)生變化時獲得最少的數(shù)據(jù)移動,而kinesis算法旨在在相對靈活的存儲位置選擇下,使系統(tǒng)的資源使用更加均勻。但是這些現(xiàn)有的數(shù)據(jù)分布算法都沒有關(guān)注讀寫均勻問題,對讀寫均勻關(guān)注的缺失導(dǎo)致集群中的節(jié)點之間在故障恢復(fù)和數(shù)據(jù)遷移過程中出現(xiàn)負(fù)載不均,從而增加花費的時間。因此,我們針對上述的問題展開研究,目標(biāo)旨在在分布式存儲系統(tǒng)中,找到一種可以滿足讀寫均勻特性的數(shù)據(jù)分布方法,保證在同一節(jié)點上不會放置相同數(shù)據(jù)的多個副本,并且可以隨著集群的動態(tài)擴展進行數(shù)據(jù)副本的自動調(diào)整,保持?jǐn)?shù)據(jù)的讀寫均勻特性。針對crush算法存在的問題,我們提出了一種新... 

【文章來源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【部分圖文】：

crush算法映射過程

圖 2.1 crush 算法映射過程指的是對象存儲設(shè)備(OSD)分布的邏輯視圖，其中 間的 bucket 節(jié)點可以根據(jù)集群的不同情況表示不同、數(shù)據(jù)中心等。指定了對象數(shù)據(jù)副本應(yīng)當(dāng)如何放置，即在存儲集群的節(jié)點存放數(shù)據(jù)，這為數(shù)據(jù)分布提供了極大的靈活性，點用于雙向鏡像，一條策略用于在兩個不同數(shù)據(jù)中心像，一條策略用于六個節(jié)點上的 RAID-4 等。說明了放置策略的執(zhí)行步驟，take(a)操作選擇存儲層一個 bucket)。select(n,t)操作在以該節(jié)點為根的子樹點。每次執(zhí)行 select 將會在節(jié)點中使用函數(shù) c(r,x)進符合要求的 t 類型的節(jié)點為止。

第 2 章 典型數(shù)據(jù)分布算法介紹原則：結(jié)構(gòu)化(將服務(wù)器劃分為幾個故障隔離段)，自由選擇(根據(jù)當(dāng)前資源可用性自由分配最佳服務(wù)器來存儲和檢索數(shù)據(jù))和分散分布(系統(tǒng)中副本的獨立，偽隨機分布) 。這些設(shè)計原則使存儲系統(tǒng)能夠在存在增量系統(tǒng)擴展，單個和共享組件故障以及數(shù)據(jù)大小和流行度的偏差分布的情況下實現(xiàn)存儲和網(wǎng)絡(luò)資源的均衡利用。反過來可以顯著降低資源配置成本，具有良好的用戶感知響應(yīng)時間，以及故障的快速并行恢復(fù)速度。

【參考文獻】：
期刊論文
[1]面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計算機研究與發(fā)展. 2014(02)



本文編號：3234775