【摘要】：隨著云計算、大數(shù)據(jù)、移動互聯(lián)網(wǎng)的快速發(fā)展,數(shù)據(jù)量正在急速增加,存儲系統(tǒng)面臨的挑戰(zhàn)也愈發(fā)艱巨�；跈C(jī)械硬盤的傳統(tǒng)分布式存儲系統(tǒng),難以滿足信息存儲的需求。高性能固態(tài)盤的引入,有效緩解了這一現(xiàn)狀。隨著其單位存儲價格的持續(xù)下降,全固態(tài)盤組成的存儲系統(tǒng)成為可能。但是,經(jīng)典的副本保護(hù)策略,會增加系統(tǒng)存儲開銷,減少固態(tài)盤使用壽命,從而影響系統(tǒng)整體的可靠性。針對分布式環(huán)境下副本策略冗余數(shù)據(jù)過多的問題,引入糾刪碼保護(hù)策略�；谖募笮≡O(shè)計了副本和糾刪碼混合容錯方案,小文件采用副本模式存儲,大文件則直接用糾刪碼模式存儲,解決小文件隨機(jī)寫帶來的磨損問題。部分加速磨損策略,實時統(tǒng)計集群中所有固態(tài)盤的使用情況,合理確定校驗數(shù)據(jù)的位置。在前期維持所有固態(tài)盤的磨損均衡,剩余壽命為20%時,將校驗分布在固定的一組節(jié)點中加速其磨損,從而降低多個節(jié)點同時出錯的可能性,提高系統(tǒng)可靠性�；跅l帶的并行編碼策略,利用多個節(jié)點的計算及遠(yuǎn)程數(shù)據(jù)處理能力,大大提高編碼的速度。數(shù)據(jù)轉(zhuǎn)碼過程,定期掃描副本區(qū)的數(shù)據(jù),將訪問少的數(shù)據(jù)轉(zhuǎn)換為糾刪碼模式存儲。為此優(yōu)化了小文件副本放置策略,以便將多個小文件的主副本組合成新的條帶,并計算其校驗,進(jìn)一步減少對固態(tài)盤寫入。使用iozone測試系統(tǒng)的大文件讀寫性能,filebench模擬各種負(fù)載對存儲系統(tǒng)的訪問,測試系統(tǒng)寫入數(shù)據(jù)量的變化及對應(yīng)的帶寬。測試結(jié)果表明,在多種負(fù)載下,系統(tǒng)均能在前期維持節(jié)點的寫均衡,在后期加速部分節(jié)點的磨損,符合部分加速磨損策略的預(yù)期�；旌洗鎯安糠旨铀倌p策略增加了計算開銷,但并行編碼策略的引入,仍為寫性能帶來11.1%~21.5%的提升。與副本模式相比,糾刪碼寫性能提升了3.5%~29.5%,驗證了在線編碼的可行性。小文件副本放置策略也可以有效減少數(shù)據(jù)轉(zhuǎn)碼帶來的寫放大,使其增幅僅有5.6%~14.8%。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 陳博;肖儂;劉芳;歐洋;何晚輝;;一種面向RAID陣列的SSD設(shè)計優(yōu)化方法[J];計算機(jī)工程與科學(xué);2014年07期

2 陶雪嬌;胡曉峰;劉洋;;大數(shù)據(jù)研究綜述[J];系統(tǒng)仿真學(xué)報;2013年S1期

3 羅象宏;舒繼武;;存儲系統(tǒng)中的糾刪碼研究綜述[J];計算機(jī)研究與發(fā)展;2012年01期

本文編號：2777943