【摘要】：隨著云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展,數(shù)據(jù)量正在急速增加,存儲(chǔ)系統(tǒng)面臨的挑戰(zhàn)也愈發(fā)艱巨。基于機(jī)械硬盤的傳統(tǒng)分布式存儲(chǔ)系統(tǒng),難以滿足信息存儲(chǔ)的需求。高性能固態(tài)盤的引入,有效緩解了這一現(xiàn)狀。隨著其單位存儲(chǔ)價(jià)格的持續(xù)下降,全固態(tài)盤組成的存儲(chǔ)系統(tǒng)成為可能。但是,經(jīng)典的副本保護(hù)策略,會(huì)增加系統(tǒng)存儲(chǔ)開銷,減少固態(tài)盤使用壽命,從而影響系統(tǒng)整體的可靠性。針對分布式環(huán)境下副本策略冗余數(shù)據(jù)過多的問題,引入糾刪碼保護(hù)策略。基于文件大小設(shè)計(jì)了副本和糾刪碼混合容錯(cuò)方案,小文件采用副本模式存儲(chǔ),大文件則直接用糾刪碼模式存儲(chǔ),解決小文件隨機(jī)寫帶來的磨損問題。部分加速磨損策略,實(shí)時(shí)統(tǒng)計(jì)集群中所有固態(tài)盤的使用情況,合理確定校驗(yàn)數(shù)據(jù)的位置。在前期維持所有固態(tài)盤的磨損均衡,剩余壽命為20%時(shí),將校驗(yàn)分布在固定的一組節(jié)點(diǎn)中加速其磨損,從而降低多個(gè)節(jié)點(diǎn)同時(shí)出錯(cuò)的可能性,提高系統(tǒng)可靠性�；跅l帶的并行編碼策略,利用多個(gè)節(jié)點(diǎn)的計(jì)算及遠(yuǎn)程數(shù)據(jù)處理能力,大大提高編碼的速度。數(shù)據(jù)轉(zhuǎn)碼過程,定期掃描副本區(qū)的數(shù)據(jù),將訪問少的數(shù)據(jù)轉(zhuǎn)換為糾刪碼模式存儲(chǔ)。為此優(yōu)化了小文件副本放置策略,以便將多個(gè)小文件的主副本組合成新的條帶,并計(jì)算其校驗(yàn),進(jìn)一步減少對固態(tài)盤寫入。使用iozone測試系統(tǒng)的大文件讀寫性能,filebench模擬各種負(fù)載對存儲(chǔ)系統(tǒng)的訪問,測試系統(tǒng)寫入數(shù)據(jù)量的變化及對應(yīng)的帶寬。測試結(jié)果表明,在多種負(fù)載下,系統(tǒng)均能在前期維持節(jié)點(diǎn)的寫均衡,在后期加速部分節(jié)點(diǎn)的磨損,符合部分加速磨損策略的預(yù)期�；旌洗鎯�(chǔ)及部分加速磨損策略增加了計(jì)算開銷,但并行編碼策略的引入,仍為寫性能帶來11.1%~21.5%的提升。與副本模式相比,糾刪碼寫性能提升了3.5%~29.5%,驗(yàn)證了在線編碼的可行性。小文件副本放置策略也可以有效減少數(shù)據(jù)轉(zhuǎn)碼帶來的寫放大,使其增幅僅有5.6%~14.8%。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 陳博;肖儂;劉芳;歐洋;何晚輝;;一種面向RAID陣列的SSD設(shè)計(jì)優(yōu)化方法[J];計(jì)算機(jī)工程與科學(xué);2014年07期

2 陶雪嬌;胡曉峰;劉洋;;大數(shù)據(jù)研究綜述[J];系統(tǒng)仿真學(xué)報(bào);2013年S1期

3 羅象宏;舒繼武;;存儲(chǔ)系統(tǒng)中的糾刪碼研究綜述[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

本文編號(hào)：2777943