【摘要】：全球信息數(shù)據(jù)總量的劇增給存儲系統(tǒng)的設(shè)計和管理帶來了極大的挑戰(zhàn)。重復(fù)數(shù)據(jù)刪除作為一種節(jié)省存儲空間占用的存儲技術(shù)受到越來越多研究者的關(guān)注。然而由于重復(fù)數(shù)據(jù)刪除技術(shù)不再存儲重復(fù)數(shù)據(jù)塊,而以指針代替,使得多個文件共享唯一的物理數(shù)據(jù)塊副本,一旦該數(shù)據(jù)塊損壞,這些文件都將失效,因此從一定程度上來說重復(fù)數(shù)據(jù)刪除技術(shù)會降低存儲系統(tǒng)文件數(shù)據(jù)的可靠性。為了保證重復(fù)數(shù)據(jù)刪除存儲系統(tǒng)中文件數(shù)據(jù)的可靠性,需要采取有效的優(yōu)化方案來對系統(tǒng)進(jìn)行優(yōu)化。另一方面,重復(fù)數(shù)據(jù)刪除技術(shù)能夠有效地減少智能手機(jī)中寫入到閃存介質(zhì)中的重復(fù)數(shù)據(jù),從而減少閃存介質(zhì)的擦除次數(shù),延長閃存芯片的使用壽命,因此可以提高智能手機(jī)存儲系統(tǒng)的可靠性�；谖募男ｒ�(yàn)技術(shù),提出了一種提高重復(fù)數(shù)據(jù)刪除存儲系統(tǒng)文件數(shù)據(jù)可靠性的優(yōu)化方案Per-File Parity(簡稱為PFP)。PFP對寫入到存儲系統(tǒng)中的文件先進(jìn)行定長分塊,然后將所得到的分塊進(jìn)行分組,再對分組進(jìn)行校驗(yàn)保護(hù),最后將數(shù)據(jù)塊進(jìn)行去重存儲。當(dāng)數(shù)據(jù)塊損壞時,PFP可以通過文件內(nèi)數(shù)據(jù)重構(gòu)和文件間數(shù)據(jù)重構(gòu)兩種方法恢復(fù)它,從而提高文件數(shù)據(jù)的可用性。理論分析和實(shí)驗(yàn)結(jié)果顯示,相較于已有的兩種重復(fù)數(shù)據(jù)刪除存儲系統(tǒng)可靠性優(yōu)化的方案DTR(Deduplication-then-RAID,基于重刪技術(shù)的磁盤陣列存儲技術(shù))和RCR(Reference-count based Replication,基于引用計數(shù)復(fù)制數(shù)據(jù)塊技術(shù)),PFP對文件數(shù)據(jù)的保護(hù)效果更好,提高了重復(fù)數(shù)據(jù)刪除存儲系統(tǒng)文件數(shù)據(jù)可靠性。基于重復(fù)數(shù)據(jù)刪除的智能手機(jī)可靠性優(yōu)化研究,實(shí)現(xiàn)了基于重復(fù)數(shù)據(jù)刪除的F2FS日志文件系統(tǒng)(簡稱為Dedupe-F2FS),從文件系統(tǒng)的層次消除重復(fù)數(shù)據(jù)的寫入,減少寫入到閃存介質(zhì)中的數(shù)據(jù)量。根據(jù)從掛載Dedupe-F2FS的智能手機(jī)上收集到的真實(shí)負(fù)載進(jìn)行測試評估,實(shí)驗(yàn)結(jié)果表明重復(fù)數(shù)據(jù)刪除技術(shù)減少了智能手機(jī)存儲系統(tǒng)中重復(fù)數(shù)據(jù)的寫入,從而減少了閃存的擦除次數(shù),提高了智能手機(jī)存儲系統(tǒng)的可靠性。
【圖文】：

邐邋Ｉ邐Ｈ邐Ｉ邐１逡逑圖１－１重復(fù)數(shù)據(jù)刪除技術(shù)的基本原理逡逑重刪按照重刪的粒度分為文件級重刪、塊級重刪和字節(jié)級重刪。文件級重刪逡逑通過對單個文件計算指紋值，然后對比指紋值來檢測重復(fù)文件。字節(jié)級重刪則是逡逑通過壓縮編碼的方式來檢測重復(fù)數(shù)據(jù)％。塊級重刪技術(shù)則是通過將文件分塊后計逡逑算指紋，再通過比較指紋來檢測重復(fù)的數(shù)據(jù)塊。逡逑塊級重刪技術(shù)可以在消耗較少的計算資源的前提下提供較高的重刪效率，目逡逑前主流的重刪技術(shù)產(chǎn)品都基于塊級重刪。圖１－２為塊級重刪技術(shù)的主要步驟。逡逑：、邋Ｍｉ逡逑數(shù)據(jù)分塊＾＞１指紋計算ｐ指紋查找｜￣￣元數(shù)據(jù)和數(shù)據(jù)更新逡逑圖１－２塊級重刪技術(shù)的主要步驟逡逑塊級重刪主要包括四個步驟：數(shù)據(jù)分塊、指紋計算、指紋查找、元數(shù)據(jù)和數(shù)逡逑據(jù)更新。逡逑（１）數(shù)據(jù)分塊逡逑數(shù)據(jù)分塊是指按照一定的分塊算法將文件劃分成一定大小的數(shù)據(jù)單元逡逑（ｃｈｕｎｋ）。目前，數(shù)據(jù)分塊算法主要分為兩類：定長分塊算法和變長分塊算法。逡逑定長分塊算法指的是將文件劃分成某一固定長度的大小ｃｈｕｎｋ邋（塊）。定長分逡逑塊的實(shí)現(xiàn)一般采用截取的方式，在文件中每隔固定大小將數(shù)據(jù)截取成一個ｃｈｕｎｋ，逡逑對于不滿固定大小的數(shù)據(jù)采用一定的方式進(jìn)行另外的處理，往往采用補(bǔ)若干個０逡逑４逡逑

文件校驗(yàn)碼生成模塊主要負(fù)責(zé)將要寫入到系統(tǒng)中的文件進(jìn)行定長分塊，然后逡逑將這些數(shù)據(jù)塊劃分成一個一個的分組，在每一個分組中采用ＸＯＲ計算生成一個逡逑校驗(yàn)碼塊。逡逑數(shù)據(jù)塊重刪模塊對己經(jīng)按定長分塊劃分出來的數(shù)據(jù)塊（不包括校驗(yàn)碼塊）進(jìn)逡逑行重刪檢測，，消除掉重復(fù)數(shù)據(jù)塊的存儲開銷。這里需要注意的是，重刪的過程包逡逑括：數(shù)據(jù)分塊、指紋計算、指紋查找、元數(shù)據(jù)更新四個步驟，其中數(shù)據(jù)分塊是在逡逑文件校驗(yàn)碼生成模塊中完成，后面的三個步驟是在數(shù)據(jù)塊重刪模塊完成的。逡逑校驗(yàn)碼存儲模塊只要是將校驗(yàn)碼塊存儲到存儲設(shè)備中去，并在文件的元數(shù)據(jù)逡逑中記錄校驗(yàn)碼存儲的地址信息。逡逑文件重構(gòu)模塊包括兩個主要的處理過程：文件內(nèi)部重構(gòu)處理過程和文件間重逡逑構(gòu)處理過程。該模塊負(fù)責(zé)在產(chǎn)生數(shù)據(jù)塊錯誤或存儲設(shè)備故障的情況下，通過文件逡逑
【學(xué)位授予單位】：廈門大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 李恒恒;岳春生;胡澤明;;一種基于預(yù)搜索的自適應(yīng)閃存垃圾回收算法[J];小型微型計算機(jī)系統(tǒng);2015年10期

2 吳素貞;陳曉熹;毛波;;GC-RAIS:一種基于垃圾回收感知的固態(tài)盤陣列[J];計算機(jī)研究與發(fā)展;2013年01期

3 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計算機(jī)研究與發(fā)展;2012年01期

4 鄭文靜;李明強(qiáng);舒繼武;;Flash存儲技術(shù)[J];計算機(jī)研究與發(fā)展;2010年04期

本文編號：2686104