【摘要】：全球信息數(shù)據(jù)總量的劇增給存儲(chǔ)系統(tǒng)的設(shè)計(jì)和管理帶來(lái)了極大的挑戰(zhàn)。重復(fù)數(shù)據(jù)刪除作為一種節(jié)省存儲(chǔ)空間占用的存儲(chǔ)技術(shù)受到越來(lái)越多研究者的關(guān)注。然而由于重復(fù)數(shù)據(jù)刪除技術(shù)不再存儲(chǔ)重復(fù)數(shù)據(jù)塊,而以指針代替,使得多個(gè)文件共享唯一的物理數(shù)據(jù)塊副本,一旦該數(shù)據(jù)塊損壞,這些文件都將失效,因此從一定程度上來(lái)說(shuō)重復(fù)數(shù)據(jù)刪除技術(shù)會(huì)降低存儲(chǔ)系統(tǒng)文件數(shù)據(jù)的可靠性。為了保證重復(fù)數(shù)據(jù)刪除存儲(chǔ)系統(tǒng)中文件數(shù)據(jù)的可靠性,需要采取有效的優(yōu)化方案來(lái)對(duì)系統(tǒng)進(jìn)行優(yōu)化。另一方面,重復(fù)數(shù)據(jù)刪除技術(shù)能夠有效地減少智能手機(jī)中寫(xiě)入到閃存介質(zhì)中的重復(fù)數(shù)據(jù),從而減少閃存介質(zhì)的擦除次數(shù),延長(zhǎng)閃存芯片的使用壽命,因此可以提高智能手機(jī)存儲(chǔ)系統(tǒng)的可靠性�；谖募男ｒ�(yàn)技術(shù),提出了一種提高重復(fù)數(shù)據(jù)刪除存儲(chǔ)系統(tǒng)文件數(shù)據(jù)可靠性的優(yōu)化方案Per-File Parity(簡(jiǎn)稱為PFP)。PFP對(duì)寫(xiě)入到存儲(chǔ)系統(tǒng)中的文件先進(jìn)行定長(zhǎng)分塊,然后將所得到的分塊進(jìn)行分組,再對(duì)分組進(jìn)行校驗(yàn)保護(hù),最后將數(shù)據(jù)塊進(jìn)行去重存儲(chǔ)。當(dāng)數(shù)據(jù)塊損壞時(shí),PFP可以通過(guò)文件內(nèi)數(shù)據(jù)重構(gòu)和文件間數(shù)據(jù)重構(gòu)兩種方法恢復(fù)它,從而提高文件數(shù)據(jù)的可用性。理論分析和實(shí)驗(yàn)結(jié)果顯示,相較于已有的兩種重復(fù)數(shù)據(jù)刪除存儲(chǔ)系統(tǒng)可靠性優(yōu)化的方案DTR(Deduplication-then-RAID,基于重刪技術(shù)的磁盤(pán)陣列存儲(chǔ)技術(shù))和RCR(Reference-count based Replication,基于引用計(jì)數(shù)復(fù)制數(shù)據(jù)塊技術(shù)),PFP對(duì)文件數(shù)據(jù)的保護(hù)效果更好,提高了重復(fù)數(shù)據(jù)刪除存儲(chǔ)系統(tǒng)文件數(shù)據(jù)可靠性。基于重復(fù)數(shù)據(jù)刪除的智能手機(jī)可靠性優(yōu)化研究,實(shí)現(xiàn)了基于重復(fù)數(shù)據(jù)刪除的F2FS日志文件系統(tǒng)(簡(jiǎn)稱為Dedupe-F2FS),從文件系統(tǒng)的層次消除重復(fù)數(shù)據(jù)的寫(xiě)入,減少寫(xiě)入到閃存介質(zhì)中的數(shù)據(jù)量。根據(jù)從掛載Dedupe-F2FS的智能手機(jī)上收集到的真實(shí)負(fù)載進(jìn)行測(cè)試評(píng)估,實(shí)驗(yàn)結(jié)果表明重復(fù)數(shù)據(jù)刪除技術(shù)減少了智能手機(jī)存儲(chǔ)系統(tǒng)中重復(fù)數(shù)據(jù)的寫(xiě)入,從而減少了閃存的擦除次數(shù),提高了智能手機(jī)存儲(chǔ)系統(tǒng)的可靠性。
【圖文】：

邐邋Ｉ邐Ｈ邐Ｉ邐１逡逑圖１－１重復(fù)數(shù)據(jù)刪除技術(shù)的基本原理逡逑重刪按照重刪的粒度分為文件級(jí)重刪、塊級(jí)重刪和字節(jié)級(jí)重刪。文件級(jí)重刪逡逑通過(guò)對(duì)單個(gè)文件計(jì)算指紋值，然后對(duì)比指紋值來(lái)檢測(cè)重復(fù)文件。字節(jié)級(jí)重刪則是逡逑通過(guò)壓縮編碼的方式來(lái)檢測(cè)重復(fù)數(shù)據(jù)％。塊級(jí)重刪技術(shù)則是通過(guò)將文件分塊后計(jì)逡逑算指紋，再通過(guò)比較指紋來(lái)檢測(cè)重復(fù)的數(shù)據(jù)塊。逡逑塊級(jí)重刪技術(shù)可以在消耗較少的計(jì)算資源的前提下提供較高的重刪效率，目逡逑前主流的重刪技術(shù)產(chǎn)品都基于塊級(jí)重刪。圖１－２為塊級(jí)重刪技術(shù)的主要步驟。逡逑：、邋Ｍｉ逡逑數(shù)據(jù)分塊＾＞１指紋計(jì)算ｐ指紋查找｜￣￣元數(shù)據(jù)和數(shù)據(jù)更新逡逑圖１－２塊級(jí)重刪技術(shù)的主要步驟逡逑塊級(jí)重刪主要包括四個(gè)步驟：數(shù)據(jù)分塊、指紋計(jì)算、指紋查找、元數(shù)據(jù)和數(shù)逡逑據(jù)更新。逡逑（１）數(shù)據(jù)分塊逡逑數(shù)據(jù)分塊是指按照一定的分塊算法將文件劃分成一定大小的數(shù)據(jù)單元逡逑（ｃｈｕｎｋ）。目前，數(shù)據(jù)分塊算法主要分為兩類：定長(zhǎng)分塊算法和變長(zhǎng)分塊算法。逡逑定長(zhǎng)分塊算法指的是將文件劃分成某一固定長(zhǎng)度的大小ｃｈｕｎｋ邋（塊）。定長(zhǎng)分逡逑塊的實(shí)現(xiàn)一般采用截取的方式，在文件中每隔固定大小將數(shù)據(jù)截取成一個(gè)ｃｈｕｎｋ，逡逑對(duì)于不滿固定大小的數(shù)據(jù)采用一定的方式進(jìn)行另外的處理，往往采用補(bǔ)若干個(gè)０逡逑４逡逑

文件校驗(yàn)碼生成模塊主要負(fù)責(zé)將要寫(xiě)入到系統(tǒng)中的文件進(jìn)行定長(zhǎng)分塊，然后逡逑將這些數(shù)據(jù)塊劃分成一個(gè)一個(gè)的分組，在每一個(gè)分組中采用ＸＯＲ計(jì)算生成一個(gè)逡逑校驗(yàn)碼塊。逡逑數(shù)據(jù)塊重刪模塊對(duì)己經(jīng)按定長(zhǎng)分塊劃分出來(lái)的數(shù)據(jù)塊（不包括校驗(yàn)碼塊）進(jìn)逡逑行重刪檢測(cè)，，消除掉重復(fù)數(shù)據(jù)塊的存儲(chǔ)開(kāi)銷。這里需要注意的是，重刪的過(guò)程包逡逑括：數(shù)據(jù)分塊、指紋計(jì)算、指紋查找、元數(shù)據(jù)更新四個(gè)步驟，其中數(shù)據(jù)分塊是在逡逑文件校驗(yàn)碼生成模塊中完成，后面的三個(gè)步驟是在數(shù)據(jù)塊重刪模塊完成的。逡逑校驗(yàn)碼存儲(chǔ)模塊只要是將校驗(yàn)碼塊存儲(chǔ)到存儲(chǔ)設(shè)備中去，并在文件的元數(shù)據(jù)逡逑中記錄校驗(yàn)碼存儲(chǔ)的地址信息。逡逑文件重構(gòu)模塊包括兩個(gè)主要的處理過(guò)程：文件內(nèi)部重構(gòu)處理過(guò)程和文件間重逡逑構(gòu)處理過(guò)程。該模塊負(fù)責(zé)在產(chǎn)生數(shù)據(jù)塊錯(cuò)誤或存儲(chǔ)設(shè)備故障的情況下，通過(guò)文件逡逑
【學(xué)位授予單位】：廈門大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 李恒恒;岳春生;胡澤明;;一種基于預(yù)搜索的自適應(yīng)閃存垃圾回收算法[J];小型微型計(jì)算機(jī)系統(tǒng);2015年10期

2 吳素貞;陳曉熹;毛波;;GC-RAIS:一種基于垃圾回收感知的固態(tài)盤(pán)陣列[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

3 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

4 鄭文靜;李明強(qiáng);舒繼武;;Flash存儲(chǔ)技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2010年04期

本文編號(hào)：2686104