當(dāng)今人類(lèi)社會(huì)已經(jīng)進(jìn)入高速發(fā)展的信息化時(shí)代，各種數(shù)據(jù)信息呈爆炸性增長(zhǎng)的趨勢(shì)，計(jì)算機(jī)存儲(chǔ)系統(tǒng)中所存儲(chǔ)的數(shù)據(jù)信息已經(jīng)越來(lái)越多，并且其中包含了大量的冗余數(shù)據(jù)，這些冗余數(shù)據(jù)還會(huì)隨著時(shí)間的推移而日益增多，這不僅會(huì)浪費(fèi)大量的存儲(chǔ)空間，而且會(huì)降低存儲(chǔ)系統(tǒng)的性能，導(dǎo)致數(shù)據(jù)管理成本增加等諸多問(wèn)題。因此，研究數(shù)據(jù)縮減技術(shù)以減少存儲(chǔ)系統(tǒng)中的冗余數(shù)據(jù)對(duì)優(yōu)化和提高存儲(chǔ)系統(tǒng)的性能有重要的理論意義和現(xiàn)實(shí)意義。 重復(fù)數(shù)據(jù)刪除技術(shù)是一種數(shù)據(jù)縮減技術(shù)，它可以消除存儲(chǔ)系統(tǒng)中的大量冗余數(shù)據(jù)，提高存儲(chǔ)空間利用率和減少數(shù)據(jù)管理成本，現(xiàn)在已經(jīng)成為計(jì)算機(jī)存儲(chǔ)領(lǐng)域的一個(gè)研究熱點(diǎn)。 目前重復(fù)數(shù)據(jù)刪除技術(shù)所面臨的主要技術(shù)挑戰(zhàn)是如何通過(guò)提高重復(fù)數(shù)據(jù)的刪除效率來(lái)改善存儲(chǔ)系統(tǒng)的性能問(wèn)題。重復(fù)數(shù)據(jù)刪除效率主要體現(xiàn)在重復(fù)數(shù)據(jù)刪除過(guò)程中的重復(fù)數(shù)據(jù)刪除策略、重復(fù)數(shù)據(jù)的重刪率和重復(fù)數(shù)據(jù)檢測(cè)速度等方面，它對(duì)提高存儲(chǔ)空間的利用率和優(yōu)化存儲(chǔ)系統(tǒng)性能有重要的影響作用。因此，本文以提高存儲(chǔ)系統(tǒng)的重復(fù)數(shù)據(jù)刪除效率為技術(shù)主線(xiàn)，重點(diǎn)對(duì)重復(fù)數(shù)據(jù)刪除架構(gòu)、全局重復(fù)數(shù)據(jù)刪除策略、加快重復(fù)數(shù)據(jù)檢測(cè)速度的內(nèi)存索引技術(shù)和基于流水線(xiàn)的重復(fù)數(shù)據(jù)檢測(cè)方法等關(guān)鍵技術(shù)問(wèn)題進(jìn)行了深入研究。論文作...

【文章頁(yè)數(shù)】：115 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖2-1集群式兩級(jí)重復(fù)數(shù)刪除體系架構(gòu)

圖2-1集群式兩級(jí)重復(fù)數(shù)刪除體系架構(gòu)CTDDA架構(gòu)主要包括客戶(hù)端、元數(shù)據(jù)服務(wù)器（Meta-DataServer，MDS）和存儲(chǔ)節(jié)點(diǎn)集群。為了達(dá)到較高的重刪效果，CTDDA架構(gòu)可以進(jìn)行文件級(jí)和數(shù)據(jù)塊級(jí)兩級(jí)的重復(fù)數(shù)據(jù)刪除；為了提高性能，系統(tǒng)采用了包含多個(gè)存儲(chǔ)節(jié)點(diǎn)的集群式架構(gòu)....

圖3-10局部與全局重復(fù)數(shù)據(jù)刪除效果對(duì)比

c)八個(gè)存儲(chǔ)節(jié)點(diǎn)圖3-10局部與全局重復(fù)數(shù)據(jù)刪除效果對(duì)比.0版本內(nèi)部大概只包含0.22%的冗余數(shù)據(jù)，所以當(dāng)有多個(gè)存儲(chǔ)節(jié)除技術(shù)與全局重復(fù)數(shù)據(jù)刪除技術(shù)所刪除的冗余數(shù)據(jù)比例差別不

圖3-11FSA更新頻率對(duì)重刪率的影響

更新的內(nèi)容在1%~10%之間時(shí)發(fā)送更新信息，或者每隔一段時(shí)間發(fā)送更新，這段時(shí)間的長(zhǎng)度也應(yīng)該保證摘要信息的更新幅度在1%~10%之間。圖3-11給出了對(duì)6個(gè)版本的Linux驅(qū)動(dòng)源碼連續(xù)備份過(guò)程中按不同頻率更新FSA時(shí)全局重刪率的變化情況，其中更新頻率為0....

圖3-12備份新合成數(shù)據(jù)集的吞吐率

表3-5不同存儲(chǔ)節(jié)點(diǎn)數(shù)所對(duì)應(yīng)的誤測(cè)率存儲(chǔ)節(jié)點(diǎn)數(shù)誤測(cè)率分布到每個(gè)節(jié)點(diǎn)的塊數(shù)每個(gè)節(jié)點(diǎn)誤判的塊數(shù)10.1%3,000,000300020.0082%1,500,00012340.00057%750,0004.360.00012%500,0000.680.....

本文編號(hào)：3999420