隨著信息時代數(shù)據(jù)規(guī)模急劇增長,信息量不斷激增,數(shù)據(jù)信息已成為人類寶貴的財富,數(shù)據(jù)的價值已經(jīng)遠遠超過了計算機系統(tǒng)本身的價值;另一方面,各種不確定因素又使得數(shù)據(jù)極易丟失,從而給用戶帶來了巨大的損失。因此,面對海量數(shù)據(jù)對存儲系統(tǒng)各方面需求的挑戰(zhàn),高效率的數(shù)據(jù)存儲技術(shù)受到了人們的廣泛關(guān)注。 為適應(yīng)海量數(shù)據(jù)對存儲系統(tǒng)各方面的需求,本文首先研究了現(xiàn)有的分塊級數(shù)據(jù)消冗技術(shù),比較了定長分塊數(shù)據(jù)消冗和變長分塊數(shù)據(jù)消冗的優(yōu)缺點,分析了影響數(shù)據(jù)消冗效果的因素。接著重點研究了基于Rabin指紋的變長分塊算法,提出了一種新型的文件切點查找算法。 本文還根據(jù)基于分塊的數(shù)據(jù)消冗技術(shù)和基于Chord的分布式存儲技術(shù)的特點對文件資源定位進行了設(shè)計,并根據(jù)Chord協(xié)議的特點將文件分塊的索引信息按區(qū)間分布在不同的節(jié)點中,以二級索引的方式解決了集中式分塊索引的難題。本文最后提出了基于Chord協(xié)議的分布式存儲技術(shù)和基于Rabin指紋的變長分塊的數(shù)據(jù)消冗相結(jié)合的的分布式存儲系統(tǒng)結(jié)構(gòu)。 實驗結(jié)果表明,在基于Chord協(xié)議的分布式存儲系統(tǒng)中引入數(shù)據(jù)消冗技術(shù),可以降低整個分布式存儲系統(tǒng)的存儲負擔。此外,數(shù)據(jù)傳輸量的減少也有利于提高...

【文章頁數(shù)】：53 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖4-2本系統(tǒng)數(shù)據(jù)消冗流程

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文的SHA-1值定位到相應(yīng)的節(jié)點，并在對應(yīng)節(jié)點的分塊索引中進行檢索塊SHA-1值存在，則不用處理，若不存在，則將分塊存儲到該對應(yīng)節(jié)該分塊的SHA-1值插入到該節(jié)點的分塊索引中。所有分塊處理完畢，元數(shù)據(jù)存儲到文件SHA-1值對應(yīng)的目標節(jié)點....

圖4-3中顯示了節(jié)點55的FingerTable表

為了提高查詢效率，減少定位開銷，網(wǎng)絡(luò)中的每個節(jié)當于標識符的二進制位數(shù)）個表項的路由表，也叫Finger用以記錄距離該節(jié)點的節(jié)點，節(jié)點n的

圖5-3節(jié)點N6加入時資源轉(zhuǎn)移放方向Figure5-3ResourcestransferdirectionafternodeN6join例如在圖5-3中N1和N8之間加入一個新節(jié)點N6，則要把節(jié)點N8上的哈

圖5-3節(jié)點N6加入時資源轉(zhuǎn)移放方向Figure5-3ResourcestransferdirectionafternodeN6join例如在圖5-3中N1和N8之間加入一個新節(jié)點N6，則要把節(jié)點N8上在1和6之間（包括6，不包....

圖5-4節(jié)點N14退出時資源轉(zhuǎn)移方向Figure5-4ResourcestransferdirectionafternodeN14quit

圖5-4節(jié)點N14退出時資源轉(zhuǎn)移方向Figure5-4ResourcestransferdirectionafternodeN14quit系統(tǒng)數(shù)據(jù)消冗性能測試對系統(tǒng)數(shù)據(jù)消冗性能的測試，主要是測試系統(tǒng)數(shù)據(jù)的消冗比例。實驗口大小為48Byte，數(shù)據(jù)塊平均大小....

本文編號：3946947