【摘要】：隨著大數(shù)據(jù)時代的到來,信息的產(chǎn)生量越來越多,儲存數(shù)據(jù)共享變得越來越迫切。傳統(tǒng)的數(shù)據(jù)中心也逐漸向著云存儲中心的角色轉(zhuǎn)變。許多學者開始對儲存數(shù)據(jù)共享進行了深入的研究。隨著云存儲的規(guī)模擴大,維護和能耗等多方面的問題也隨之而來,使存儲這項基礎(chǔ)服務(wù)更加廉價高效成為研究的熱點問題。而現(xiàn)有的數(shù)據(jù)存儲無論是集中式還是分布式都存在著可擴展性差,數(shù)據(jù)冗余較多等問題,隨著云存儲的進一步發(fā)展這些問題將會日益凸顯。 本文對目前常用的存儲模式進行了深入研究,包括傳統(tǒng)的磁盤文件系統(tǒng)、帶有中心節(jié)點的分布式存儲系統(tǒng)以及定制的帶有刪除功能的存儲系統(tǒng)等。這些系統(tǒng)對數(shù)據(jù)共享服務(wù)的支持缺乏或者不夠完善,重復數(shù)據(jù)依然占用了大量的存儲空間。針對以上問題本文設(shè)計了一個數(shù)據(jù)共享存儲系統(tǒng),力求解決云存儲中數(shù)據(jù)共享以及文件和塊管理等問題。本系統(tǒng)能夠在分布式的環(huán)境下進行重復數(shù)據(jù)消除,以構(gòu)建無中心節(jié)點的全分布式系統(tǒng),使其具有較好的負載均衡和較高的去重效率。 為了更加高效地共享重復數(shù)據(jù),本文設(shè)計了雙向滑動窗口分塊算法,該算法具有拉賓指紋的高效性和并行計算的優(yōu)勢將數(shù)據(jù)快速劃分成合適的塊,文件之間以數(shù)據(jù)塊為單位進行數(shù)據(jù)共享。而在對文件及數(shù)據(jù)塊的管理時采用了內(nèi)存哈希映射跟布隆過濾器的方式,以此減小由于數(shù)據(jù)分塊而造成的性能損失。實驗結(jié)果表明本系統(tǒng)在不影響太多存儲系統(tǒng)性能的情況下大大減少了數(shù)據(jù)存儲使用的物理空間,在大約降低了數(shù)據(jù)存儲速度10%的情況下降低了40%的物理存儲空間,因此本系統(tǒng)已經(jīng)具備一定的實用價值。
【學位授予單位】：大連理工大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333

【參考文獻】

相關(guān)期刊論文 前1條

1 敖莉;舒繼武;李明強;;重復數(shù)據(jù)刪除技術(shù)[J];軟件學報;2010年05期

，

本文編號：2519656