【摘要】：隨著大數(shù)據(jù)時(shí)代的到來(lái),信息的產(chǎn)生量越來(lái)越多,儲(chǔ)存數(shù)據(jù)共享變得越來(lái)越迫切。傳統(tǒng)的數(shù)據(jù)中心也逐漸向著云存儲(chǔ)中心的角色轉(zhuǎn)變。許多學(xué)者開(kāi)始對(duì)儲(chǔ)存數(shù)據(jù)共享進(jìn)行了深入的研究。隨著云存儲(chǔ)的規(guī)模擴(kuò)大,維護(hù)和能耗等多方面的問(wèn)題也隨之而來(lái),使存儲(chǔ)這項(xiàng)基礎(chǔ)服務(wù)更加廉價(jià)高效成為研究的熱點(diǎn)問(wèn)題。而現(xiàn)有的數(shù)據(jù)存儲(chǔ)無(wú)論是集中式還是分布式都存在著可擴(kuò)展性差,數(shù)據(jù)冗余較多等問(wèn)題,隨著云存儲(chǔ)的進(jìn)一步發(fā)展這些問(wèn)題將會(huì)日益凸顯。 本文對(duì)目前常用的存儲(chǔ)模式進(jìn)行了深入研究,包括傳統(tǒng)的磁盤文件系統(tǒng)、帶有中心節(jié)點(diǎn)的分布式存儲(chǔ)系統(tǒng)以及定制的帶有刪除功能的存儲(chǔ)系統(tǒng)等。這些系統(tǒng)對(duì)數(shù)據(jù)共享服務(wù)的支持缺乏或者不夠完善,重復(fù)數(shù)據(jù)依然占用了大量的存儲(chǔ)空間。針對(duì)以上問(wèn)題本文設(shè)計(jì)了一個(gè)數(shù)據(jù)共享存儲(chǔ)系統(tǒng),力求解決云存儲(chǔ)中數(shù)據(jù)共享以及文件和塊管理等問(wèn)題。本系統(tǒng)能夠在分布式的環(huán)境下進(jìn)行重復(fù)數(shù)據(jù)消除,以構(gòu)建無(wú)中心節(jié)點(diǎn)的全分布式系統(tǒng),使其具有較好的負(fù)載均衡和較高的去重效率。 為了更加高效地共享重復(fù)數(shù)據(jù),本文設(shè)計(jì)了雙向滑動(dòng)窗口分塊算法,該算法具有拉賓指紋的高效性和并行計(jì)算的優(yōu)勢(shì)將數(shù)據(jù)快速劃分成合適的塊,文件之間以數(shù)據(jù)塊為單位進(jìn)行數(shù)據(jù)共享。而在對(duì)文件及數(shù)據(jù)塊的管理時(shí)采用了內(nèi)存哈希映射跟布隆過(guò)濾器的方式,以此減小由于數(shù)據(jù)分塊而造成的性能損失。實(shí)驗(yàn)結(jié)果表明本系統(tǒng)在不影響太多存儲(chǔ)系統(tǒng)性能的情況下大大減少了數(shù)據(jù)存儲(chǔ)使用的物理空間,在大約降低了數(shù)據(jù)存儲(chǔ)速度10%的情況下降低了40%的物理存儲(chǔ)空間,因此本系統(tǒng)已經(jīng)具備一定的實(shí)用價(jià)值。
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

，

本文編號(hào)：2519656