本文選題：虛擬磁帶庫 + 重復數(shù)據(jù)刪除�。� 參考：《西南交通大學》2013年碩士論文

【摘要】：隨著全球信息化的推進,我們的社會正在步入一個信息化的社會,政府機構以及各行各業(yè)都對信息資源、信息技術以及信息產(chǎn)業(yè)的依賴程度越來越大,對存儲空間的需求也在飛速地增長。在進行數(shù)據(jù)備份時,會備份大量相同的數(shù)據(jù)和文件,而這些相同的數(shù)據(jù)和文件占據(jù)了大量昂貴的磁盤空間。VTL (Virtual Tape Library虛擬磁帶庫)以其備份性能高、故障率低、可靠性高等優(yōu)勢被廣泛用于政府機構以及各行各業(yè)的數(shù)據(jù)存儲中。因此,研究可以刪除VTL中重復數(shù)據(jù)的技術是勢在必行的。 本文首先對虛擬磁帶庫和重復刪除技術在國內外的現(xiàn)狀進行了分析,找出了現(xiàn)有重復數(shù)據(jù)刪除技術中存在的問題和不足,從而確立了本文的研究出發(fā)點。研究了重復數(shù)據(jù)刪除的基本原理,然后通過以下幾個過程：文件數(shù)據(jù)檢測分塊、塊哈希值計算、塊哈希值查找以及哈希值保存,實現(xiàn)了一個基于塊級的重復數(shù)據(jù)刪除系統(tǒng)。為了彌補重復數(shù)據(jù)刪除中MD5哈希算法的“哈希沖突”問題,使用了拉鏈法對哈希算法進行了優(yōu)化,增強了數(shù)據(jù)的安全性；為了提高系統(tǒng)檢測重復數(shù)據(jù)塊的效率,對基于內容的數(shù)據(jù)檢測算法進行了改進；為了提高哈希表查找的效率,使用了Bloom Filter技術對哈希表進行了優(yōu)化和改進。 最后,在虛擬磁帶庫與備份軟件的環(huán)境下對系統(tǒng)進行了測試與分析,從測試結果得出,改進的CDC數(shù)據(jù)檢測算法比FSP和SB算法具有更高的重復刪除率,重復刪除系統(tǒng)比一般的數(shù)據(jù)壓縮軟件具有更高的數(shù)據(jù)縮減率。
[Abstract]:With the development of global informatization, our society is stepping into an information society. Government agencies and various industries are relying more and more on information resources, information technology and information industry. The demand for storage space is also growing rapidly. When you do a data backup, you back up a lot of the same data and files, which take up a lot of expensive disk space. VTL Virtual Tape Library virtual tape library) because of its high backup performance and low failure rate. The advantages of high reliability are widely used in the data storage of government agencies and various industries. Therefore, it is imperative to study the technology that can delete duplicate data from VTL. This paper first analyzes the status quo of virtual tape library and repeat deletion technology at home and abroad, finds out the existing problems and shortcomings in the existing repeated data deletion technology, and establishes the starting point of this paper. In this paper, the basic principle of repeated data deletion is studied, and then a block level repeated data deletion system is implemented through the following processes: file data detection, block hash value calculation, block hash value searching and hash value saving. In order to make up for the "hash conflict" problem of MD5 hash algorithm in the repeated data deletion, the zipper method is used to optimize the hash algorithm to enhance the security of the data, and to improve the efficiency of the system to detect repeated data blocks. The content-based data detection algorithm is improved, and the Bloom Filter technique is used to optimize and improve the hash table in order to improve the efficiency of hash table lookup. Finally, the system is tested and analyzed under the environment of virtual tape library and backup software. From the test results, the improved CDC data detection algorithm has higher repetition deletion rate than FSP and SB algorithm. The data reduction rate of the repeated deletion system is higher than that of the normal data compression software.
【學位授予單位】：西南交通大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333.35

【參考文獻】

相關期刊論文 前10條

1 段夢博;蔡興旺;;基于內容的重復數(shù)據(jù)刪除技術的研究[J];電腦知識與技術;2010年22期

2 劉仲明;王放;鄭小林;;醫(yī)院影像歸檔與存儲系統(tǒng)中影像數(shù)據(jù)長期存儲問題的研究[J];第三軍醫(yī)大學學報;2005年11期

3 敖莉;舒繼武;李明強;;重復數(shù)據(jù)刪除技術[J];軟件學報;2010年05期

4 盧敏;;“零距離”重復數(shù)據(jù)刪除[J];軟件世界;2008年11期

5 徐培麗;王浩;;淺析虛擬帶庫[J];視聽界(廣播電視技術);2011年03期

6 陳學鋒,陳穎行;大型企業(yè)SAN數(shù)據(jù)存儲方案設計[J];微機發(fā)展;2003年05期

7 厲劍;廉國斌;黃棟;;數(shù)據(jù)容災系統(tǒng)與CDP技術[J];計算機技術與發(fā)展;2009年01期

8 丁振國;吳寶貴;辛友強;;基于Bloom Filter的大規(guī)模網(wǎng)頁去重策略研究[J];現(xiàn)代圖書情報技術;2008年03期

9 吳松,金海;存儲虛擬化研究[J];小型微型計算機系統(tǒng);2003年04期

10 張磊;;虛擬磁帶庫在災備系統(tǒng)中的應用研究[J];小型微型計算機系統(tǒng);2007年06期

相關博士學位論文 前2條

1 楊天明;網(wǎng)絡備份中重復數(shù)據(jù)刪除技術研究[D];華中科技大學;2010年

2 康劍斌;只讀磁盤-磁帶庫系統(tǒng)研究與實現(xiàn)[D];清華大學;2009年

相關碩士學位論文 前1條

1 侯海翔;虛擬桌面環(huán)境下數(shù)據(jù)去冗余系統(tǒng)的設計與實現(xiàn)[D];華中科技大學;2011年

，

本文編號：1976417