發(fā)布時間：2018-05-03 22:18

  本文選題：云存儲 + 重復數(shù)據(jù)刪除技術(shù)��； 參考：《東北大學》2014年碩士論文

【摘要】：隨著大數(shù)據(jù)時代的到來,數(shù)據(jù)已呈爆炸式的增長,海量數(shù)據(jù)的存儲已成為數(shù)據(jù)中心的首要問題,重復數(shù)據(jù)大量存在于信息處理與存儲的各個環(huán)節(jié)中,如文件系統(tǒng)、郵件附件、web對象以及操作系統(tǒng)與應用軟件中。傳統(tǒng)的數(shù)據(jù)保護技術(shù)如周期備份、版本控制、快照等更是加速了重復數(shù)據(jù)的增長,導致網(wǎng)絡(luò)帶寬與存儲資源的消耗以及存儲成本的增加。為了提高存儲資源利用率,降低數(shù)據(jù)管理成本,重復數(shù)據(jù)刪除技術(shù)的提出與應用已經(jīng)成為目前企業(yè)與數(shù)據(jù)中心的研究熱點。云存儲服務(wù)具有高可靠性、高通用性、高擴展性及大容量存儲等特點,因此對云存儲技術(shù)的研究不僅緊跟IT技術(shù)發(fā)展的趨勢,而且具有較高的應用價值。在云存儲環(huán)境中構(gòu)建大規(guī)模、高性能、分布式重刪系統(tǒng),具有很大的優(yōu)勢與挑戰(zhàn)。本文在云存儲環(huán)境中設(shè)計了一套在線的集群重刪系統(tǒng)架構(gòu),并在數(shù)據(jù)路由問題、索引查詢優(yōu)化問題等方面進行了相關(guān)研究,主要完成工作有：(1)基于開源的HDFS分布式文件系統(tǒng),以集群重復數(shù)據(jù)刪除技術(shù)為基礎(chǔ),設(shè)計并實現(xiàn)了具有重復數(shù)據(jù)刪除功能的分布式文件系統(tǒng)H-Dedup。根據(jù)重復數(shù)據(jù)刪除技術(shù)的特征,合理設(shè)計系統(tǒng)架構(gòu)與軟件功能模塊,使得重復數(shù)據(jù)刪除技術(shù)有效融入集群存儲架構(gòu)中。(2)設(shè)計面向重刪的局部相似路由算法,基于數(shù)據(jù)相似理論,以超塊粒度為路由單位,并對超塊進行采樣,選取少量特征指紋,以有狀態(tài)路由方式進行路由匹配,減少網(wǎng)絡(luò)帶寬消耗,快速定位存儲位置。使得分布式存儲系統(tǒng)在保持較高的存儲性能以及吞吐率的同時,快速定位存儲節(jié)點并取得較高的數(shù)據(jù)去重率。(3)為了緩解索引查詢過程中磁盤瓶頸問題,設(shè)計了基于內(nèi)存的相似索引表,進行數(shù)據(jù)局部去重,以避免出現(xiàn)大量的磁盤隨機讀寫現(xiàn)象。根據(jù)數(shù)據(jù)的局部性特點設(shè)計了全局LRU緩存,最大程度維護和利用數(shù)據(jù)的局部性,減少磁盤訪問次數(shù)；為了彌補單節(jié)點內(nèi)低去重率問題,設(shè)計了基于訪問頻率的容器熱點指紋索引,提升單點內(nèi)的數(shù)據(jù)去重率。
[Abstract]:With the arrival of big data era, the data has been explosive growth, the storage of massive data has become the primary problem of the data center, repeated data in all aspects of information processing and storage, such as file systems, E-mail attachment web object and operating system and application software. Traditional data protection techniques, such as periodic backup, version control, snapshot, etc, accelerate the growth of repeated data, resulting in the consumption of network bandwidth and storage resources as well as the increase of storage cost. In order to improve the utilization of storage resources and reduce the cost of data management, the proposed and applied repeated data deletion technology has become the research hotspot of enterprises and data centers. Cloud storage service has the characteristics of high reliability, high versatility, high expansibility and large capacity storage, so the research of cloud storage technology not only follows the development trend of IT technology, but also has high application value. Building large scale, high performance and distributed redelete system in cloud storage environment has great advantages and challenges. In this paper, an online cluster redelete system architecture is designed in cloud storage environment, and related research on data routing problem, index query optimization problem and so on is carried out. The main work is: 1) Open source HDFS distributed file system. Based on the technology of repeated data deletion in cluster, a distributed file system H-Dedup. which has the function of deleting repeated data is designed and implemented. According to the characteristics of repeated data deletion technology, the system architecture and software function module are designed reasonably, so that the duplicate data deletion technology can be effectively integrated into the cluster storage architecture. (2) the local similar routing algorithm for redelete is designed, which is based on the data similarity theory. The super-block granularity is taken as the routing unit and the super-block is sampled and a small number of characteristic fingerprints are selected to match the route in a stateful routing mode. The bandwidth consumption of the network is reduced and the storage location is quickly located. In order to alleviate the disk bottleneck problem in the process of index query, distributed storage systems maintain high storage performance and throughput, and quickly locate storage nodes and obtain high data removal rate. A similar index table based on memory is designed to avoid random reading and writing of a large number of disks. According to the local characteristic of the data, the global LRU cache is designed to maintain and utilize the locality of the data to the maximum extent, to reduce the number of disk access, in order to make up for the problem of low weight removal rate in a single node. A container hot spot fingerprint index based on access frequency is designed to improve the data removal rate in a single point.
【學位授予單位】：東北大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 ;重復數(shù)據(jù)刪除可實現(xiàn)25:1壓縮[J];每周電腦報;2007年01期

2 賈志凱;王樹鵬;陳光達;彭成;;一種并行層次化的重復數(shù)據(jù)刪除技術(shù)[J];計算機研究與發(fā)展;2011年S1期

3 Eric Bassier;;應對數(shù)據(jù)增長的重磅武器——重復數(shù)據(jù)刪除技術(shù)[J];計算機與網(wǎng)絡(luò);2013年06期

4 于丹;;昆騰進入重復數(shù)據(jù)刪除市場[J];每周電腦報;2007年09期

5 盧敏;;“零距離”重復數(shù)據(jù)刪除[J];軟件世界;2008年11期

6 盧敏;;點亮“重復數(shù)據(jù)刪除”[J];軟件世界;2008年06期

7 徐立洋;;選購重復數(shù)據(jù)刪除方案 軟硬兼施剔除雞肋數(shù)據(jù)[J];中國計算機用戶;2009年08期

8 邢延剛;;刪除重復值我有妙法[J];電腦迷;2009年09期

9 李剛;;重復數(shù)據(jù)刪除走向“源頭”[J];中國計算機用戶;2009年16期

10 雷赫;;重復數(shù)據(jù)刪除技術(shù)方案選型 刪除冗余 優(yōu)化存儲[J];中國計算機用戶;2009年23期

相關(guān)會議論文 前3條

1 賈志凱;王樹鵬;陳光達;彭成;;一種并行層次化的重復數(shù)據(jù)刪除技術(shù)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復數(shù)據(jù)刪除的靶場試驗信息存儲技術(shù)[A];2009年西部光子學學術(shù)會議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學術(shù)交流會議論文集[C];2011年

相關(guān)重要報紙文章 前10條

1 本報記者 張偉;重復數(shù)據(jù)刪除能被扶正嗎[N];中國計算機報;2008年

2 王琨月;重復數(shù)據(jù)刪除不該忽視弱點[N];網(wǎng)絡(luò)世界;2008年

3 本報記者 郭濤;基于硬件的重復數(shù)據(jù)刪除效率更高[N];中國計算機報;2009年

4 朱皎;重復數(shù)據(jù)刪除技術(shù)漸成主流[N];電腦商報;2009年

5 邢小萍;重復數(shù)據(jù)刪除技術(shù)漸入佳境[N];網(wǎng)絡(luò)世界;2009年

6 本報記者 刑小萍;重復數(shù)據(jù)刪除市場迎來開門紅[N];網(wǎng)絡(luò)世界;2010年

7 清水　編譯;部署重復數(shù)據(jù)刪除[N];計算機世界;2010年

8 編譯 張磊;誰在拖重復數(shù)據(jù)刪除的后腿[N];中國計算機報;2009年

9 本報記者 郭濤;重復數(shù)據(jù)刪除2.0追求“雙高”[N];中國計算機報;2012年

10 編譯 沈建苗;你果真需要重復數(shù)據(jù)刪除技術(shù)嗎[N];計算機世界;2013年

相關(guān)博士學位論文 前10條

1 林彬;主存儲服務(wù)系統(tǒng)中高I/O性能的重復數(shù)據(jù)刪除技術(shù)研究[D];國防科學技術(shù)大學;2014年

2 閻芳;重復數(shù)據(jù)刪除系統(tǒng)數(shù)據(jù)組織研究[D];北京理工大學;2015年

3 周炳;海量數(shù)據(jù)的重復數(shù)據(jù)刪除中元數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];清華大學;2015年

4 王國華;高效重復數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學;2014年

5 王燦;基于在線重復數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學;2012年

6 付印金;面向云環(huán)境的重復數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2013年

7 周正達;信息存儲系統(tǒng)中重復數(shù)據(jù)刪除技術(shù)的研究[D];華中科技大學;2012年

8 楊天明;網(wǎng)絡(luò)備份中重復數(shù)據(jù)刪除技術(shù)研究[D];華中科技大學;2010年

9 朱銳;重復數(shù)據(jù)刪除技術(shù)中的并行性能優(yōu)化算法研究[D];華中科技大學;2013年

10 葉鵬迪;云存儲系統(tǒng)資源管理關(guān)鍵技術(shù)研究[D];北京郵電大學;2014年

相關(guān)碩士學位論文 前10條

1 張明月;客戶端加密重復數(shù)據(jù)刪除機制的研究[D];西安電子科技大學;2014年

2 黃可;重復數(shù)據(jù)可刪除的云數(shù)據(jù)審計協(xié)議的研究[D];電子科技大學;2015年

3 王振宇;安全云存儲中重復數(shù)據(jù)刪除機制研究[D];南京郵電大學;2015年

4 李志然;云存儲中集群重復數(shù)據(jù)刪除系統(tǒng)的研究與設(shè)計[D];東北大學;2014年

5 王珂;一種基于代理重加密的安全重復數(shù)據(jù)刪除機制的研究[D];北京郵電大學;2012年

6 沈瑞清;云存儲中避免重復數(shù)據(jù)存儲機制研究[D];云南大學;2013年

7 石俊杰;基于云存儲的重復數(shù)據(jù)刪除文件系統(tǒng)設(shè)計與實現(xiàn)[D];華中科技大學;2013年

8 胡盼盼;在線重復數(shù)據(jù)刪除技術(shù)的研究與實現(xiàn)[D];華中科技大學;2011年

9 曾濤;重復數(shù)據(jù)刪除技術(shù)的研究與實現(xiàn)[D];華中科技大學;2011年

10 蔡博;基于MBasedSWC-Varsize算法的重復數(shù)據(jù)消除技術(shù)研究[D];電子科技大學;2012年

，

本文編號：1840330