【摘要】：數(shù)據(jù)量的爆炸式增長以及海量數(shù)據(jù)的大規(guī)模集中使得數(shù)據(jù)重復(fù)所導(dǎo)致的空間浪費問題越來越嚴(yán)重,這促使了重復(fù)數(shù)據(jù)消除技術(shù)的出現(xiàn)和發(fā)展。重復(fù)數(shù)據(jù)刪除概念很簡單,如果做一分鐘“電梯演講”：一本浩瀚的大不列顛百科叢書有4400萬個字符,共計3萬多英文單詞,所有的這一切都是由簡單的26個英文字母構(gòu)成。海量數(shù)據(jù)高達(dá)EB級別,重復(fù)數(shù)據(jù)刪除技術(shù)是發(fā)現(xiàn)海量數(shù)據(jù)中的“字母”,并將數(shù)據(jù)以“字母”的形式構(gòu)成,將重復(fù)的數(shù)據(jù)進(jìn)行刪除以獲得更好的存儲空間性價比。 目前,重復(fù)數(shù)據(jù)刪除方面的研究工作已經(jīng)在消冗率提升、性能優(yōu)化以及分布式路由算法等方面取得了一系列有價值的成果,有效地推動了該技術(shù)的應(yīng)用。本文從研究熱點與瓶頸出發(fā),主要研究面向服務(wù)質(zhì)量的分布式重復(fù)數(shù)據(jù)刪除系統(tǒng),面向服務(wù)質(zhì)量就需要支持服務(wù)質(zhì)量的可調(diào)節(jié),研究目標(biāo)是建立一種基于多重策略設(shè)計及優(yōu)化的重復(fù)數(shù)據(jù)刪除技術(shù)體系。 首先,本文重點研究了重復(fù)數(shù)據(jù)刪除的技術(shù)體系、關(guān)鍵技術(shù)和關(guān)鍵指標(biāo),以此建立重復(fù)數(shù)據(jù)刪除原型系統(tǒng),其中消冗引擎作為重復(fù)數(shù)據(jù)刪除技術(shù)的關(guān)鍵核心,包括路由算法、數(shù)據(jù)塊倉庫、并行流水線控制、網(wǎng)絡(luò)通訊規(guī)約。在此基礎(chǔ)上對關(guān)鍵技術(shù)的模型進(jìn)行分析,分析內(nèi)容包括索引模型分析、數(shù)據(jù)模型分析、性能模型分析,并從理論角度進(jìn)行驗證。其次,路由算法是分布式重復(fù)數(shù)據(jù)刪除存儲系統(tǒng)中的關(guān)鍵技術(shù),但現(xiàn)有的路由算法無法滿足分布式系統(tǒng)在消冗效率、數(shù)據(jù)遷移及集群彈性上的要求,因此,本文設(shè)計了一種基于Chord的相似性路由檢測算法SRC(Similarity Routing Based on Chord),并從理論角度完成算法的收斂性、一致性證明,進(jìn)一步詳述了SRC路由算法的三個階段。最后,從三種關(guān)鍵技術(shù)的模型分析結(jié)果出發(fā),提出具體技術(shù)策略改進(jìn)、優(yōu)化方案,其中包括索引的分級優(yōu)化、基于數(shù)據(jù)價值的遷移優(yōu)化、基于讀請求重組的性能優(yōu)化。 在系統(tǒng)實驗過程中,搭建了分布式集群環(huán)境,并選取測試數(shù)據(jù)集及實驗工具,完成讀寫并發(fā)響應(yīng)時間測試、集群讀寫能力測試、路由算法負(fù)載均衡測試、節(jié)點容錯測試等。經(jīng)實驗驗證,對于分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)中的關(guān)鍵技術(shù)策略的優(yōu)化及SRC路由算法的設(shè)計,明顯地克服了原有技術(shù)體系中的熱點瓶頸及性能缺陷,多角度、深層次、寬領(lǐng)域的完成對重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)的研究,進(jìn)一步提高重復(fù)數(shù)據(jù)刪除技術(shù)服務(wù)質(zhì)量,推進(jìn)以重復(fù)數(shù)據(jù)刪除技術(shù)為中心的綠色存儲理念在云存儲概念中的進(jìn)一步應(yīng)用。
[Abstract]:The explosive growth of data volumes and massive concentration of data have led to a growing waste of space caused by data duplication, prompting the emergence and development of duplicate data elimination techniques. A million characters, more than 30,000 English words, all of which are made up of 26 simple English letters. Massive data is up to EB level, and duplicate data deletion technology is to discover the "letters" in massive data, and to delete duplicate data in the form of "letters" to achieve better storage space. Price ratio.
At present, the research work on duplicate data deletion has made a series of valuable achievements in the aspects of redundancy reduction, performance optimization and distributed routing algorithm, which effectively promote the application of this technology. Quality of Service Oriented (QoS-Oriented) needs to support the adjustability of QoS. The research goal is to establish a repetitive data deletion technology architecture based on multiple strategy design and optimization.
Firstly, this paper focuses on the technical architecture, key technologies and key indicators of duplicate data deletion, and establishes a duplicate data deletion prototype system. The redundancy engine is the key core of duplicate data deletion technology, including routing algorithm, data block warehouse, parallel pipeline control, network communication protocol. Secondly, routing algorithm is the key technology in distributed duplicate data deletion storage system, but the existing routing algorithm can not meet the efficiency of redundancy elimination, data migration and set. Therefore, this paper designs a Similarity Routing Based on Chord (SRC) routing algorithm based on Chord, and completes the convergence of the algorithm from the theoretical point of view. The consistency proves that the three stages of SRC routing algorithm are further elaborated. Finally, based on the analysis results of the three key technologies, the paper puts forward the three stages of SRC routing algorithm. Specific technical strategy improvements and optimization schemes are proposed, including index hierarchical optimization, data value based migration optimization and reader request reorganization based performance optimization.
In the process of system experiment, the distributed cluster environment is built, and the test data sets and experimental tools are selected to complete the test of read-write concurrent response time, cluster read-write ability, routing algorithm load balancing test, node fault tolerance test and so on. And the design of SRC routing algorithm has obviously overcome the hot bottleneck and performance defect in the original technology system. The research on the key technology of duplicate data deletion has been completed from multi-angle, deep-level and wide-field. The service quality of duplicate data deletion technology has been further improved, and the concept of green storage centered on duplicate data deletion technology has been promoted. Further application of cloud storage concept.
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳戈;;重復(fù)數(shù)據(jù)刪除充分利用IT預(yù)算[J];軟件世界;2009年11期

2 ;重復(fù)數(shù)據(jù)刪除+VMware DR=提高成本效益[J];微電腦世界;2008年05期

3 徐立洋;;選購重復(fù)數(shù)據(jù)刪除方案 軟硬兼施剔除雞肋數(shù)據(jù)[J];中國計算機用戶;2009年08期

4 李剛;;重復(fù)數(shù)據(jù)刪除走向“源頭”[J];中國計算機用戶;2009年16期

5 ;Albireo成就實時重復(fù)數(shù)據(jù)刪除技術(shù)[J];微電腦世界;2011年02期

6 胡超明;;企業(yè)采購指南:重復(fù)數(shù)據(jù)刪除技術(shù)選型[J];網(wǎng)絡(luò)與信息;2010年09期

7 ;Nexenta推NEXENTASTOR 3.0:為主存儲提供聯(lián)線重復(fù)數(shù)據(jù)刪除[J];電腦與電信;2010年03期

8 李學(xué)博;;IBM讓數(shù)據(jù)重復(fù)難題成為歷史[J];通信世界;2008年36期

9 謝斌鑫;;消滅存儲黑洞[J];信息方略;2008年13期

10 dream;劉暉;;刪除，，沒那么簡單[J];電腦迷;2006年03期

相關(guān)會議論文 前10條

1 賈志凱;王樹鵬;陳光達(dá);彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 杜曉煜;許媛輝;徐良全;鄭月慧;;c-src在原始卵泡生長、發(fā)育、成熟中的作用[A];中國生理學(xué)會第23屆全國會員代表大會暨生理學(xué)學(xué)術(shù)大會論文摘要文集[C];2010年

3 李曉紅;朱慧;戚菁;施維;吳信華;陸玉華;鞠少卿;沈愛國;;Src抑制的蛋白激酶C底物在實驗性自身免疫性腦脊髓炎中的表達(dá)[A];2010’全國腫瘤分子標(biāo)志及應(yīng)用學(xué)術(shù)研討會暨第五屆中國中青年腫瘤專家論壇論文匯編[C];2010年

4 李鍇;傅開元;;脊髓小膠質(zhì)細(xì)胞Src家族激酶活化參與福爾馬林損傷引起的慢性痛[A];第八屆全國顳下頜關(guān)節(jié)病學(xué)及（牙合）學(xué)大會論文匯編[C];2011年

5 崔維成;馬嶺;;潛水器設(shè)計中所要解決的水動力學(xué)問題[A];第九屆全國水動力學(xué)學(xué)術(shù)會議暨第二十二屆全國水動力學(xué)研討會論文集[C];2009年

6 顏建軍;林漢同;陳立亮;廖敦明;劉瑞祥;;壓鑄模CAD關(guān)鍵技術(shù)的研究[A];2002年材料科學(xué)與工程新進(jìn)展（下）——2002年中國材料研討會論文集[C];2002年

7 薛猛;張虹;;流媒體技術(shù)的發(fā)展及其應(yīng)用[A];全國第十五屆計算機科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會議論文集[C];2003年

8 邱雪松;鄧宗全;胡明;;月球探測車可展開式懸架的設(shè)計分析[A];中國宇航學(xué)會深空探測技術(shù)專業(yè)委員會第二屆學(xué)術(shù)會議論文集[C];2005年

9 饒中浩;張國慶;吳忠杰;傅李鵬;;食品冷藏鏈關(guān)鍵技術(shù)及研究進(jìn)展[A];第六屆全國食品冷藏鏈大會論文集[C];2008年

10 譚建榮;;數(shù)字樣機共性關(guān)鍵技術(shù)及其應(yīng)用[A];高檔數(shù)控機床與制造工藝創(chuàng)新論壇論文集[C];2009年

相關(guān)重要報紙文章 前10條

1 劉;Data Domain DD690高效重復(fù)數(shù)據(jù)刪除[N];電腦商報;2008年

2 本報記者 郭濤;關(guān)于重復(fù)數(shù)據(jù)刪除的三道選擇題[N];中國計算機報;2009年

3 祁金華;重復(fù)數(shù)據(jù)刪除將成存儲標(biāo)準(zhǔn)[N];網(wǎng)絡(luò)世界;2007年

4 王s

本文編號：2233666