【摘要】：隨著網(wǎng)絡(luò)與應(yīng)用的發(fā)展，信息呈爆炸性增長趨勢，數(shù)據(jù)達(dá)到前所未有的規(guī)模，大規(guī)模數(shù)據(jù)中心的存儲(chǔ)壓力正迅速增長�；诜植际焦１�(DHT)的對等存儲(chǔ)系統(tǒng)由于其良好的擴(kuò)展性以及快速的數(shù)據(jù)存取能力，已成為當(dāng)前大規(guī)模數(shù)據(jù)存儲(chǔ)研究的熱點(diǎn)�；贒HT的數(shù)據(jù)存儲(chǔ)系統(tǒng)具有動(dòng)態(tài)性和異構(gòu)性，導(dǎo)致數(shù)據(jù)隨時(shí)可能丟失。因此，，如何保證DHT系統(tǒng)的高可用性成為研究DHT存儲(chǔ)系統(tǒng)的關(guān)鍵問題。 本文對基于DHT的存儲(chǔ)系統(tǒng)的冗余機(jī)制和基于柯西矩陣的糾刪碼技術(shù)進(jìn)行了研究，通過將文件分割后編碼與單副本結(jié)合，給出了一種1N混合的冗余存儲(chǔ)策略。本文的主要工作概括如下： 1.概述了分布式哈希表的設(shè)計(jì)和幾種常見的DHT協(xié)議，詳細(xì)分析了傳統(tǒng)的副本和糾刪碼兩種數(shù)據(jù)冗余機(jī)制，闡述了運(yùn)用在DHT存儲(chǔ)系統(tǒng)中的RS糾刪碼。 2.詳細(xì)研究了基于柯西矩陣的RS糾刪碼，通過線性變換的思想給出了一種改進(jìn)型柯西矩陣的構(gòu)造算法。實(shí)驗(yàn)結(jié)果表明基于改進(jìn)型柯西矩陣RS碼比傳統(tǒng)RS碼的編碼和解碼效率都提高了10%左右。 3.給出了一種混合的冗余數(shù)據(jù)存儲(chǔ)策略，該策略將數(shù)據(jù)文件進(jìn)行分割后使用糾刪碼同時(shí)結(jié)合單副本，從而在相同的冗余度下有效地增加了系統(tǒng)的可用性，并在提高訪問服務(wù)效率和減少了路由訪問節(jié)點(diǎn)數(shù)的同時(shí)，降低了網(wǎng)絡(luò)維護(hù)開銷。仿真結(jié)果表明本文所給出冗余數(shù)據(jù)存儲(chǔ)策略的有效性。
[Abstract]:With the development of network and application, the information is increasing explosively, the data has reached an unprecedented scale, and the storage pressure of large-scale data center is increasing rapidly. Peer-to-peer storage system based on distributed hash table (DHT) has become a hot spot in the research of large-scale data storage due to its good scalability and fast data access ability. The data storage system based on DHT is dynamic and heterogeneous, resulting in data loss at any time. Therefore, how to ensure the high availability of DHT system becomes a key problem in the research of DHT storage system. In this paper, the redundancy mechanism of storage system based on DHT and erasure code technology based on Cauchy matrix are studied. A 1N hybrid redundant storage strategy is proposed by combining file segmentation coding with single copy. The main work of this paper is summarized as follows: 1. This paper summarizes the design of distributed hash table and several common DHT protocols, analyzes in detail two kinds of data redundancy mechanisms of traditional replica and erasure code, and expounds the RS erasure code used in DHT storage system. 2. The RS erasure code based on Cauchy matrix is studied in detail, and an improved Cauchy matrix construction algorithm is given by the idea of linear transformation. The experimental results show that the coding and decoding efficiency of the modified Cauchy matrix RS code is about 10% higher than that of the traditional RS code. In this paper, a mixed redundant data storage strategy is presented, which divides the data file and combines the erasure code with a single copy, which increases the availability of the system effectively under the same degree of redundancy. At the same time, the efficiency of access service and the number of routing access nodes are reduced, and the network maintenance overhead is reduced. Simulation results show the effectiveness of the proposed redundant data storage strategy.
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊春燕;用SAN構(gòu)筑現(xiàn)代企業(yè)信息存儲(chǔ)系統(tǒng)的優(yōu)勢[J];內(nèi)蒙古電力技術(shù);2002年S1期

2 ;專家觀點(diǎn)[J];中國計(jì)算機(jī)用戶;2006年43期

3 ;HDS AMS 2000系列的創(chuàng)新之道[J];通信世界;2009年08期

4 金文新;;大型高校圖書館計(jì)算機(jī)網(wǎng)絡(luò)集成系統(tǒng)建設(shè)[J];情報(bào)科學(xué);2009年04期

5 李靜;;淺談HIS系統(tǒng)對服務(wù)器和存儲(chǔ)設(shè)備的要求及設(shè)計(jì)方案[J];信息與電腦(理論版);2009年11期

6 劉剛;張海濤;李瑞東;張強(qiáng);;一種基于模塊化設(shè)計(jì)的NAS集群存儲(chǔ)系統(tǒng)[J];微計(jì)算機(jī)信息;2011年05期

7 于耳;;建立面向應(yīng)用的存儲(chǔ)系統(tǒng)[J];中國教育網(wǎng)絡(luò);2011年06期

8 ;數(shù)字視頻存儲(chǔ)系統(tǒng)[J];光學(xué)精密工程;1977年06期

9 張明明;;為信息傳輸設(shè)備保駕護(hù)航——訪EMC公司中國區(qū)產(chǎn)品經(jīng)理馬永亨先生[J];上海微型計(jì)算機(jī);1998年Z1期

10 趙晨;;EMC Symmetrix優(yōu)化SAP R/3系統(tǒng)[J];計(jì)算機(jī)與網(wǎng)絡(luò);1998年09期

相關(guān)會(huì)議論文 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 朱平;朱建濤;高劍剛;蔣金虎;;高性能計(jì)算存儲(chǔ)關(guān)鍵技術(shù)研究[A];2010年第16屆全國信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

3 周博;宿紹瑩;陳曾平;;基于CPCI總線的寬帶雷達(dá)數(shù)據(jù)傳輸存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];全國第二屆信號(hào)處理與應(yīng)用學(xué)術(shù)會(huì)議專刊[C];2008年

4 周功業(yè);周江;陳希;陳進(jìn)才;;寄生存儲(chǔ)原理及實(shí)現(xiàn)機(jī)制[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

5 汪黎;章文嵩;楊學(xué)軍;;Cfslight:一個(gè)新型的輕量級(jí)對象存儲(chǔ)集群文件系統(tǒng)[A];2006年全國開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（一）[C];2006年

6 聶明;;構(gòu)建海量存儲(chǔ)系統(tǒng) 提升媒體競爭力[A];中國新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（下）[C];2008年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測”分會(huì)場論文集[C];2006年

8 劉湛明;吳柳堅(jiān);;數(shù)字電視臺(tái)的建設(shè)[A];2007第二屆全國廣播電視技術(shù)論文集2（下）[C];2007年

9 羅香玉;李傳佑;汪蕓;;糾刪碼容錯(cuò)組的布局策略研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

10 林茂;張峰;許濤;塔依爾;劉磊;;構(gòu)建石油地震勘探開發(fā)需求的PC集群存儲(chǔ)系統(tǒng)[A];第十屆全國信息技術(shù)化工應(yīng)用年會(huì)論文集[C];2005年

相關(guān)重要報(bào)紙文章 前10條

1 朗飛;IBM“冰立方”就像搭積木[N];中國計(jì)算機(jī)報(bào);2006年

2 郭濤;MediaGrid既不是SAN也不是NAS[N];中國計(jì)算機(jī)報(bào);2007年

3 本報(bào)記者　　張峰;知己知彼建存儲(chǔ)（上）[N];網(wǎng)絡(luò)世界;2006年

4 森林;NAS資源存儲(chǔ)系統(tǒng)[N];中國電腦教育報(bào);2002年

5 Hifn(漢帆)杭州信息技術(shù)有限公司 馬劍杰;自動(dòng)精簡配置：提升存儲(chǔ)利用率有絕招[N];中國計(jì)算機(jī)報(bào);2009年

6 ;IBM收購存儲(chǔ)解決方案公司[N];計(jì)算機(jī)世界;2007年

7 本報(bào)記者 徐恒;面臨機(jī)遇 中國新型存儲(chǔ)業(yè)合作求創(chuàng)新[N];中國電子報(bào);2011年

8 李想 徐晉;福州電業(yè)局研發(fā)個(gè)人文件安全存儲(chǔ)系統(tǒng)[N];中國電力報(bào);2006年

9 ;HDS推出企業(yè)入門級(jí)存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2005年

10 ;戴爾EMC打造新一代高容量存儲(chǔ)系統(tǒng)[N];人民郵電;2004年

相關(guān)博士學(xué)位論文 前10條

1 陸承濤;存儲(chǔ)系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

2 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

3 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

5 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

6 施展;基于本體的存儲(chǔ)系統(tǒng)管理研究[D];華中科技大學(xué);2011年

7 黃繼鵬;高速高可靠小型數(shù)字視頻存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國科學(xué)院研究生院（長春光學(xué)精密機(jī)械與物理研究所）;2012年

8 劉科;內(nèi)容感知存儲(chǔ)系統(tǒng)中的信息檢索關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2012年

9 姜明華;基于冗余智能存儲(chǔ)通道的存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

10 金超;容錯(cuò)存儲(chǔ)系統(tǒng)的結(jié)構(gòu)優(yōu)化技術(shù)研究[D];華中科技大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 陸正武;面向流媒體應(yīng)用存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2004年

2 杜睿;基于IP-SAN技術(shù)的石化企業(yè)數(shù)據(jù)集中存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華東理工大學(xué);2010年

3 金強(qiáng);基于HBase的RDF存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[D];浙江大學(xué);2011年

4 余智敏;數(shù)字化圖書館的數(shù)據(jù)存儲(chǔ)技術(shù)的研究[D];武漢理工大學(xué);2006年

5 陶博舟;磁盤陣列快照系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2007年

6 張小艷;基于嵌入式技術(shù)的USB存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2011年

7 蔣亞群;基于DLX體系結(jié)構(gòu)的微處理器核的設(shè)計(jì)與實(shí)現(xiàn)[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

8 亓偉;關(guān)系數(shù)據(jù)庫存儲(chǔ)子系統(tǒng)研究與實(shí)現(xiàn)[D];清華大學(xué);2005年

9 宋迎迎;數(shù)字館藏評價(jià)指標(biāo)體系研究[D];鄭州大學(xué);2006年

10 袁曉銘;磁盤陣列系統(tǒng)的快照技術(shù)研究[D];華中科技大學(xué);2007年

本文編號(hào)：2250195