本文關(guān)鍵詞：容錯(cuò)存儲(chǔ)系統(tǒng)校驗(yàn)更新及修復(fù)優(yōu)化技術(shù)研究　出處：《中國(guó)科學(xué)技術(shù)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 存儲(chǔ)系統(tǒng) 糾刪碼 容錯(cuò) 校驗(yàn)更新 校驗(yàn)修復(fù)

【摘要】：近年來(lái)隨著數(shù)據(jù)的爆炸式增長(zhǎng),數(shù)據(jù)的存儲(chǔ)規(guī)模越來(lái)越大,傳統(tǒng)的單機(jī)系統(tǒng)已經(jīng)無(wú)法滿足高速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求。分布式存儲(chǔ)系統(tǒng)使用大量廉價(jià)商用服務(wù)器通過(guò)網(wǎng)絡(luò)互聯(lián),可以提供極強(qiáng)的服務(wù)能力和擴(kuò)展能力。然而,隨著集群規(guī)模的變大、存儲(chǔ)設(shè)備的增多,存儲(chǔ)節(jié)點(diǎn)失效已不是偶然事件。因此,分布式存儲(chǔ)系統(tǒng)對(duì)數(shù)據(jù)的可靠性要求尤為突出。分布式存儲(chǔ)系統(tǒng)常用的容錯(cuò)技術(shù)有兩種,多副本技術(shù)和糾刪碼技術(shù)。糾刪碼技術(shù)相對(duì)于多副本技術(shù)在提供相同容錯(cuò)能力的前提下,所需的存儲(chǔ)開銷更小,因此被存儲(chǔ)系統(tǒng)廣泛采用。糾刪碼技術(shù)通過(guò)對(duì)數(shù)據(jù)切塊,計(jì)算并存儲(chǔ)一定的冗余數(shù)據(jù),當(dāng)發(fā)生不超過(guò)系統(tǒng)容錯(cuò)能力的節(jié)點(diǎn)失效時(shí),可以利用存活節(jié)點(diǎn)的數(shù)據(jù)恢復(fù)出失效節(jié)點(diǎn)的數(shù)據(jù)。所以,為保證部署糾刪碼的存儲(chǔ)系統(tǒng)的可靠性,在數(shù)據(jù)塊更新的同時(shí)需要更新與之關(guān)聯(lián)的校驗(yàn)數(shù)據(jù);同時(shí),當(dāng)存儲(chǔ)校驗(yàn)數(shù)據(jù)的節(jié)點(diǎn)失效時(shí),快速的故障數(shù)據(jù)恢復(fù)對(duì)保證分布式存儲(chǔ)系統(tǒng)的可靠性也同等重要。本文主要研究了部署糾刪碼的存儲(chǔ)系統(tǒng)校驗(yàn)更新及修復(fù)優(yōu)化問(wèn)題,主要研究?jī)?nèi)容與貢獻(xiàn)如下:(1)校驗(yàn)數(shù)據(jù)更新優(yōu)化研究隨著業(yè)務(wù)規(guī)模的增長(zhǎng),已有的存儲(chǔ)系統(tǒng)往往無(wú)法滿足上層應(yīng)用更大的存儲(chǔ)容量和更高的訪問(wèn)帶寬需求。當(dāng)應(yīng)用需求超過(guò)存儲(chǔ)系統(tǒng)的負(fù)荷時(shí),需要增加新的存儲(chǔ)介質(zhì)到已有的系統(tǒng)中,并將部分?jǐn)?shù)據(jù)遷移到新的存儲(chǔ)設(shè)備上,以均衡負(fù)載和提供更大的訪問(wèn)帶寬。然而,數(shù)據(jù)遷移會(huì)造成大量校驗(yàn)更新,由此給系統(tǒng)造成額外負(fù)載。本文針對(duì)擴(kuò)容過(guò)程中的校驗(yàn)數(shù)據(jù)更新問(wèn)題,提出了一種優(yōu)化策略EPU(Efficient Parity Update Algorithm)。首先,EPU根據(jù)用戶請(qǐng)求訪問(wèn)情況調(diào)整擴(kuò)容順序,以最大化利用用戶請(qǐng)求節(jié)省校驗(yàn)更新引發(fā)的I/O;其次,EPU通過(guò)比較不同校驗(yàn)更新方式的系統(tǒng)開銷,選擇最佳的校驗(yàn)更新方式,并盡可能的聚合校驗(yàn)更新I/O以減小系統(tǒng)開銷。相比于傳統(tǒng)擴(kuò)容方法采用固定的校驗(yàn)更新方式,使用EPU,既可以減少擴(kuò)容過(guò)程引發(fā)的系統(tǒng)帶寬開銷,也能加快擴(kuò)容過(guò)程的完成。(2)校驗(yàn)數(shù)據(jù)故障恢復(fù)優(yōu)化研究分布式存儲(chǔ)系統(tǒng)的規(guī)模越來(lái)越大,有的甚至達(dá)到幾百上千臺(tái)集群規(guī)模。龐大的節(jié)點(diǎn)數(shù)目造成節(jié)點(diǎn)故障頻發(fā),當(dāng)發(fā)生節(jié)點(diǎn)失效時(shí),需要將失效節(jié)點(diǎn)修復(fù),以維持?jǐn)?shù)據(jù)的可用性。并且,數(shù)據(jù)的修復(fù)速度應(yīng)盡可能的快,因?yàn)槿绻迯?fù)時(shí)間過(guò)長(zhǎng),修復(fù)期間有可能發(fā)生更多節(jié)點(diǎn)失效,若失效節(jié)點(diǎn)數(shù)量超過(guò)系統(tǒng)的容錯(cuò)能力,將造成數(shù)據(jù)的永久丟失。因此,數(shù)據(jù)的快速修復(fù)對(duì)于系統(tǒng)的可靠性至關(guān)重要。本文提出了一種基于局部校驗(yàn)和全局校驗(yàn)相結(jié)合的新型編碼ESRC(Efficient Single-failure Recovery Code)碼,該編碼可以高效地修復(fù)單個(gè)節(jié)點(diǎn)故障,與現(xiàn)有的常用糾刪碼相比,ESRC碼可以提高單個(gè)校驗(yàn)節(jié)點(diǎn)的修復(fù)效率,并維持較低的存儲(chǔ)開銷。
[Abstract]:In recent years, with the explosive growth of data, data storage increasingly large scale, the traditional single machine system has been unable to meet the needs of the rapid growth of data storage. The distributed storage system using a large number of cheap commercial server through the network, can provide strong service capabilities and scalability. However, with the increase of the cluster size becomes large storage device, storage node failure is not accidental. Therefore, distributed storage system reliability requirement of data is particularly prominent. Fault tolerant technology commonly used in distributed storage system has two kinds, the multi technology and erasure codes. Erasure codes with respect to multi copy technology in the premise of providing the same fault tolerance, storage overhead required, therefore has been widely used in storage systems. Erasure codes based on data cubes, calculate and redundant data storage will not occur when. Nodes over the ability of fault failure, recovery can use survival data node failure node data. So, in order to ensure the correct deployment reliability storage system delete code of the data at the same time in block updates need to check update data associated with it; at the same time, when the node storing the check failure data, fault data a quick recovery to ensure the reliability of distributed storage system is equally important. This paper mainly studies the deployment of erasure code storage system check update and repair optimization problems, the main research contents and contributions are as follows: (1) study with the growth in business scale optimization and update the verification data storage system has been unable to meet the storage capacity of the upper application often more and more high access bandwidth demand. When the application needs more than storage system load, the system need to add new storage medium to existing, and Some of the data migration to the new storage device, in order to balance the load and provide greater access bandwidth. However, data migration will cause a large number of parity updates, thus to the system caused by the additional load. Based on the calibration data expansion process update problems, proposes an optimization strategy of EPU (Efficient Parity Update Algorithm) EPU. First, according to the user request access to adjust the expansion in order to maximize the user requests to save check caused by the update of I/O EPU; secondly, through the system overhead check update of check, choose the best way of updating, and as far as possible to reduce the I/O polymerization check update overhead compared to the traditional expansion. Using the method of fixed parity update methods, the use of EPU, can reduce the expansion process caused by system bandwidth overhead, can also speed up the expansion process. (2) check failure data Recovery optimization of distributed storage system increasingly large scale, some even up to hundreds of thousands of Taiwan. The number of nodes in large scale cluster nodes caused by frequent faults, when node failure, node failure will need repair, in order to maintain the availability of data. And, according to the number of repair speed should be as fast as possible, because if the repair time is too long, during the repair may occur more node failure, if the failure tolerance of node number over the system, will cause permanent data loss. Therefore, the reliability of the data for the rapid repair of critical systems. This paper proposes a new encoding ESRC local and global parity check based on the combination of Efficient (Single-failure Recovery Code) codes, the encoding can effectively repair single node failure, compared with the existing common erasure codes, ESRC codes can improve the single check node The repair efficiency and low storage cost are maintained.

【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;領(lǐng)先的技術(shù)是應(yīng)用的保證──貴州中行存儲(chǔ)系統(tǒng)淺析[J];計(jì)算機(jī)周刊;2001年43期

2 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

3 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

4 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國(guó)計(jì)算機(jī)用戶;2005年31期

5 謝世誠(chéng);;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

6 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

7 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國(guó)有線電視;2013年08期

8 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

9 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

10 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國(guó)計(jì)算機(jī)用戶;2000年08期

相關(guān)會(huì)議論文 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國(guó)公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國(guó)氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長(zhǎng)國(guó);苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 ;第三季度中國(guó)存儲(chǔ)系統(tǒng)市場(chǎng)達(dá)19.1億元[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲(chǔ)系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲(chǔ)系統(tǒng)[N];中國(guó)稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲(chǔ)系統(tǒng)市場(chǎng)價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲(chǔ)系統(tǒng)設(shè)計(jì)院的大旗[N];中國(guó)企業(yè)報(bào);2001年

8 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲(chǔ)系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 王福偉;列存儲(chǔ)系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

2 張菁;大規(guī)模分布式糾刪碼存儲(chǔ)系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2015年

3 沈志榮;糾刪碼存儲(chǔ)系統(tǒng)性能優(yōu)化研究[D];清華大學(xué);2015年

4 黃志杰;容錯(cuò)存儲(chǔ)系統(tǒng)中的MDS陣列碼研究[D];華中科技大學(xué);2016年

5 劉進(jìn)軍;云存儲(chǔ)系統(tǒng)中基于溯源關(guān)系的文件查詢與管理方法研究[D];華中科技大學(xué);2016年

6 趙楠楠;分布式鍵值存儲(chǔ)系統(tǒng)高效能數(shù)據(jù)布局技術(shù)研究[D];華中科技大學(xué);2016年

7 宋振龍;面向超級(jí)計(jì)算的大規(guī)模并行存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

8 陸承濤;存儲(chǔ)系統(tǒng)性能管理問(wèn)題的研究[D];華中科技大學(xué);2010年

9 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

10 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲(chǔ)模塊的研究與實(shí)現(xiàn)[D];中國(guó)艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲(chǔ)系統(tǒng)存儲(chǔ)引擎設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲(chǔ)系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計(jì)云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲(chǔ)系統(tǒng)設(shè)計(jì)與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲(chǔ)環(huán)境下的混合存儲(chǔ)算法研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號(hào)：1416801