本文選題：RAID + 糾刪碼��； 參考：《北京理工大學》2015年博士論文

【摘要】：在現(xiàn)代RAID系統(tǒng)中,可靠性和性能是最重要的兩個方面。在存儲介質(zhì)中利用糾刪碼可以提高可靠性。多年來研究人員嘗試利用單奇偶校驗、鏡像、最大距離可分碼等不同方案來容錯和備災(zāi)。但最新理論表明,隨著新技術(shù)的應(yīng)用和新理論的發(fā)展,這些技術(shù)不能很好得應(yīng)對新問題。目前,研究人員著手利用條帶寫數(shù)據(jù)時的糾刪碼技術(shù)方案提高存儲可靠性。本文的研究成果是在RAID存儲系統(tǒng)中提高了錯誤數(shù)據(jù)的恢復效率和概率。論文的第一部分,分析了RAID6的工作機制、奇偶校驗碼寫入機制、以及數(shù)據(jù)和校驗碼更新機制。同時這一部分引出了一種新方案,利用雙糾刪碼來解決錯誤數(shù)據(jù)恢復問題。在實現(xiàn)這一方案的過程中,我們發(fā)現(xiàn)現(xiàn)有的很多技術(shù)方法不能很好的處理大規(guī)模數(shù)據(jù)存儲系統(tǒng),比如只能處理單一磁盤的錯誤。文中提出的新方法可以在一定程度上克服上述弊端,利用雙糾刪碼在校驗盤的基礎(chǔ)上恢復數(shù)據(jù)。論文的第二部分,研究了RAID中單個磁盤的數(shù)據(jù)分布機制,即數(shù)據(jù)條帶化。所謂條帶化,是指將數(shù)據(jù)分塊,并將這些數(shù)據(jù)塊均衡分布到存儲系統(tǒng)的不同磁盤的不同區(qū)域。條帶數(shù)據(jù)塊大小是一個重要參數(shù),會極大影響各個磁盤的讀寫性能。隨著磁盤技術(shù)的發(fā)展,以及IO優(yōu)化技術(shù)的出現(xiàn),有必要進一步分析研究這些變化給條帶化帶來的新影響。文中對此做了闡述。第三部分,描述了RAID6系統(tǒng)中發(fā)生數(shù)據(jù)錯誤時的恢復方法。RAID6具有高容錯性,但恢復效率差,每一校驗集都需獨立計算,尤其影響寫效率。當存儲系統(tǒng)中的某一數(shù)據(jù)出錯時,整個容錯陣列都會受到很大影響。為此,我們設(shè)計了多種方法在數(shù)據(jù)重建過程中消除錯誤數(shù)據(jù)影響。最后,我們使用糾刪碼來分析和優(yōu)化RAID6中的分塊,并采用XOR技術(shù)恢復失敗或崩潰的數(shù)據(jù),減少使用陣列資源來降低重建的不利因素。在這個RAID級別,我們使用2個奇偶校驗設(shè)備和校驗技術(shù)構(gòu)造擴展陣列,以容許任何一個或兩個存儲設(shè)備故障。在此過程中新舊兩種都要應(yīng)用于校驗數(shù)據(jù)的計算中。在更新存儲系統(tǒng)中,會實施6步操作(讀數(shù)據(jù)、寫數(shù)據(jù)、讀寫兩個校驗盤),由此可以應(yīng)對數(shù)據(jù)災(zāi)害。論文的主要貢獻為:1、分析了雙糾刪碼技術(shù),并驗證了其在RAID中數(shù)據(jù)容錯應(yīng)用的有效性。2、改善了RAID中利用兩塊校驗盤進行小寫的性能。3、基于XOR技術(shù)優(yōu)化了利用糾刪碼在RAID中恢復數(shù)據(jù)的方案。
[Abstract]:In modern raid systems, reliability and performance are the two most important aspects. Using erasure codes in storage media can improve reliability. Over the years, researchers have tried to use single parity check, mirror image, maximum distance divisible code and other different schemes to fault tolerance and disaster preparedness. But the latest theory shows that with the application of new technology and the development of new theory, these technologies can not deal with new problems well. At present, researchers are using erasure code to improve storage reliability. The research result of this paper is to improve the recovery efficiency and probability of error data in raid storage system. In the first part of this paper, the working mechanism of RAID6, the parity code writing mechanism, and the updating mechanism of data and check codes are analyzed. At the same time, this part introduces a new scheme, using double erasure code to solve the problem of error data recovery. In the process of implementing this scheme, we find that many existing technical methods can not deal with large scale data storage system well, for example, we can only handle single disk errors. The new method proposed in this paper can overcome the above disadvantages to a certain extent and use double erasure codes to recover the data on the basis of the check disk. In the second part of this paper, we study the data distribution mechanism of single disk in raid, that is, data striping. Striping refers to dividing the data into blocks and distributing them evenly across different disks of the storage system. Strip data block size is an important parameter, which greatly affects the read and write performance of each disk. With the development of disk technology and the emergence of IO optimization technology, it is necessary to further analyze and study the new effects of these changes on striping. This article has made the elaboration to this. In the third part, we describe the recovery method of RAID6 system when data error occurs. RAID6 has high fault tolerance, but the recovery efficiency is poor, each check set needs to be calculated independently, especially affecting the write efficiency. When a data in the storage system goes wrong, the whole fault-tolerant array will be greatly affected. Therefore, we design a variety of methods to eliminate the impact of error data in the process of data reconstruction. Finally, we use erasure codes to analyze and optimize blocks in RAID6, and use XOR technology to restore data that fail or crash, reducing the use of array resources to reduce the adverse factors of reconstruction. At this raid level, we use two parity devices and check techniques to construct an extended array to allow any or both storage devices to fail. In this process, both the new and the old should be applied to the calculation of the calibration data. In the update storage system, six steps will be implemented (read data, write data, read and write two checkboxes), which can deal with data disaster. The main contribution of this paper is to analyze the technology of double erasure code. The validity of the data fault-tolerant application in raid is verified, and the performance of using two check disks in raid for lowercase is improved. Based on XOR technology, the scheme of recovering data in raid by erasure code is optimized.
【學位授予單位】：北京理工大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP333.35

【共引文獻】

相關(guān)期刊論文 前10條

1 孫志卓;李元章;左偉歡;萬軍;何翔;譚毓安;;LSF:一種面向S-RAID 5的能量管理算法[J];北京理工大學學報;2014年02期

2 李俊濤;周其力;;基于改進分組遺傳算法的虛擬機初始化放置算法[J];電子科技;2015年06期

3 鐘瀟柔;翟健宏;;基于動態(tài)遺傳算法的云計算任務(wù)節(jié)能調(diào)度策略研究[J];智能計算機與應(yīng)用;2015年03期

4 葉可江;吳朝暉;姜曉紅;何欽銘;;虛擬化云計算平臺的能耗管理[J];計算機學報;2012年06期

5 劉永;王新華;王朕;隋敬麒;;節(jié)能及信任驅(qū)動的虛擬機資源調(diào)度[J];計算機應(yīng)用研究;2012年07期

6 廖彬;于炯;孫華;年梅;;基于存儲結(jié)構(gòu)重配置的分布式存儲系統(tǒng)節(jié)能算法[J];計算機研究與發(fā)展;2013年01期

7 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計算機學報;2013年05期

8 曾凱;佘X;敬思遠;;云環(huán)境下基于功耗感知的虛擬機博弈遷移算法[J];計算機應(yīng)用研究;2013年06期

9 王加昌;曾輝;何騰蛟;張娜;;面向數(shù)據(jù)中心的虛擬機部署及優(yōu)化算法[J];計算機應(yīng)用;2013年10期

10 Claudia Canali;Riccardo Lancellotti;;Improving Scalability of Cloud Monitoring Through PCA-Based Clustering of Virtual Machines[J];Journal of Computer Science & Technology;2014年01期

相關(guān)博士學位論文 前9條

1 胡晗;大規(guī)模網(wǎng)絡(luò)服務(wù)系統(tǒng)能耗控制與性能優(yōu)化[D];中國科學技術(shù)大學;2012年

2 張小慶;基于云計算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學;2013年

3 劉志飄;成本感知的云服務(wù)虛擬資源供應(yīng)機制研究[D];北京郵電大學;2013年

4 敬思遠;面向綠色虛擬數(shù)據(jù)中心資源管理的若干關(guān)鍵技術(shù)研究[D];電子科技大學;2013年

5 樊沛;虛擬計算環(huán)境中面向通信特征的應(yīng)用部署優(yōu)化技術(shù)研究[D];國防科學技術(shù)大學;2012年

6 龍賽琴;云存儲系統(tǒng)中的數(shù)據(jù)布局策略研究[D];華南理工大學;2014年

7 徐昕;基于博弈論的云計算資源調(diào)度方法研究[D];華東理工大學;2015年

8 張樹本;云計算數(shù)據(jù)中心的能耗成本建模與優(yōu)化研究[D];中國科學技術(shù)大學;2015年

9 郭力爭;云計算環(huán)境下資源部署與任務(wù)調(diào)度研究[D];東華大學;2015年

相關(guān)碩士學位論文 前10條

1 湯慧明;面向任務(wù)調(diào)度的集群功耗管理[D];國防科學技術(shù)大學;2010年

2 劉永;云計算環(huán)境下虛擬機資源調(diào)度策略研究[D];山東師范大學;2012年

3 陳靜怡;云環(huán)境下基于內(nèi)存共享的服務(wù)器整合算法研究[D];復旦大學;2012年

4 謝文靜;云計算環(huán)境下虛擬機資源分配優(yōu)化方法研究[D];湖南大學;2011年

5 王文婷;云環(huán)境下多約束動態(tài)虛擬資源管理研究[D];上海交通大學;2013年

6 訾晨楊;虛擬化數(shù)據(jù)中心能耗管理自適應(yīng)系統(tǒng)的設(shè)計[D];上海交通大學;2013年

7 劉培松;云計算環(huán)境下任務(wù)調(diào)度和資源分配策略的研究[D];華東師范大學;2013年

8 張飛飛;云環(huán)境中基于Map/Reduce的虛擬機調(diào)度策略研究[D];西安電子科技大學;2013年

9 彭近堯;基于能效的數(shù)據(jù)中心資源整合機制[D];電子科技大學;2013年

10 武靜;云計算平臺調(diào)度管理技術(shù)研究與實現(xiàn)[D];電子科技大學;2013年

，

本文編號：1998620