本文關鍵詞：基于輪轉部署的RAID6存儲系統(tǒng)擴容問題研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：近些年來,隨著云計算、大數(shù)據(jù)等技術與概念的廣泛興起與發(fā)展,用戶數(shù)據(jù)和新型應用以爆炸式的速度增長。這就給作為其基礎設施的存儲系統(tǒng)提出了越來越高的要求,其中包括數(shù)據(jù)的可靠性、I/O性能以及存儲能力等。為了應對存儲系統(tǒng)內部單磁盤可能在性能上帶來的瓶頸,RAID技術被廣泛地應用到各種實際的存儲系統(tǒng)中去。 但是,隨著需求的不斷增加,一些存儲系統(tǒng)將遇到存儲空間不足的問題,這導致對原有系統(tǒng)的存儲容量進行擴容。為了滿足當前主流24小時無間斷服務的需要,當今的系統(tǒng)擴容都要求在在線的場景下進行。在此前提下,傳統(tǒng)的做法是基于輪叫調度的擴容方案。雖然該方案能夠使得擴容后的系統(tǒng)訪問性能達到最優(yōu),但是在擴容過程中幾乎要遷移所有的數(shù)據(jù)。由此帶來的大量數(shù)據(jù)遷移,將會對系統(tǒng)的訪問性能帶來影響并降低用戶體驗。所以為了減少擴容時遷移的數(shù)據(jù)量,人們提出了基于最小數(shù)據(jù)遷移量的新型擴容方案。 本文聚焦的是RAID存儲系統(tǒng)的擴容問題,現(xiàn)有的RAID6存儲系統(tǒng)的新型擴容算法都是基于最小數(shù)據(jù)遷移量來設計的,并且假定校驗塊部署在特定的2塊磁盤上。然而實際部署RAID6存儲系統(tǒng)時,為了均衡校驗盤負載,通常采用輪轉的方式將所有的校驗塊均勻地部署在所有磁盤中。而原有的擴容方案只考慮了數(shù)據(jù)塊的遷移而沒有考慮校驗塊的遷移,這就會導致在擴容后的系統(tǒng)中校驗塊的負載不均衡。 針對校驗塊為輪轉部署的RAID6存儲系統(tǒng),本文就最常用的糾刪碼RDP編碼與EVENODD編碼,提出了一種新型的擴容方案RSR。 RSR在滿足數(shù)據(jù)最小遷移量的基礎上,通過多條帶間邏輯拼接的方式,使得系統(tǒng)在擴容后數(shù)據(jù)塊與校驗塊均衡地部署在所有磁盤上。RSR還通過引入Piggyback技術減少了擴容后更新校驗塊所帶來的開銷。 本文采用廣泛接受的磁盤模擬器DiskSim對RDP編碼和EVENODD編碼分別進行模擬實驗。為了比較不同擴容方案的性能,本文選取RSR、 RS6、 RR4、RR5這4種擴容方案,并對其擴容時間和擴容后的訪問性能進行對比模擬實驗。對于RDP編碼,實驗從6個磁盤擴容到18個磁盤,分4次分別增加2、4、2、4個磁盤。模擬實驗結果表明,RSR在總體擴容時間上對比RR4和RR5減少了53.45%～76.75%,對比RS6減少了-0.74%～6.89%。RSR在寫主導的訪問記錄Finiciall下,在擴容后平均訪問時間上對比RR5增加了0.76%～15.92%,而RR4、RS6由于校驗塊不均衡的原因無法得出有效的平均訪問時間。對于EVENODD編碼,RSR在對比模擬實驗中有著相似的表現(xiàn)。所以RSR在多種算法中具有較低的擴容開銷,并在擴容后的系統(tǒng)訪問性能上接近最優(yōu)。
【關鍵詞】：RAID6 數(shù)據(jù)遷移 擴容 輪轉部署 糾刪碼
【學位授予單位】：中國科學技術大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要5-7
• Abstract7-9
• 目錄9-12
• 圖目錄12-13
• 第1章 緒論13-21
• 1.1 研究背景13-16
• 1.1.1 海量數(shù)據(jù)的機遇與挑戰(zhàn)13-14
• 1.1.2 容錯的意義14
• 1.1.3 RAID存儲系統(tǒng)14-16
• 1.2 RAID擴容技術國內外研究現(xiàn)狀16-19
• 1.3 本文工作19
• 1.4 本文組織結構19-21
• 第2章 RAID6擴容問題與相關技術21-31
• 2.1 RAID6容錯機制21-22
• 2.2 糾刪碼22-24
• 2.2.1 RDP編碼23-24
• 2.2.2 EVENODD編碼24
• 2.3 輪轉部署機制24-25
• 2.4 RAID6擴容技術25-29
• 2.4.1 基于輪叫調度擴容方案25-26
• 2.4.2 基于邏輯拼接空閑塊擴容方案26-27
• 2.4.3 基于多條帶之間拼接擴容方案27-28
• 2.4.4 Piggyback技術28-29
• 2.5 本章小結29-31
• 第3章 基于校驗塊輪轉部署的RDP編碼擴容算法31-49
• 3.1 不同條帶間的拼接過程31-32
• 3.2 校驗塊的遷移與均衡32-33
• 3.3 條帶內的數(shù)據(jù)遷移33-34
• 3.4 算法形式化介紹34-37
• 3.4.1 多條帶之間拼接的形式化介紹34-35
• 3.4.2 條帶內數(shù)據(jù)遷移塊遷移的形式化介紹35-37
• 3.5 算法的理論分析37-39
• 3.5.1 校驗塊均衡與最小遷移量分析37
• 3.5.2 數(shù)據(jù)塊均衡與最小遷移量分析37-38
• 3.5.3 快速尋址分析38
• 3.5.4 RSR優(yōu)勢分析38-39
• 3.6 算法的尋址過程39-44
• 3.6.1 尋址函數(shù)39-42
• 3.6.2 映射舊磁盤塊42-43
• 3.6.3 映射新磁盤塊43-44
• 3.7 基于DiskSim模擬實驗與分析44-48
• 3.7.1 實驗設置與評估方法44-45
• 3.7.2 擴容時間評估45
• 3.7.3 訪問性能評估45-47
• 3.7.4 實驗結果分析47-48
• 3.8 本章小結48-49
• 第4章 基于校驗塊輪轉部署的EVENODD編碼擴容算法49-55
• 4.1 算法形式化介紹49-50
• 4.1.1 多條帶之間拼接的形式化介紹49-50
• 4.1.2 條帶內數(shù)據(jù)遷移塊遷移的形式化介紹50
• 4.2 算法理論分析50-51
• 4.3 基于DiskSim模擬實驗與分析51-54
• 4.3.1 實驗設置與評估方法51
• 4.3.2 擴容時間評估51-52
• 4.3.3 訪問性能評估52-54
• 4.3.4 實驗結果分析54
• 4.4 本章小結54-55
• 第5章 總結與展望55-57
• 5.1 本文工作總結55-56
• 5.2 工作展望56-57
• 參考文獻57-61
• 致謝61-63
• 在讀期間發(fā)表的學術論文與取得的其他研究成果63

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲探索[J];鞍山師范學院學報;2013年04期

2 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設計[J];電信科學;2013年12期

3 馬飛;;多云工作流優(yōu)化傳輸費用的數(shù)據(jù)布局策略[J];電腦知識與技術;2014年10期

4 劉鵬曦;許王燕;;一種冗余地理數(shù)據(jù)存儲系統(tǒng)[J];大眾科技;2014年01期

5 呂曉霞;王儷璇;張燕;;元數(shù)據(jù)和數(shù)據(jù)分離的安全云存儲體系結構的設計[J];計算機安全;2014年04期

6 楊關建;華澤璽;楊彬;;Hadoop平臺在智能變電站中的應用研究[J];電源技術應用;2014年03期

7 馮玉龍;;基于星上自適應FEC的衛(wèi)星數(shù)據(jù)分發(fā)[J];電訊技術;2014年06期

8 劉琪;王小正;王磊;;基于本體的教育資源語義檢索關鍵技術研究[J];電腦知識與技術;2014年16期

9 雷德龍;郭殿升;陳崇成;巫建偉;吳小竹;;基于MongoDB的矢量空間數(shù)據(jù)云存儲與處理系統(tǒng)[J];地球信息科學學報;2014年04期

10 費賢舉;王樹鋒;王文;;一種海量大數(shù)據(jù)云存儲系統(tǒng)框架設計[J];常州工學院學報;2014年03期

中國重要會議論文全文數(shù)據(jù)庫 前5條

1 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

2 徐子偉;張陳斌;陳宗海;;大數(shù)據(jù)技術概述[A];系統(tǒng)仿真技術及其應用學術論文集（第15卷）[C];2014年

3 汪中琳;喬自知;郭景贊;;移動運維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構[A];2014全國無線及移動通信學術大會論文集[C];2014年

4 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

5 龔琪慧;劉偉;李坤;游攀利;;基于大數(shù)據(jù)的水利數(shù)據(jù)中心建設[A];大數(shù)據(jù)時代的信息化建設——2015（第三屆）中國水利信息化與數(shù)字水利技術論壇論文集[C];2015年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 孫茂華;安全多方計算及其應用研究[D];北京郵電大學;2013年

2 張帆;認知可重構的高效能Web服務體系結構研究[D];解放軍信息工程大學;2013年

3 胡德鵬;基于農業(yè)本體問句分析的問答系統(tǒng)研究與架構設計[D];中國農業(yè)科學院;2013年

4 王金寶;云計算系統(tǒng)中索引與查詢處理技術研究[D];哈爾濱工業(yè)大學;2013年

5 韓晶;大數(shù)據(jù)服務若干關鍵技術研究[D];北京郵電大學;2013年

6 董超;基于網(wǎng)絡流量監(jiān)測的移動互聯(lián)網(wǎng)特征研究[D];北京郵電大學;2013年

7 譚鵬許;云計算環(huán)境下安全分布式存儲架構與容錯技術研究[D];解放軍信息工程大學;2013年

8 黃震;大規(guī)模分布式存儲系統(tǒng)中數(shù)據(jù)冗余技術研究[D];國防科學技術大學;2012年

9 伍江江;面向服務應急響應的數(shù)據(jù)保護關鍵技術研究[D];國防科學技術大學;2012年

10 姜春茂;基于移動P2P的分布式存儲和傳輸機制研究[D];哈爾濱工程大學;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 李東升;基于Chord環(huán)的MongoDB數(shù)據(jù)均衡系統(tǒng)設計與實現(xiàn)[D];重慶大學;2013年

2 陳席林;分布式持久化緩存系統(tǒng)的研究與實現(xiàn)[D];重慶大學;2013年

3 陳貞;HDFS環(huán)境下的訪問控制技術研究[D];重慶大學;2013年

4 郭峰;基于云計算的虛擬化技術在高校教學服務中的應用研究[D];北京工業(yè)大學;2013年

5 張丹;HDFS中文件存儲優(yōu)化的相關技術研究[D];南京師范大學;2013年

6 杜超利;時空要素驅動的事件網(wǎng)頁信息檢索方法研究[D];南京師范大學;2013年

7 謝長波;基于Hadoop遙感影像存儲與管理系統(tǒng)的設計與實現(xiàn)[D];昆明理工大學;2013年

8 向宇;基于云計算的管理信息系統(tǒng)的訪問控制研究[D];重慶大學;2013年

9 賈玉輝;面向語音交互的云計算系統(tǒng)的研究[D];中國海洋大學;2013年

10 范晨熙;基于Hadoop的搜索引擎的研究與應用[D];浙江理工大學;2013年

  本文關鍵詞：基于輪轉部署的RAID6存儲系統(tǒng)擴容問題研究，由筆耕文化傳播整理發(fā)布。

本文編號：286139