【摘要】：信息資源的爆炸性增長、云計(jì)算模式的興起與應(yīng)用,對(duì)存儲(chǔ)系統(tǒng)的存儲(chǔ)容量、數(shù)據(jù)可用性以及I/O性能等方面提出了巨大挑戰(zhàn)。構(gòu)建超大容量、高性能、高可靠性的存儲(chǔ)系統(tǒng)是學(xué)術(shù)界和工業(yè)界一直追求的目標(biāo)�，F(xiàn)代存儲(chǔ)系統(tǒng)往往由成百上千個(gè)存儲(chǔ)節(jié)點(diǎn)組成,多個(gè)存儲(chǔ)節(jié)點(diǎn)同時(shí)出現(xiàn)故障概率大大增加,會(huì)出現(xiàn)因存儲(chǔ)節(jié)點(diǎn)故障導(dǎo)致數(shù)據(jù)丟失的災(zāi)難性后果。因此,如何設(shè)計(jì)多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)方案,如何提高多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的I/O性能,已是海量存儲(chǔ)系統(tǒng)迫切需要解決的問題。 本文以如何提高海量存儲(chǔ)系統(tǒng)的可靠性和I/O性能為研究目標(biāo),對(duì)多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)和緩存組織問題進(jìn)行了探索性和創(chuàng)新性研究,主要研究內(nèi)容和創(chuàng)新性成果如下: 1、針對(duì)雙節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)問題,提出了一種高效的數(shù)據(jù)容錯(cuò)方案——水平旋轉(zhuǎn)碼HRC。HRC是一類最小列距離為3的MDS陣列碼,滿足RAID-6規(guī)范,且具有最優(yōu)的編譯碼復(fù)雜度。本文從理論上定義了HRC,證明了其糾正任意雙列刪除錯(cuò)誤的能力和MDS性質(zhì),并給出糾正雙列刪除錯(cuò)誤的快速譯碼算法。與現(xiàn)有的RAID-6實(shí)現(xiàn)方案如EVENODD和RS碼比較,HRC具有編譯碼算法簡單,實(shí)現(xiàn)復(fù)雜度低,易于軟硬件實(shí)現(xiàn)等特點(diǎn)。 2、針對(duì)三節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)問題,通過擴(kuò)展HRC提出了兩種高效的數(shù)據(jù)容錯(cuò)方案扇狀碼FSC和三星碼TSC。從幾何特性上看,FSC和TSC是在HRC基礎(chǔ)上分別增加了一列斜率為-2和斜率為1的校驗(yàn)。TSC通過優(yōu)化第三列校驗(yàn)的生成方式可以獲得比FSC更快的譯碼速度。本文從理論上證明了FSC和TSC糾正任意3列刪除錯(cuò)誤的能力,并給出了各種刪除錯(cuò)誤模式下的譯碼算法。FSC和TSC都是最小列距離為4的MDS陣列碼,編譯碼速度優(yōu)于G-EVENODD碼(r=3)和STAR碼。 3、針對(duì)多節(jié)點(diǎn)(≥4)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)容錯(cuò)問題,提出了一種高效的數(shù)據(jù)容錯(cuò)方案—垂直旋轉(zhuǎn)碼VRC。VRC采用糾刪碼的圖表示方法描述,是一種垂直陣列碼。VRC具有較高容錯(cuò)能力、參數(shù)限制少、適應(yīng)性高等特點(diǎn),基于VRC構(gòu)建的存儲(chǔ)系統(tǒng)具有負(fù)載均衡、最優(yōu)更新代價(jià)等優(yōu)點(diǎn)。本文闡述了VRC的編碼思想和構(gòu)造方法,提出了用解線性方程組方法進(jìn)行譯碼,從理論上證明了VRC能糾正任意q個(gè)節(jié)點(diǎn)刪除錯(cuò)誤。與其他能糾正任意q個(gè)存儲(chǔ)節(jié)點(diǎn)刪除錯(cuò)誤的編碼,如RS碼、LDPC碼相比,VRC具有編譯碼規(guī)則簡單,編譯碼計(jì)算開銷小等優(yōu)點(diǎn)。 4、針對(duì)多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的緩存結(jié)構(gòu)設(shè)計(jì)問題,提出了一種基于DRAM和固態(tài)硬盤的多元化存儲(chǔ)介質(zhì)緩存結(jié)構(gòu)M-Cache,以及該緩存結(jié)構(gòu)的高效組織和管理方法。在M-Cache中,根據(jù)訪問方式的不同,主機(jī)訪問數(shù)據(jù)被劃分為主機(jī)讀數(shù)據(jù)和主機(jī)寫數(shù)據(jù)。DRAM存儲(chǔ)器既存放主機(jī)讀數(shù)據(jù)又存放主機(jī)寫數(shù)據(jù),基于Flash的固態(tài)硬盤只存放主機(jī)寫數(shù)據(jù),主機(jī)寫數(shù)據(jù)在寫入DRAM存儲(chǔ)器的同時(shí)也被寫入基于Flash的固態(tài)硬盤。新的緩存結(jié)構(gòu)M-Cache充分利用了DRAM存儲(chǔ)器的快速隨機(jī)訪問特性和基于Flash的固態(tài)硬盤掉電后長久保存數(shù)據(jù)能力,提高了緩存系統(tǒng)的讀寫性能和數(shù)據(jù)的可靠性。 5、針對(duì)多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的緩存置換管理問題,提出了一種寫優(yōu)先的緩存置換管理算法WP-LRU。WP-LRU算法基于存儲(chǔ)系統(tǒng)緩存中淘汰主機(jī)寫數(shù)據(jù)塊的代價(jià)遠(yuǎn)大于淘汰主機(jī)讀數(shù)據(jù)塊的原理,根據(jù)主機(jī)訪問模式的不同將緩存中的數(shù)據(jù)塊劃分為主機(jī)讀數(shù)據(jù)塊和主機(jī)寫數(shù)據(jù)塊,對(duì)兩種不同類型的數(shù)據(jù)塊實(shí)施不同的管理策略:主機(jī)讀數(shù)據(jù)塊使用常見的LRU算法進(jìn)行管理,主機(jī)寫數(shù)據(jù)塊使用聚合寫算法進(jìn)行管理。WP-LRU算法具有良好的擴(kuò)展性,在不改變緩存命中率的情況下可降低系統(tǒng)的平均服務(wù)時(shí)間,提高系統(tǒng)整體性能。
【圖文】：

圖 2-5 HRC 輸出性能比較(兩個(gè)刪除列為信息列中隨機(jī)產(chǎn)生)2.6 本章小結(jié)本章提出了一類基于低密度校驗(yàn)矩陣的 MDS 陣列碼：HRC。該碼有比EVENODD 更低密度的校驗(yàn)矩陣，與其他 2-刪除碼相比具有兩個(gè)主要優(yōu)點(diǎn)：一個(gè)是具有最優(yōu)的存儲(chǔ)效率并滿足 RAID-6 規(guī)范，另一個(gè)是只使用異或和循環(huán)操作實(shí)現(xiàn)其編譯碼過程，具有最優(yōu)的編譯碼復(fù)雜性。從糾錯(cuò)碼角度看，本章構(gòu)建了一類能夠糾兩列錯(cuò)誤的刪除碼 HRC，下一章我們將 HRC 推廣到三列刪除恢復(fù)的情況。

圖 3-8 五種編碼的輸出性能比較(所有刪除列均為信息磁盤列中隨機(jī)產(chǎn)生)FSC 和 TSC 的編譯碼可根據(jù)前面描述的編譯碼過程用硬件或軟件可直接實(shí)現(xiàn)。我們用 C/C++實(shí)現(xiàn)了兩個(gè)編碼并將其應(yīng)用到了一個(gè)可靠的存儲(chǔ)平臺(tái)[75]上。我們用吞吐率測量其性能，并與開放實(shí)現(xiàn)的基于異或操作的 RS 編碼[69]、G-EVENODD[34,37]碼和 STAR 碼[34]進(jìn)行了比較，結(jié)果如圖 3-8。在該圖中，，每個(gè)磁盤上單個(gè)數(shù)據(jù)塊的大小為 2880 字節(jié)，數(shù)據(jù)磁盤數(shù)為 6 到 31。注意圖 3-8 只仿真了隨機(jī)三個(gè)信息磁盤列刪除的情況，對(duì)含有第三個(gè)校驗(yàn)磁盤刪除的情況同 HRC。由于每個(gè)磁盤的單個(gè)數(shù)據(jù)塊對(duì)應(yīng)編碼陣列一列并包含有 p 1個(gè)符號(hào)，因此塊大小應(yīng)為 p 1的倍數(shù)。便于公平比較，我們使用 2880 為數(shù)據(jù)塊大小，因?yàn)?2880 為指定范圍內(nèi)的大多數(shù) p 的 p 1倍數(shù)。在實(shí)際實(shí)現(xiàn)中只要給定了系統(tǒng)參數(shù) p，塊大小可以自由地選擇為任意 p 1的倍數(shù)。該結(jié)果通過在計(jì)算機(jī)上仿真實(shí)驗(yàn)得出，該計(jì)算機(jī)的配置如下：處理為 Pentium 4 1.6 GHz，內(nèi)存為 512 M，操作系統(tǒng)為 Linux Redha9.0。從圖 3-8 可以看出，F(xiàn)SC 和 TSC 的吞吐率均高于 G-EVENODD 碼和 STAR 碼大約為 RS 編碼的兩倍。與 HRC 和 EVENODD 一樣，上述四種編碼的輸出均呈鋸齒性，主要原因是在數(shù)據(jù)存儲(chǔ)磁盤個(gè)數(shù)不是質(zhì)數(shù)時(shí)使用了碼字縮短技術(shù)，即當(dāng)數(shù)
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2010
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 梓墨;;如何構(gòu)建高清監(jiān)控存儲(chǔ)系統(tǒng)[J];中國公共安全(綜合版);2011年06期

2 劉毅;;高清監(jiān)控帶給存儲(chǔ)系統(tǒng)的挑戰(zhàn)[J];中國公共安全(綜合版);2011年06期

3 武國強(qiáng);林寶軍;張善從;;基于PCI Express的閃存存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];計(jì)算機(jī)工程;2011年18期

4 劉文杰;李鳳岐;薛強(qiáng);;混合模式存儲(chǔ)系統(tǒng)在網(wǎng)絡(luò)實(shí)驗(yàn)中的應(yīng)用[J];實(shí)驗(yàn)技術(shù)與管理;2011年07期

5 楊玉糯;;高清監(jiān)控存儲(chǔ)系統(tǒng)的應(yīng)用部署[J];中國公共安全(綜合版);2011年06期

6 牛軍;張勇軍;任忠;;烏魯木齊石化MES系統(tǒng)基礎(chǔ)設(shè)施改造回顧[J];中國信息界;2011年07期

7 郭壯;;網(wǎng)絡(luò)存儲(chǔ) 方便你我 希捷發(fā)布BlackArmor和GoFlex Home兩款NAS產(chǎn)品[J];微電腦世界;2011年07期

8 梁曉東;;鄭州電視臺(tái)高清制作網(wǎng)存儲(chǔ)架構(gòu)[J];河南科技;2011年15期

9 王韋華;江獻(xiàn)軍;;門診系統(tǒng)存儲(chǔ)解決方案[J];智能建筑;2009年07期

10 馮大輝;;架構(gòu)師接龍 鄺宇恒VS.侯震宇[J];程序員;2010年10期

相關(guān)會(huì)議論文 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 朱平;朱建濤;高劍剛;蔣金虎;;高性能計(jì)算存儲(chǔ)關(guān)鍵技術(shù)研究[A];2010年第16屆全國信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

3 周博;宿紹瑩;陳曾平;;基于CPCI總線的寬帶雷達(dá)數(shù)據(jù)傳輸存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];全國第二屆信號(hào)處理與應(yīng)用學(xué)術(shù)會(huì)議�？痆C];2008年

4 周功業(yè);周江;陳希;陳進(jìn)才;;寄生存儲(chǔ)原理及實(shí)現(xiàn)機(jī)制[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

5 汪黎;章文嵩;楊學(xué)軍;;Cfslight:一個(gè)新型的輕量級(jí)對(duì)象存儲(chǔ)集群文件系統(tǒng)[A];2006年全國開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（一）[C];2006年

6 聶明;;構(gòu)建海量存儲(chǔ)系統(tǒng) 提升媒體競爭力[A];中國新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（下）[C];2008年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測”分會(huì)場論文集[C];2006年

8 劉湛明;吳柳堅(jiān);;數(shù)字電視臺(tái)的建設(shè)[A];2007第二屆全國廣播電視技術(shù)論文集2（下）[C];2007年

9 羅香玉;李傳佑;汪蕓;;糾刪碼容錯(cuò)組的布局策略研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

10 林茂;張峰;許濤;塔依爾;劉磊;;構(gòu)建石油地震勘探開發(fā)需求的PC集群存儲(chǔ)系統(tǒng)[A];第十屆全國信息技術(shù)化工應(yīng)用年會(huì)論文集[C];2005年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 宋家雨;存儲(chǔ)系統(tǒng)的彈性問題[N];網(wǎng)絡(luò)世界;2008年

2 李佳;高清視頻市場呼喚光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2010年

3 本報(bào)記者 郭平;同有飛驥自主研發(fā)統(tǒng)一存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2010年

4 ;存儲(chǔ)系統(tǒng)：SI和VAR成為廠商首選渠道[N];中國計(jì)算機(jī)報(bào);2004年

5 ;浪潮NS3550存儲(chǔ)系統(tǒng)[N];中國電子報(bào);2005年

6 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

7 ;日立 Thunder 9520V存儲(chǔ)系統(tǒng)[N];電腦商報(bào);2005年

8 劉平;淺談企業(yè)存儲(chǔ)系統(tǒng)[N];網(wǎng)絡(luò)世界;2002年

9 長風(fēng);如何購買存儲(chǔ)系統(tǒng)[N];網(wǎng)絡(luò)世界;2003年

10 ;存儲(chǔ)系統(tǒng)集成市場日趨成熟[N];人民郵電;2001年

相關(guān)博士學(xué)位論文 前10條

1 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

2 陸承濤;存儲(chǔ)系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

3 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

5 黃繼鵬;高速高可靠小型數(shù)字視頻存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國科學(xué)院研究生院（長春光學(xué)精密機(jī)械與物理研究所）;2012年

6 劉軍平;磁盤存儲(chǔ)系統(tǒng)可靠性技術(shù)研究[D];華中科技大學(xué);2011年

7 林勝;存儲(chǔ)系統(tǒng)容錯(cuò)及陣列編碼[D];南開大學(xué);2010年

8 岳銀亮;存儲(chǔ)系統(tǒng)低能耗數(shù)據(jù)布局技術(shù)研究[D];華中科技大學(xué);2010年

9 宋偉;面向事務(wù)存儲(chǔ)系統(tǒng)的容錯(cuò)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

10 曾坤;事務(wù)存儲(chǔ)系統(tǒng)：事務(wù)沖突與事務(wù)并行[D];國防科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 陸正武;面向流媒體應(yīng)用存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2004年

2 杜睿;基于IP-SAN技術(shù)的石化企業(yè)數(shù)據(jù)集中存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華東理工大學(xué);2010年

3 金強(qiáng);基于HBase的RDF存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[D];浙江大學(xué);2011年

4 余智敏;數(shù)字化圖書館的數(shù)據(jù)存儲(chǔ)技術(shù)的研究[D];武漢理工大學(xué);2006年

5 陶博舟;磁盤陣列快照系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2007年

6 張小艷;基于嵌入式技術(shù)的USB存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2011年

7 蔣亞群;基于DLX體系結(jié)構(gòu)的微處理器核的設(shè)計(jì)與實(shí)現(xiàn)[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

8 亓偉;關(guān)系數(shù)據(jù)庫存儲(chǔ)子系統(tǒng)研究與實(shí)現(xiàn)[D];清華大學(xué);2005年

9 宋迎迎;數(shù)字館藏評(píng)價(jià)指標(biāo)體系研究[D];鄭州大學(xué);2006年

10 袁曉銘;磁盤陣列系統(tǒng)的快照技術(shù)研究[D];華中科技大學(xué);2007年

本文編號(hào)：2588954