【摘要】：針對(duì)海量數(shù)據(jù)存儲(chǔ)容災(zāi)系統(tǒng)中對(duì)擴(kuò)展性、可靠性及高效性方面的需求,提出了一種高容災(zāi)可擴(kuò)展且能夠高概率譯碼恢復(fù)的高效大數(shù)據(jù)存儲(chǔ)容災(zāi)算法。該算法利用等行重稀疏隨機(jī)矩陣高概率行滿秩的性質(zhì),用來(lái)實(shí)現(xiàn)數(shù)據(jù)高效可靠的存儲(chǔ)容災(zāi)。首先,根據(jù)存儲(chǔ)系統(tǒng)規(guī)模及容災(zāi)需求設(shè)置相應(yīng)的編碼參數(shù);然后,采用等行重稀疏隨機(jī)矩陣構(gòu)造校驗(yàn)矩陣,并且產(chǎn)生相應(yīng)的生成矩陣;最后,將數(shù)據(jù)文件分塊編碼到n個(gè)存儲(chǔ)節(jié)點(diǎn)上,實(shí)現(xiàn)不同規(guī)模、不同容災(zāi)需求下的數(shù)據(jù)容災(zāi)存儲(chǔ),并通過(guò)設(shè)置合理的隨機(jī)冗余,從而實(shí)現(xiàn)對(duì)譯碼成功率的控制。實(shí)驗(yàn)和理論分析表明:算法所提存儲(chǔ)容災(zāi)技術(shù)可實(shí)現(xiàn)容災(zāi)能力不受素?cái)?shù)或有限域大小的限制,而是根據(jù)存儲(chǔ)規(guī)模及容災(zāi)需求靈活擴(kuò)展;基于合理的隨機(jī)冗余,譯碼成功率趨于1,實(shí)現(xiàn)了高可靠的數(shù)據(jù)容災(zāi)存儲(chǔ);在較大規(guī)模存儲(chǔ)系統(tǒng)中,算法編譯碼速率是相應(yīng)經(jīng)典RS和CRS編碼方案的2倍以上,并在較大碼長(zhǎng)下具有近似最大距離可分(MDS)的性質(zhì),可達(dá)到近似最優(yōu)的存儲(chǔ)空間利用率。
【圖文】：

大數(shù)據(jù)時(shí)代高效、易擴(kuò)展存儲(chǔ)系統(tǒng)的需求，本文提出了稀疏隨機(jī)糾刪碼（ＳＲＥＣ），這是一種概率性糾刪碼存儲(chǔ)容災(zāi)技術(shù)，其編碼參數(shù)不受素?cái)?shù)或有限域大小限制可靈活設(shè)置，具有較高的容災(zāi)擴(kuò)展性能；采用等行重稀疏隨機(jī)矩陣作為校驗(yàn)矩陣，具有較高的計(jì)算效率；在較大碼長(zhǎng)下能夠達(dá)到近似的ＭＤＳ性質(zhì)，從而具有較高的存儲(chǔ)空間利用率，非常適用于當(dāng)前大規(guī)模存儲(chǔ)容災(zāi)系統(tǒng)。１系統(tǒng)模型當(dāng)前的大規(guī)模存儲(chǔ)系統(tǒng)可抽象為由無(wú)數(shù)個(gè)存儲(chǔ)節(jié)點(diǎn)構(gòu)成的整體，每個(gè)節(jié)點(diǎn)均相互獨(dú)立，而待存文件則可抽象為一個(gè)數(shù)據(jù)塊，存儲(chǔ)系統(tǒng)模型如圖１所示。該系統(tǒng)由ｎ個(gè)存儲(chǔ)節(jié)點(diǎn)構(gòu)成，每個(gè)存儲(chǔ)節(jié)點(diǎn)可以是一個(gè)磁盤(pán)或ＲＡＩＤ陣列，數(shù)據(jù)文件Ａ首先被分為ｋ個(gè)大小相同的數(shù)據(jù)塊，隨后通過(guò)編碼產(chǎn)生ｍ個(gè)冗余數(shù)據(jù)塊，最后將這ｋ＋ｍ個(gè)數(shù)據(jù)塊存放在ｎ個(gè)存儲(chǔ)節(jié)點(diǎn)上，從而實(shí)現(xiàn)任意ｔ個(gè)存儲(chǔ)節(jié)點(diǎn)的失效，可利用剩余的ｎ－ｔ個(gè)節(jié)點(diǎn)高概率恢復(fù)出原來(lái)ｔ個(gè)節(jié)點(diǎn)的數(shù)據(jù)。圖１存儲(chǔ)系統(tǒng)模型稀疏隨機(jī)糾刪碼的編碼參數(shù)不再受到素?cái)?shù)或有限域大小的限制，因此其容災(zāi)能力也可以自由設(shè)置，從而達(dá)到更高的容災(zāi)性能，而存儲(chǔ)系統(tǒng)中隨機(jī)冗余的節(jié)點(diǎn)數(shù)δ是保證稀疏隨機(jī)糾刪碼能夠高概率譯碼的一個(gè)關(guān)鍵因素。此外，，由于采用特殊稀疏隨機(jī)矩陣作為校驗(yàn)矩陣，稀疏隨機(jī)糾刪碼在譯碼效率上有了較大的提升，這為頻繁發(fā)生的譯碼恢復(fù)提供了效率保障。本文所提稀疏隨機(jī)糾刪碼利用特殊稀疏隨機(jī)矩陣的性質(zhì)，其定義和相關(guān)性質(zhì)如下。定義有限域ＧＦ（２）上的矩陣Ｒｔ×ｍ，ｍ＞ｔ＞０，若其中的各個(gè)元素取值相互獨(dú)立，且滿足分布規(guī)律Ｑ｛ｅｉｊ＝ｑ｝＝ｐ，ｑ＝１１－ｐ，ｑ＝｛０，ｐ∈（０

上和數(shù)據(jù)的容災(zāi)恢復(fù)上，即存儲(chǔ)系統(tǒng)的譯碼成功率上，根據(jù)稀疏隨機(jī)糾刪碼的譯碼算法，可知譯碼成功率取決于等行重稀疏隨機(jī)子矩陣行滿秩的概率，因此可通過(guò)實(shí)驗(yàn)分析等行重稀疏隨機(jī)矩陣行滿秩的概率來(lái)增強(qiáng)對(duì)稀疏隨機(jī)糾刪碼可靠性的認(rèn)識(shí)。首先討論ｔ×ｍ等行重稀疏隨機(jī)矩陣Ｒｔ×ｍ行重對(duì)行滿秩概率的影響。選�。恚剑常玻叮�，１２８，２５６，５１２｝，ｔ＝ｍ－δ，隨機(jī)冗余δ＝２０，行重ｄ＝１～１５（間隔１），測(cè)試對(duì)應(yīng)稀疏隨機(jī)矩陣Ｒｔ×ｍ行滿秩的情況，結(jié)果如圖２所示。由圖２可知，隨著行重的增加，等行重稀疏隨機(jī)矩陣行滿秩的概率不斷增加，當(dāng)ｄ≥ｌｂｍ時(shí)，相應(yīng)等行重稀疏隨機(jī)矩陣行滿秩的概率幾乎等于１，同時(shí)稀疏隨機(jī)糾刪碼的譯碼成功率也趨于１，從而保證了存儲(chǔ)容災(zāi)系統(tǒng)譯碼恢復(fù)的高可靠性。因此，為了即保持較高的譯碼成功率，又保持較高的譯碼速率，即較低的稀疏度，一般選取略大于ｌｂｍ的行重。圖２行重對(duì)矩陣行滿秩的影響此外，行重ｄ的奇偶性對(duì)等行重稀疏隨機(jī)方陣Ｒｔ×ｔ的滿秩概率有著重要的影響。選�。簦剑常玻叮�，１２８，２５６，５１２｝，行重ｄ＝１～１５（間隔１）構(gòu)造等行重稀疏隨機(jī)方陣Ｒｔ×ｔ，編譯碼速率比較如圖３所示。由圖３可知，稀疏隨機(jī)方陣Ｒｔ×ｔ在行重ｄ為奇數(shù)且ｄ≥ｌｂｍ時(shí)，Ｒｔ×ｔ滿秩的概率較高，約為０．２８９，而當(dāng)行重ｄ為偶數(shù)時(shí)，稀疏隨機(jī)方陣Ｒｔ×ｔ滿秩的概率則５１

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 龔艷;張世錢(qián);;用Oracle 9i dataguard構(gòu)建系統(tǒng)容災(zāi)[J];計(jì)算機(jī)應(yīng)用與軟件;2006年10期

2 吳曉波;;容災(zāi)技術(shù)在圖書(shū)館中的應(yīng)用研究[J];江西圖書(shū)館學(xué)刊;2008年02期

3 郭燕平;;淺析遠(yuǎn)程容災(zāi)技術(shù)[J];科技資訊;2008年19期

4 王樹(shù)鵬,云曉春,余翔湛,胡銘曾;容災(zāi)的理論與關(guān)鍵技術(shù)分析[J];計(jì)算機(jī)工程與應(yīng)用;2004年28期

5 黃瑜華;周彬;;容災(zāi)技術(shù)在軍事航天指控中心設(shè)計(jì)中的應(yīng)用[J];測(cè)控技術(shù);2007年06期

6 沈權(quán);周崎;;安徽移動(dòng):云存儲(chǔ)下的容災(zāi)建設(shè)[J];軟件和信息服務(wù);2011年04期

7 楊曉紅,李健,楊衛(wèi)國(guó);信息系統(tǒng)容災(zāi)技術(shù)的分析與研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2005年10期

8 顏軍;;為數(shù)據(jù)投�！轂�(zāi)技術(shù)的分析[J];每周電腦報(bào);2001年57期

9 王錦;董華;;一種基于主機(jī)系統(tǒng)的容災(zāi)設(shè)計(jì)方案[J];沈陽(yáng)大學(xué)學(xué)報(bào);2006年04期

10 劉曉鵬;郭桂榮;許滸;;容災(zāi)關(guān)鍵技術(shù)分析及方案設(shè)計(jì)[J];科技資訊;2006年25期

相關(guān)會(huì)議論文 前2條

1 孫英銳;;容災(zāi)技術(shù)及應(yīng)用思考[A];信息技術(shù)在氣象領(lǐng)域的開(kāi)發(fā)應(yīng)用論文集（二）[C];2006年

2 宋文功;蔣新華;;高校數(shù)據(jù)中心容災(zāi)技術(shù)的探討[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十二次學(xué)術(shù)年會(huì)論文集[C];2014年

相關(guān)重要報(bào)紙文章 前6條

1 本報(bào)記者 郭濤;容災(zāi)設(shè)計(jì)要與時(shí)俱進(jìn)[N];中國(guó)計(jì)算機(jī)報(bào);2004年

2 朗飛;實(shí)現(xiàn)第七級(jí)容災(zāi)[N];中國(guó)計(jì)算機(jī)報(bào);2007年

3 中國(guó)計(jì)算機(jī)學(xué)會(huì)信息存儲(chǔ)技術(shù)專業(yè)委員會(huì)秘書(shū)長(zhǎng) 方糧;容災(zāi)是一門(mén)必修課[N];中國(guó)計(jì)算機(jī)報(bào);2007年

4 BizCON公司;中小企業(yè)容災(zāi)新思維[N];中國(guó)計(jì)算機(jī)報(bào);2007年

5 中國(guó)民航飛行學(xué)院計(jì)算機(jī)學(xué)院 副教授 陳華英;新技術(shù)推動(dòng)容災(zāi)進(jìn)程[N];中國(guó)計(jì)算機(jī)報(bào);2007年

6 博科公司高級(jí)技術(shù)顧問(wèn) 劉勁春;同城容災(zāi)重在異構(gòu)平臺(tái)整合[N];中國(guó)計(jì)算機(jī)報(bào);2007年

相關(guān)碩士學(xué)位論文 前6條

1 劉澤國(guó);基于分級(jí)存儲(chǔ)管理的數(shù)字業(yè)務(wù)容災(zāi)規(guī)劃研究[D];長(zhǎng)安大學(xué);2011年

2 王媛媛;容災(zāi)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2006年

3 王德軍;容災(zāi)技術(shù)研究[D];武漢大學(xué);2004年

4 董華;一種基于主機(jī)系統(tǒng)的零數(shù)據(jù)丟失的金融容災(zāi)設(shè)計(jì)方案[D];吉林大學(xué);2006年

5 劉榮峰;對(duì)遠(yuǎn)程集群實(shí)現(xiàn)業(yè)務(wù)級(jí)容災(zāi)的研究[D];重慶大學(xué);2007年

6 董龍;基于SAN的容災(zāi)方案的研究與設(shè)計(jì)[D];西安電子科技大學(xué);2006年

本文編號(hào)：2556934