本文關(guān)鍵詞：數(shù)字噴泉碼及分布式文件備份技術(shù)研究

  更多相關(guān)文章： LT碼 分布式文件備份 HDFS 動(dòng)態(tài)副本 云存儲(chǔ)

【摘要】：在大數(shù)據(jù)時(shí)代,全球產(chǎn)生的數(shù)據(jù)量增長(zhǎng)速度跟摩爾定理相當(dāng),大約每?jī)赡攴环�。�?shù)據(jù)作為日漸重要的新型資產(chǎn),吸引了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。分布式文件系統(tǒng),是存儲(chǔ)行業(yè)技術(shù)和服務(wù)的一個(gè)重要?jiǎng)?chuàng)新和變革,它滿足了眾多用戶對(duì)存儲(chǔ)的低價(jià)、海量、安全和穩(wěn)定的要求,讓跨越時(shí)空的不同客戶、不同應(yīng)用、不同屏幕實(shí)現(xiàn)無縫信息分享和服務(wù)互動(dòng)體驗(yàn)。LT碼是第一種實(shí)用的數(shù)字噴泉碼,其編譯碼算法非常簡(jiǎn)單,且編譯碼算法時(shí)間復(fù)雜度較低,將其運(yùn)用在分布式文件備份系統(tǒng)中能夠降低系統(tǒng)存儲(chǔ)容量,但直接運(yùn)用該方法會(huì)降低數(shù)據(jù)訪問性能。在眾多分布式文件系統(tǒng)中,因?yàn)镠DFS部署在大量商用PC機(jī)上,具有高可靠性、可擴(kuò)展性和廉價(jià)成本等優(yōu)勢(shì),但HDFS的多副本策略給存儲(chǔ)系統(tǒng)擴(kuò)展造成了瓶頸。本文將LT碼與HDFS備份優(yōu)點(diǎn)結(jié)合起來,提出基于LT碼的HDFS動(dòng)態(tài)副本存儲(chǔ)策略,并從理論上驗(yàn)證動(dòng)態(tài)副本存儲(chǔ)策略的可靠性,最后在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)基于LT碼的HDFS云存儲(chǔ)系統(tǒng)。本論文的主要工作及貢獻(xiàn)包括以下幾個(gè)方面:1.研究LT碼的相關(guān)原理,包括度分布設(shè)計(jì)和編譯碼算法等。在此基礎(chǔ)上,分析其在分布式文件備份上應(yīng)用前景。闡述HDFS的基本特征,并指出HDFS備份的優(yōu)缺點(diǎn)。最后,將LT碼和HDFS在分布式文件備份上的優(yōu)勢(shì)結(jié)合起來,提出基于LT碼的HDFS動(dòng)態(tài)副本存儲(chǔ)策略,并從上理論上驗(yàn)證動(dòng)態(tài)副本存儲(chǔ)策略的可靠性。2.根據(jù)云存儲(chǔ)系統(tǒng)的需求分析,詳細(xì)設(shè)計(jì)基于LT碼的HDFS云存儲(chǔ)系統(tǒng),包括云存儲(chǔ)系統(tǒng)架構(gòu)設(shè)計(jì)、客戶端子系統(tǒng)設(shè)計(jì)、服務(wù)器子系統(tǒng)設(shè)計(jì)和HDFS集群子系統(tǒng)設(shè)計(jì)等。最后根據(jù)用戶需求、系統(tǒng)架構(gòu)和各個(gè)子系統(tǒng),詳細(xì)設(shè)計(jì)了數(shù)據(jù)庫(kù)。3.根據(jù)云存儲(chǔ)系統(tǒng)的詳細(xì)設(shè)計(jì),實(shí)現(xiàn)基于LT碼的HDFS云存儲(chǔ)系統(tǒng)。然后測(cè)試登錄功能模塊、備份功能模塊和恢復(fù)功能模塊,驗(yàn)證動(dòng)態(tài)副本策略是否結(jié)合了LT碼和HDFS在分布式文件備份上的優(yōu)勢(shì)。本文在研究LT碼和HDFS的基礎(chǔ)上,提出了基于LT碼的HDFS動(dòng)態(tài)副本存儲(chǔ)策略,并據(jù)此實(shí)現(xiàn)了基于LT碼的HDFS云存儲(chǔ)系統(tǒng),在糾刪碼和分布式文件系統(tǒng)兩個(gè)方面均具有現(xiàn)實(shí)探索意義。
【學(xué)位授予單位】：南京航空航天大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前5條

1 徐大專;邵漢欽;張小飛;許生凱;;數(shù)字噴泉碼及網(wǎng)絡(luò)噴泉碼的最新進(jìn)展[J];數(shù)據(jù)采集與處理;2014年03期

2 彭真;陳蘭香;郭躬德;;云存儲(chǔ)中基于噴泉碼的數(shù)據(jù)恢復(fù)系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;2014年04期

3 程振東;欒鐘治;孟由;李亮淑;和榮;楊婷婷;錢德沛;管剛;陳偉;;云文件系統(tǒng)中糾刪碼技術(shù)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué)與探索;2013年04期

4 朱宏杰;裴玉奎;陸建華;;一種提高噴泉碼譯碼成功率的算法[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年04期

5 朱宏鵬;李廣俠;馮少棟;;LT碼的BPML譯碼算法[J];計(jì)算機(jī)科學(xué);2009年10期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 王永洲;基于HDFS的存儲(chǔ)技術(shù)的研究[D];南京郵電大學(xué);2013年

2 徐修強(qiáng);LDPC碼譯碼算法研究及性能分析[D];南京航空航天大學(xué);2009年

，

本文編號(hào)：1287283