發(fā)布時間：2020-05-07 10:51

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的不斷飛速發(fā)展,數(shù)字信息和科技信息等各種數(shù)據(jù)出現(xiàn)爆炸式增長,海量數(shù)據(jù)的存儲和管理成為一個重要研究內(nèi)容。分布式存儲系統(tǒng)由于其存儲容量大、擴(kuò)展性強(qiáng)等性能方面的優(yōu)勢而被廣泛使用。分布式存儲系統(tǒng)多用副本機(jī)制實(shí)現(xiàn)冗余,這種方式往往導(dǎo)致系統(tǒng)有比較大的存儲開銷和修復(fù)帶寬開銷。為了提高系統(tǒng)的整體性能,人們在分布式存儲系統(tǒng)中引入了網(wǎng)絡(luò)編碼。雖然網(wǎng)絡(luò)編碼可以顯著提高系統(tǒng)性能,但是需要連接很多節(jié)點(diǎn)去進(jìn)行修復(fù)操作,即嚴(yán)重提高了磁盤I/O。同時引入的網(wǎng)絡(luò)編碼的分布式存儲系統(tǒng)的數(shù)據(jù)加密問題也受到了大家的一致關(guān)注。本文針對分布式存儲系統(tǒng)的容錯問題和加密問題,以Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS)為目標(biāo)系統(tǒng),對糾刪碼和網(wǎng)絡(luò)編碼應(yīng)用于分布式文件存儲系統(tǒng)中的系統(tǒng)性能問題及數(shù)據(jù)加密問題進(jìn)行了研究。論文的主要工作包括:(1)針對網(wǎng)絡(luò)編碼應(yīng)用于分布式存儲系統(tǒng)中時,在故障數(shù)據(jù)修復(fù)過程的磁盤I/O較大的問題,對系統(tǒng)最小存儲再生碼(Minimum Storage Regeneration Code,MSR)進(jìn)行改進(jìn),考慮其局部修復(fù)性,提出一種以系統(tǒng)MSR碼為基礎(chǔ)的局部修復(fù)編碼。將副本機(jī)制、糾刪碼機(jī)制和以系統(tǒng)MSR碼為基礎(chǔ)的局部修復(fù)編碼的機(jī)制分別應(yīng)用于HDFS中,研究了存儲開銷、修復(fù)帶寬開銷和磁盤I/O開銷等性能。通過理論分析和實(shí)驗(yàn)證明,在付出一定的存儲開銷的情況下,本文中提出的方法能夠明顯降低磁盤的I/O操作。(2)針對分布式文件系統(tǒng)中數(shù)據(jù)加密量較多的問題,研究了基于網(wǎng)絡(luò)編碼的HDFS系統(tǒng)的加密機(jī)制,提出了一種輕量級的加密機(jī)制。該機(jī)制不再將所有的數(shù)據(jù)或者編碼數(shù)據(jù)進(jìn)行加密,而是只對其中編碼過程中使用的編碼矩陣進(jìn)行加密操作,將網(wǎng)絡(luò)編碼和加密操作結(jié)合在一起。通過數(shù)據(jù)分析和實(shí)驗(yàn)證明,這種加密方式在保證了系統(tǒng)安全性的前提下,減少了需要加密的數(shù)據(jù)量,提高了整個系統(tǒng)的效率。
【圖文】：

北京交通大學(xué)碩士學(xué)位論文邐相關(guān)技術(shù)逡逑間單元內(nèi)，源點(diǎn)最多只能通過多播同時傳輸１．５個字符到達(dá)宿點(diǎn)。若是節(jié)點(diǎn)Ｓ采逡逑用網(wǎng)絡(luò)編碼技術(shù)進(jìn)行多播操作，節(jié)點(diǎn)４會對來自節(jié)點(diǎn)２和節(jié)點(diǎn)３的數(shù)據(jù)進(jìn)行異或逡逑運(yùn)算，然后傳輸給節(jié)點(diǎn)５，在宿點(diǎn)中，，可以同時通過異或運(yùn)算獲�。矀�字符。逡逑

北京交通大學(xué)碩士學(xué)位論文邐相關(guān)技術(shù)逡逑要的服務(wù)，保證了數(shù)據(jù)的可用性。完全副本機(jī)制的存儲原理如圖２－２所示。逡逑原始數(shù)據(jù)邐１２３４５逡逑副本數(shù)據(jù)邐１２３斗｜５邐１２３４５逡逑訪問數(shù)據(jù)邐ｎ邐Ｉ邋0邐．邐■逡逑塊邐｜邐１邐２邐３邐４邐５逡逑邐邐邐邐逡逑原始數(shù)據(jù)邐１２３４５逡逑圖２－２完全副本冗余存儲的原理圖逡逑Ｆｉｇ．２－２邋Ｓｃｈｅｍａｔｉｃ邋ｏｆ邋ｆｕｌｌ邋ｃｏｐｙ邋ｒｅｄｕｎｄａｎｔ邋ｓｔｏｒａｇｅ逡逑（２）完全副本機(jī)制修復(fù)原理逡逑當(dāng)分布式文件系統(tǒng)中的某個機(jī)器宕機(jī)、數(shù)據(jù)節(jié)點(diǎn)故障或者節(jié)點(diǎn)數(shù)據(jù)發(fā)生錯誤，逡逑將啟動修復(fù)進(jìn)程。修復(fù)的整個過程十分簡單，即選擇失效節(jié)點(diǎn)的原始數(shù)據(jù)塊的其逡逑中一個備份進(jìn)行復(fù)制操作，將復(fù)制出的新的數(shù)據(jù)塊置入選擇好的一個節(jié)點(diǎn)中。完逡逑全副本機(jī)制的修復(fù)原理如圖２－３所示逡逑副本數(shù)據(jù)邐１邐２逡逑Ｏ逡逑４逡逑寫入逡逑邐邐邐邐邐邋邐邐邋邐逡逑原始數(shù)據(jù)邐１２３４
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP333;TN918.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 花育聰;;基于Hadoop分布式文件系統(tǒng)的模型分析[J];信息通信;2015年12期

2 余林琛;章巍;林強(qiáng);許杰星;鐘貝;;RS糾刪碼在云存儲中的應(yīng)用[J];微電子學(xué)與計(jì)算機(jī);2011年08期

相關(guān)博士學(xué)位論文 前2條

1 朱云鋒;分布式存儲系統(tǒng)中基于糾刪碼的容錯技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2014年

2 王禹;分布式存儲系統(tǒng)中的數(shù)據(jù)冗余與維護(hù)技術(shù)研究[D];華南理工大學(xué);2011年

相關(guān)碩士學(xué)位論文 前5條

1 李大江;HDFS糾刪碼機(jī)制的優(yōu)化研究[D];哈爾濱工業(yè)大學(xué);2018年

2 鄧銳;分布式存儲系統(tǒng)中再生碼的性能分析和優(yōu)化設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2017年

3 莊園;基于Lustre文件系統(tǒng)MPI-I/O優(yōu)化的改進(jìn)與實(shí)現(xiàn)[D];山東大學(xué);2017年

4 盧旭;基于網(wǎng)絡(luò)編碼的WSN輕量級安全研究[D];北京郵電大學(xué);2013年

5 陳寅;基于網(wǎng)絡(luò)編碼的分布式存儲技術(shù)研究[D];西安電子科技大學(xué);2011年

本文編號：2652865