本文關(guān)鍵詞： 分布式存儲 糾刪碼 數(shù)據(jù)修復(fù)　出處：《國防科學(xué)技術(shù)大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

【摘要】：在“大數(shù)據(jù)”時代背景下,信息技術(shù)產(chǎn)業(yè)已從以計算為核心的時代進入到了以存儲為核心的時代,數(shù)據(jù)海量化成為了一種趨勢。構(gòu)建于普通服務(wù)器集群之上的分布式存儲系統(tǒng),因其成本低廉和擴展性高等優(yōu)點被廣泛應(yīng)用于海量數(shù)據(jù)的存儲。但是分布式存儲系統(tǒng)節(jié)點規(guī)模龐大且單個節(jié)點可靠性不高,致使系統(tǒng)發(fā)生節(jié)點失效的概率大為提高。為了保證數(shù)據(jù)可靠性,系統(tǒng)必須采用一定的數(shù)據(jù)容錯技術(shù)。糾刪碼作為一種可靠性高且存儲空間消耗少的容錯技術(shù),對提高分布式存儲系統(tǒng)的數(shù)據(jù)可靠性并降低其經(jīng)濟成本具有重大意義。但是糾刪碼數(shù)據(jù)修復(fù)網(wǎng)絡(luò)負載高、數(shù)據(jù)修復(fù)速度低等問題嚴(yán)重阻礙了其在分布式存儲系統(tǒng)中的廣泛應(yīng)用。針對以上問題,本文對糾刪碼的低網(wǎng)絡(luò)負載數(shù)據(jù)修復(fù)技術(shù)和快速數(shù)據(jù)修復(fù)技術(shù)進行了深入研究,主要研究內(nèi)容與貢獻如下:數(shù)據(jù)修復(fù)網(wǎng)絡(luò)負載的傳統(tǒng)度量指標(biāo)是傳輸?shù)臄?shù)據(jù)量,這一指標(biāo)忽略了數(shù)據(jù)傳輸距離的不同,不能精確衡量修復(fù)過程中數(shù)據(jù)傳輸對網(wǎng)絡(luò)性能產(chǎn)生的影響。針對此問題,本文提出了基于網(wǎng)絡(luò)拓撲的網(wǎng)絡(luò)負載度量指標(biāo):網(wǎng)絡(luò)代價。網(wǎng)絡(luò)代價將數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)負載定義為數(shù)據(jù)傳輸量與傳輸距離的乘積,更精確地描述了數(shù)據(jù)傳輸所占用的網(wǎng)絡(luò)資源,從而更好地刻畫了數(shù)據(jù)傳輸對網(wǎng)絡(luò)性能造成的影響。實驗結(jié)果表明,網(wǎng)絡(luò)代價能夠比數(shù)據(jù)傳輸量更加精確地反映數(shù)據(jù)傳輸對網(wǎng)絡(luò)性能造成的影響,是更好的網(wǎng)絡(luò)負載度量指標(biāo)。針對糾刪碼數(shù)據(jù)修復(fù)網(wǎng)絡(luò)代價過高的不足,本文提出了一種基于網(wǎng)絡(luò)拓撲的樹型數(shù)據(jù)修復(fù)技術(shù)NTree。NTree根據(jù)網(wǎng)絡(luò)拓撲將參與修復(fù)的節(jié)點組織成總網(wǎng)絡(luò)距離最小的樹型修復(fù)結(jié)構(gòu)(修復(fù)樹),以最小化修復(fù)時數(shù)據(jù)的傳輸距離,從而使修復(fù)的網(wǎng)絡(luò)代價達到最低。在此基礎(chǔ)上,提出了提供節(jié)點組合的選擇算法OpTree。OpTree能夠在從所有可用節(jié)點中快速選取最優(yōu)提供節(jié)點組合的同時構(gòu)建出最優(yōu)的修復(fù)樹,進一步降低NTree的網(wǎng)絡(luò)代價。大量的模擬實驗結(jié)果表明,NTree相比于現(xiàn)有的星型修復(fù)方法,可將糾刪碼數(shù)據(jù)修復(fù)的網(wǎng)絡(luò)代價降低20%-45%。針對糾刪碼數(shù)據(jù)修復(fù)速度慢導(dǎo)致退化讀性能差的問題,提出了一種基于網(wǎng)絡(luò)拓撲的線型數(shù)據(jù)修復(fù)技術(shù)NLine。對NTree修復(fù)過程的深入分析表明,修復(fù)速度與修復(fù)樹的最大入度成反比。NLine根據(jù)網(wǎng)絡(luò)拓撲將參與修復(fù)的節(jié)點組織成最大入度為1的線型修復(fù)結(jié)構(gòu)(修復(fù)路徑),從而達到了最快的修復(fù)速度。同時,為了盡量降低NLine的網(wǎng)絡(luò)代價,提出了近似最優(yōu)的修復(fù)路徑規(guī)劃算法OpLine。大量模擬實驗結(jié)果表明,NLine能夠以接近于NTree網(wǎng)絡(luò)代價獲得至少比星型修復(fù)方法高400%,比NTree高100%的修復(fù)速度�；谏鲜隼碚撗芯砍晒�,設(shè)計實現(xiàn)了一個糾刪碼數(shù)據(jù)修復(fù)原型系統(tǒng)ECRepair。ECRepair完全遵循機制與策略分離的設(shè)計原則,不僅支持基于網(wǎng)絡(luò)拓撲的樹型數(shù)據(jù)修復(fù)技術(shù)NTree和基于網(wǎng)絡(luò)拓撲的線型數(shù)據(jù)修復(fù)技術(shù)NLine,也可以方便地添加對其它樹型修復(fù)技術(shù)的支持,并且適用于任何線性糾刪碼。大量真實環(huán)境下的實驗結(jié)果表明,在星型修復(fù)方法、基于網(wǎng)絡(luò)拓撲的樹型數(shù)據(jù)修復(fù)技術(shù)NTree和基于網(wǎng)絡(luò)拓撲的線型數(shù)據(jù)修復(fù)技術(shù)NLine中,NTree具有最低的網(wǎng)絡(luò)代價和最高的并行修復(fù)速度,NLine具有最快的串行修復(fù)速度和最高的退化讀性能,進一步驗證了理論分析和模擬實驗的結(jié)果。
[Abstract]:This paper presents a network load measurement index based on network topology , which is a kind of fault - tolerant technology based on network topology .

【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 何公明;張元濤;;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

2 范劍波,郭建康;分布式存儲系統(tǒng)性能模型的建立與應(yīng)用[J];計算機工程與應(yīng)用;2001年13期

3 范劍波,徐利浩;分布式存儲系統(tǒng)可靠性的研究[J];計算機工程;2001年06期

4 吳英;謝廣軍;劉t，

本文編號：1506332