本文關(guān)鍵詞：基于編碼的分布式存儲(chǔ)系統(tǒng)性能優(yōu)化研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著云計(jì)算和大數(shù)據(jù)技術(shù)的興起,對(duì)海量數(shù)據(jù)的可靠存儲(chǔ)成為研究熱點(diǎn)。在為海量數(shù)據(jù)的存儲(chǔ)選擇基礎(chǔ)設(shè)施時(shí),廉價(jià)商用機(jī)器搭建基于網(wǎng)絡(luò)的分布式存儲(chǔ)系統(tǒng)比傳統(tǒng)的由昂貴高可靠硬件組成的存儲(chǔ)陣列更具成本與性能上的優(yōu)勢(shì)。分布式存儲(chǔ)系統(tǒng)為了保證可靠性會(huì)采用一定存儲(chǔ)冗余策略如多副本策略、編碼策略。在編碼策略中,針對(duì)節(jié)點(diǎn)修復(fù)時(shí)網(wǎng)絡(luò)流量與磁盤I/O的優(yōu)化促使了再生碼與局部可修復(fù)碼的產(chǎn)生。存儲(chǔ)系統(tǒng)中的編碼冗余策略可以顯著提高系統(tǒng)存儲(chǔ)效率、降低節(jié)點(diǎn)修復(fù)的流量開銷。但是同時(shí),由編碼方法所引入的其他開銷,如編解碼過程的計(jì)算開銷、編碼元數(shù)據(jù)的存儲(chǔ)開銷,會(huì)給系統(tǒng)帶來新的性能瓶頸。在基于編碼的分布式存儲(chǔ)系統(tǒng)中,利用系統(tǒng)實(shí)際的資源與特點(diǎn),可以降低編碼方法帶來的性能瓶頸、優(yōu)化系統(tǒng)性能。例如,在節(jié)點(diǎn)修復(fù)過程中充分利用實(shí)際網(wǎng)絡(luò)拓?fù)湫畔?可以進(jìn)一步減少系統(tǒng)的修復(fù)開銷；利用系統(tǒng)中數(shù)據(jù)文件的訪問特點(diǎn),根據(jù)數(shù)據(jù)生命周期自適應(yīng)地為數(shù)據(jù)調(diào)整系統(tǒng)資源,如編碼方式、內(nèi)存資源等,能有效提高存儲(chǔ)系統(tǒng)中的資源利用效率。論文以建立高性能云存儲(chǔ)系統(tǒng)為目標(biāo),對(duì)基于編碼的分布式存儲(chǔ)系統(tǒng)中利用網(wǎng)絡(luò)拓?fù)涞墓?jié)點(diǎn)修復(fù)機(jī)制及面向編碼矩陣的緩存機(jī)制開展研究。論文的主要工作包括以下幾個(gè)方面：1)以提高自研的Cumulus系統(tǒng)名字節(jié)點(diǎn)的內(nèi)存資源使用效率,降低內(nèi)存負(fù)載為目標(biāo),設(shè)計(jì)并實(shí)現(xiàn)了針對(duì)文件元數(shù)據(jù)中編碼矩陣的緩存模塊。結(jié)合系統(tǒng)中數(shù)據(jù)文件的訪問頻率差異性,在保證文件訪問效率的基礎(chǔ)上,有效地緩解了隨著系統(tǒng)中文件數(shù)量增多,元數(shù)據(jù)的編碼矩陣信息對(duì)名字節(jié)點(diǎn)內(nèi)存帶來的額外負(fù)載。通過實(shí)驗(yàn)證明,在數(shù)據(jù)訪問具有局部性的情況下,緩存模塊的命中率要明顯高于隨機(jī)訪問模式的命中率；相同的局部訪問模式下,加入緩存模塊的系統(tǒng)與未加入緩存模塊的系統(tǒng)相比,名字節(jié)點(diǎn)的內(nèi)存開銷要小。2)以提升簡(jiǎn)單再生碼節(jié)點(diǎn)修復(fù)效率為目的,對(duì)簡(jiǎn)單再生碼的節(jié)點(diǎn)修復(fù)過程進(jìn)行抽象建模,建立了節(jié)點(diǎn)修復(fù)時(shí)延評(píng)估模型,并基于貪心思想設(shè)計(jì)了利用網(wǎng)絡(luò)帶寬信息優(yōu)化簡(jiǎn)單再生碼節(jié)點(diǎn)修復(fù)過程的并行修復(fù)樹構(gòu)建算法。通過實(shí)驗(yàn)證明,在保證修復(fù)過程成功率的基礎(chǔ)上,利用并行修復(fù)樹算法的修復(fù)過程與直接修復(fù)過程相比,有著更小的節(jié)點(diǎn)修復(fù)時(shí)延。并且隨著網(wǎng)絡(luò)帶寬的變化,前者的時(shí)延性能更加穩(wěn)定。
【關(guān)鍵詞】：分布式存儲(chǔ) 網(wǎng)絡(luò)編碼 網(wǎng)絡(luò)拓?fù)?/strong> 節(jié)點(diǎn)修復(fù) 緩存
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要3-5
• Abstract5-10
• 第一章 緒論10-16
• 1.1 分布式存儲(chǔ)技術(shù)背景10-11
• 1.2 分布式存儲(chǔ)系統(tǒng)容錯(cuò)策略設(shè)計(jì)11-13
• 1.3 分布式存儲(chǔ)系統(tǒng)網(wǎng)絡(luò)編碼技術(shù)挑戰(zhàn)13-14
• 1.3.1 實(shí)際系統(tǒng)開銷13-14
• 1.3.2 實(shí)際節(jié)點(diǎn)修復(fù)14
• 1.4 本文貢獻(xiàn)與組織結(jié)構(gòu)14-16
• 第二章 相關(guān)工作16-28
• 2.1 存儲(chǔ)系統(tǒng)編碼方法介紹16-23
• 2.1.1 局部可修復(fù)碼16-18
• 2.1.2 分布式存儲(chǔ)系統(tǒng)中的編碼特性18-20
• 2.1.3 基于網(wǎng)絡(luò)拓?fù)涞墓?jié)點(diǎn)修復(fù)優(yōu)化20-23
• 2.2 Cumulus系統(tǒng)介紹23-26
• 2.2.1 設(shè)計(jì)目標(biāo)24
• 2.2.2 系統(tǒng)架構(gòu)24-25
• 2.2.3 多編碼框架25-26
• 2.3 本章小結(jié)26-28
• 第三章 面向編碼矩陣的緩存模塊設(shè)計(jì)28-42
• 3.1 緩存模塊結(jié)構(gòu)28-29
• 3.2 緩存模塊對(duì)元數(shù)據(jù)影響29-33
• 3.2.1 INodeFile對(duì)象創(chuàng)建29-32
• 3.2.2 INodeFile對(duì)象序列化32-33
• 3.3 緩存詳細(xì)設(shè)計(jì)33-39
• 3.4 實(shí)驗(yàn)評(píng)估39-41
• 3.5 本章小結(jié)41-42
• 第四章 帶寬感知的簡(jiǎn)單再生碼節(jié)點(diǎn)修復(fù)性能優(yōu)化42-65
• 4.1 修復(fù)過程42-45
• 4.1.1 節(jié)點(diǎn)修復(fù)機(jī)制介紹43-44
• 4.1.2 修復(fù)效率44-45
• 4.2 研究動(dòng)機(jī)45-48
• 4.3 問題建模48-51
• 4.4 算法設(shè)計(jì)51-60
• 4.4.1 最優(yōu)修復(fù)樹51-58
• 4.4.2 并行修復(fù)樹構(gòu)造算法58-60
• 4.5 實(shí)驗(yàn)評(píng)估60-64
• 4.6 本章小結(jié)64-65
• 第五章 總結(jié)與展望65-67
• 5.1 總結(jié)65-66
• 5.2 未來展望66-67
• 致謝67-68
• 參考文獻(xiàn)68-70
• 簡(jiǎn)歷與科研成果70-71

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 何公明;張?jiān)獫?;面向數(shù)字媒體的高性能分布式存儲(chǔ)系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

2 范劍波,郭建康;分布式存儲(chǔ)系統(tǒng)性能模型的建立與應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2001年13期

3 范劍波,徐利浩;分布式存儲(chǔ)系統(tǒng)可靠性的研究[J];計(jì)算機(jī)工程;2001年06期

4 吳英;謝廣軍;劉t，

本文編號(hào)：265397

suoshi