隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,世界進(jìn)入大數(shù)據(jù)時代,每天都有海量數(shù)據(jù)的產(chǎn)生,這使得分布式存儲系統(tǒng)的存儲開銷越來越大。分布式存儲系統(tǒng)內(nèi)保證數(shù)據(jù)高可用的冗余機(jī)制使得這種情況更加惡化。目前分布式存儲系統(tǒng)內(nèi)的數(shù)據(jù)冗余機(jī)制主要有兩種:一種是多副本,另一種是糾刪碼。相比于多副本直接將數(shù)據(jù)備份多份,糾刪碼利用特定編碼規(guī)則生成少量冗余數(shù)據(jù),極大地減少了存儲開銷。但是糾刪碼自身的復(fù)雜規(guī)則導(dǎo)致分布式存儲系統(tǒng)的讀、寫、更新操作會消耗更多的CPU、網(wǎng)絡(luò)I/O、硬盤I/O資源,從而導(dǎo)致相應(yīng)操作的延遲較大。因此,糾刪碼目前主要用于冷數(shù)據(jù)或者溫數(shù)據(jù)的存儲來減少存儲開銷,需要頻繁訪問、更新的熱數(shù)據(jù)仍然用多副本方式存儲,來保證熱數(shù)據(jù)的操作性能。針對糾刪碼存儲系統(tǒng)在熱數(shù)據(jù)存儲場景下延遲較大問題,本文設(shè)計了一種基于日志結(jié)構(gòu)的存儲策略,LSEC（Log-Structured Erasure Coding）,從系統(tǒng)架構(gòu)角度,結(jié)合多副本和糾刪碼各自的優(yōu)點,在提高系統(tǒng)存儲效率的同時,滿足客戶端對熱數(shù)據(jù)存取的性能需求。本文的主要貢獻(xiàn)如下:（1）針對在熱數(shù)據(jù)存儲場景下糾刪碼的寫、更新操作高延遲問題,設(shè)計了LSEC存儲策略,借助于日志結(jié)構(gòu)存儲... 

【文章來源】：華東師范大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：80 頁

【學(xué)位級別】：碩士

【文章目錄】：
內(nèi)容摘要
ABSTRACT
第一章 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文工作與貢獻(xiàn)
    1.4 本文結(jié)構(gòu)
第二章 背景知識與研究動機(jī)
    2.1 糾刪碼和多副本機(jī)制
    2.2 糾刪碼基本更新方法
    2.3 研究動機(jī)
    2.4 本章小結(jié)
第三章 LSEC存儲策略
    3.1 LSEC寫/更新策略
    3.2 LSEC讀策略
    3.3 本章小結(jié)
第四章 垃圾回收
    4.1 Na?ve GC
    4.2 分區(qū)垃圾回收策略
        4.2.1 可行性分析
        4.2.2 分區(qū)選擇策略
    4.3 本章小結(jié)
第五章 系統(tǒng)實現(xiàn)
    5.1 實現(xiàn)細(xì)節(jié)
    5.2 本章小結(jié)
第六章 實驗與分析
    6.1 實驗設(shè)置
    6.2 整體性能評測
    6.3 垃圾回收操作影響
    6.4 本章小結(jié)
第七章 總結(jié)和展望
    7.1 本文總結(jié)
    7.2 未來展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間發(fā)表論文和科研情況



本文編號：3012181