本文關(guān)鍵詞：Ceph存儲(chǔ)系統(tǒng)糾刪碼覆蓋寫(xiě)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 分布式存儲(chǔ) 糾刪碼 覆蓋寫(xiě)

【摘要】：在云計(jì)算和大數(shù)據(jù)的時(shí)代,海量數(shù)據(jù)已經(jīng)成為企業(yè)的核心資產(chǎn),分布式存儲(chǔ)系統(tǒng)作為承載數(shù)據(jù)的基礎(chǔ)架構(gòu),通常構(gòu)建于通用的服務(wù)器。為了應(yīng)對(duì)通用硬件的常態(tài)化失效,分布式存儲(chǔ)通過(guò)多副本機(jī)制容忍硬件和系統(tǒng)錯(cuò)誤,多副本在大規(guī)模的并行計(jì)算場(chǎng)景可以得到很好的性能,但帶來(lái)多倍的存儲(chǔ)開(kāi)銷。糾刪碼以更小的存儲(chǔ)代價(jià),實(shí)現(xiàn)更高的容錯(cuò)率,可以有效的降低存儲(chǔ)成本�，F(xiàn)有的分布式存儲(chǔ)中糾刪碼都只支持追加寫(xiě),不能任意的覆蓋寫(xiě),通常應(yīng)用與冷數(shù)據(jù)存儲(chǔ)場(chǎng)景。為了使糾刪碼能夠應(yīng)用于多讀多寫(xiě)的有修改場(chǎng)景,本文以開(kāi)源分布式系統(tǒng)Ceph為基礎(chǔ),設(shè)計(jì)并實(shí)現(xiàn)了糾刪碼的覆蓋寫(xiě)系統(tǒng)。該系統(tǒng)支持糾刪碼的任意位置的偏移寫(xiě),更新過(guò)程保持?jǐn)?shù)據(jù)的強(qiáng)一致性,性能測(cè)試后對(duì)寫(xiě)流程的提出優(yōu)化方案,提升系統(tǒng)的讀寫(xiě)吞吐量。本文的工作和研究成果如下：1.基于分布式存儲(chǔ)CEPH,設(shè)計(jì)并實(shí)現(xiàn)了糾刪碼覆蓋寫(xiě)系統(tǒng),更新過(guò)程保證事務(wù)性,所有節(jié)點(diǎn)要么全部更新,要不全部不更新,更新失敗時(shí)自動(dòng)回滾,保持?jǐn)?shù)據(jù)強(qiáng)一致性。在節(jié)點(diǎn)失效時(shí)自動(dòng)恢復(fù),不需要人工干預(yù);2.利用自適應(yīng)的覆蓋寫(xiě)方案,支持混合寫(xiě)場(chǎng)景。結(jié)合重構(gòu)寫(xiě)更新和增量寫(xiě)更新的特點(diǎn),根據(jù)覆蓋寫(xiě)大小自適應(yīng)選擇最優(yōu)更新方案,從整體上降低覆蓋寫(xiě)的磁盤開(kāi)銷和網(wǎng)絡(luò)開(kāi)銷;3.利用緩存機(jī)制減少覆蓋寫(xiě)流程,大大提高了覆蓋寫(xiě)效率。糾刪碼覆蓋寫(xiě)的校驗(yàn)塊更新需要經(jīng)過(guò)預(yù)讀然后再寫(xiě),在對(duì)同一個(gè)文件頻繁覆蓋寫(xiě)時(shí),讀寫(xiě)加鎖嚴(yán)重降低了整體效率。通過(guò)緩存數(shù)據(jù)塊,緩存命中時(shí)可以直接跳過(guò)預(yù)讀過(guò)程。同時(shí),設(shè)計(jì)了客戶端隔離的緩存,隔離不同更新大小的客戶端,有利于提高緩存命中率;4.利用KeyValue存儲(chǔ)管理覆蓋寫(xiě)的臨時(shí)對(duì)象,提高了空間利用率,加速空間的分配與回收。有效的提升臨時(shí)狀態(tài)數(shù)據(jù)的讀效率,提升整體的讀寫(xiě)性能。
【關(guān)鍵詞】：分布式存儲(chǔ) 糾刪碼 覆蓋寫(xiě)
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• Abstract5-11
• 第一章 緒論11-17
• 1.1 引言11-13
• 1.2 分布式存儲(chǔ)13-14
• 1.3 分布式存儲(chǔ)的容錯(cuò)14-15
• 1.4 本文工作15-17
• 第二章 相關(guān)工作17-30
• 2.1 開(kāi)源分布式存儲(chǔ)17-18
• 2.1.1 分布式文件系統(tǒng)HDFS17
• 2.1.2 分布式文件系統(tǒng)GlusterFS17-18
• 2.1.3 分布式存儲(chǔ)Sheepdog18
• 2.2 分布式存儲(chǔ)Ceph18-25
• 2.2.1 核心組件18-20
• 2.2.2 數(shù)據(jù)的映射算法20-22
• 2.2.3 數(shù)據(jù)一致性22-23
• 2.2.4 數(shù)據(jù)的落盤23-25
• 2.3 分布式存儲(chǔ)容錯(cuò)策略25-29
• 2.3.1 糾刪碼的應(yīng)用26-27
• 2.3.2 糾刪碼的覆蓋寫(xiě)27-29
• 2.4 小結(jié)29-30
• 第三章 糾刪碼覆蓋寫(xiě)的設(shè)計(jì)與實(shí)現(xiàn)30-49
• 3.1 引言30
• 3.2 系統(tǒng)設(shè)計(jì)目標(biāo)30-32
• 3.3 覆蓋寫(xiě)方案32-41
• 3.3.1 設(shè)計(jì)32-34
• 3.3.2 詳細(xì)寫(xiě)流程34-40
• 3.3.3 讀流程40-41
• 3.4 數(shù)據(jù)一致性維護(hù)41-46
• 3.4.1 數(shù)據(jù)回滾41-44
• 3.4.2 數(shù)據(jù)恢復(fù)44-46
• 3.5 實(shí)驗(yàn)與分析46-47
• 3.6 小結(jié)47-49
• 第四章 糾刪碼覆蓋寫(xiě)的優(yōu)化49-58
• 4.1 引言49-50
• 4.2 編碼方案自適應(yīng)50-53
• 4.2.1 Ceph糾刪碼條帶化50-51
• 4.2.2 更新方法自適應(yīng)51-53
• 4.2.3 性能測(cè)試與分析53
• 4.3 覆蓋寫(xiě)緩存設(shè)計(jì)53-56
• 4.4 臨時(shí)對(duì)象存儲(chǔ)的優(yōu)化56-57
• 4.5 小結(jié)57-58
• 第五章 總結(jié)與展望58-60
• 5.1 總結(jié)58-59
• 5.2 展望59-60
• 參考文獻(xiàn)60-63
• 簡(jiǎn)歷與科研成果63-64
• 致謝64-65

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王征;劉心松;李美安;;企業(yè)信息分布式存儲(chǔ)的熱點(diǎn)處理策略[J];計(jì)算機(jī)集成制造系統(tǒng);2006年09期

2 李磊;沈海斌;黃凱;嚴(yán)曉浪;Han Sangil;Ahmed A Jerraya;;分布式存儲(chǔ)管理在多核設(shè)計(jì)中的高層建模[J];電子與信息學(xué)報(bào);2008年11期

3 劉翔;汪海玲;;分布式存儲(chǔ)中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)與數(shù)字工程;2009年05期

4 陳衛(wèi)衛(wèi);吳海佳;胥光輝;;分布式存儲(chǔ)中文件分割的最優(yōu)化模型[J];解放軍理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年04期

5 崔忠強(qiáng);左德承;張展;;在云間可重構(gòu)的分布式存儲(chǔ)[J];系統(tǒng)工程理論與實(shí)踐;2011年S2期

6 郝杰;逯彥博;劉鑫吉;夏樹(shù)濤;;分布式存儲(chǔ)中的再生碼綜述[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年01期

7 唐京偉;;基于云計(jì)算的分布式存儲(chǔ)技術(shù)[J];中國(guó)傳媒科技;2013年15期

8 郭棟;王偉;曾國(guó)蓀;;基于一致性樹(shù)分布的數(shù)據(jù)分布式存儲(chǔ)方法[J];計(jì)算機(jī)應(yīng)用;2013年12期

9 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[J];電信科學(xué);2013年12期

10 謝然;;敢問(wèn)存儲(chǔ)之路在何方?見(jiàn)分布式存儲(chǔ)搖曳在數(shù)據(jù)枝頭[J];互聯(lián)網(wǎng)周刊;2014年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

2 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

3 鄭文武;李先緒;黃植勤;邱紅飛;;云存儲(chǔ)關(guān)鍵技術(shù)[A];2012全國(guó)無(wú)線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集（下）[C];2012年

4 蔣軼林;郭淑琴;;分布式存儲(chǔ)在數(shù)字集群移動(dòng)通信系統(tǒng)中的應(yīng)用[A];浙江省電子學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

5 姜繼忱;陳鋼;;P2P之路——締造“分布式對(duì)等”的Internet3.0[A];全面建設(shè)小康社會(huì)：中國(guó)科技工作者的歷史責(zé)任——中國(guó)科協(xié)2003年學(xué)術(shù)年會(huì)論文集（下）[C];2003年

6 付偉;肖儂;盧錫城;;QoS感知的副本放置問(wèn)題研究綜述[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

7 張彥;劉欣然;徐慧彬;;一種基于虛擬計(jì)算環(huán)境的分布式存儲(chǔ)體系結(jié)構(gòu)[A];2009全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)與通信學(xué)術(shù)會(huì)議論文集[C];2009年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前8條

1 京東架構(gòu)委員會(huì)主任 云平臺(tái)首席架構(gòu)師 系統(tǒng)技術(shù)部負(fù)責(zé)人 劉海鋒;京東:分布式存儲(chǔ)體系成為業(yè)務(wù)基石[N];中國(guó)信息化周報(bào);2014年

2 《網(wǎng)絡(luò)世界》記者 于翔;京東分布式存儲(chǔ)體系研發(fā)歷程[N];網(wǎng)絡(luò)世界;2014年

3 《網(wǎng)絡(luò)世界》記者 于翔;融合一體機(jī)投入大規(guī)模商用[N];網(wǎng)絡(luò)世界;2013年

4 記者 余榮華;大數(shù)據(jù)，催生大變革[N];人民日?qǐng)?bào);2014年

5 本報(bào)記者 張佳星;新生產(chǎn)業(yè)布局如何“云”中索驥[N];科技日?qǐng)?bào);2014年

6 本報(bào)記者 甘露;物聯(lián)網(wǎng)讓管理更美妙[N];計(jì)算機(jī)世界;2013年

7 本報(bào)記者 郭濤;華為幫用戶定制HANA一體機(jī)[N];中國(guó)計(jì)算機(jī)報(bào);2013年

8 臨江;手機(jī)瀏覽器,3G時(shí)代的采礦機(jī)？[N];人民郵電;2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前9條

1 吳思;容錯(cuò)分布式存儲(chǔ)系統(tǒng)擴(kuò)容機(jī)制研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

2 胡q，

本文編號(hào)：1070285