本文關(guān)鍵詞：Ceph分布式文件系統(tǒng)的研究及性能測(cè)試

  更多相關(guān)文章： Ceph分布式文件系統(tǒng) CRUSH算法 RADOS 系統(tǒng)性能優(yōu)化

【摘要】：分布式文件系統(tǒng)作為分布式系統(tǒng)的存儲(chǔ)子系統(tǒng)，能夠有效的解決海量數(shù)據(jù)存儲(chǔ)的I/O瓶頸問題，成為了目前業(yè)界研究的熱點(diǎn)。Ceph分布式文件系統(tǒng)的第一個(gè)版本于2012年6月發(fā)布，作為一個(gè)新興的分布式文件系統(tǒng)，系統(tǒng)的架構(gòu)特點(diǎn)、結(jié)構(gòu)特征、性能、可用性和擴(kuò)展性等各個(gè)方面都亟需測(cè)試、驗(yàn)證與研究。 本文以Ceph分布式文件系統(tǒng)為研究對(duì)象，首先對(duì)文件系統(tǒng)的架構(gòu)以及系統(tǒng)原型中的兩個(gè)關(guān)鍵技術(shù)：CRUSH算法和RADOS對(duì)象存儲(chǔ)服務(wù)進(jìn)行了詳細(xì)的分析，研究了它們對(duì)系統(tǒng)性能和擴(kuò)展性的影響；然后根據(jù)之前的分析研究結(jié)果搭建測(cè)試環(huán)境并設(shè)計(jì)系統(tǒng)的測(cè)試用例，對(duì)系統(tǒng)的性能、可用性以及擴(kuò)展性進(jìn)行了全面的測(cè)試。最后，根據(jù)研究測(cè)試結(jié)果提出新的Journal存儲(chǔ)方案和新的集群網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，并對(duì)優(yōu)化過的系統(tǒng)做進(jìn)一步測(cè)試，從而驗(yàn)證優(yōu)化是否正確。 測(cè)試結(jié)果表明，Ceph分布式文件系統(tǒng)具有高可用性、高可擴(kuò)展性以及優(yōu)良的性能，文中所提出的兩個(gè)集群部署優(yōu)化方案也確實(shí)提高了系統(tǒng)的性能。
【關(guān)鍵詞】：Ceph分布式文件系統(tǒng) CRUSH算法 RADOS 系統(tǒng)性能優(yōu)化
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要3-4
• Abstract4-7
• 第一章 緒論7-11
• 1.1 選題背景及意義7-8
• 1.1.1 分布式存儲(chǔ)系統(tǒng)研究背景7-8
• 1.1.2 分布式存儲(chǔ)系統(tǒng)測(cè)試的研究背景及意義8
• 1.2 國內(nèi)外現(xiàn)狀分析8-9
• 1.3 論文工作內(nèi)容9-10
• 1.4 論文組織結(jié)構(gòu)10-11
• 第二章 分布式文件系統(tǒng)概述11-21
• 2.1 分布式文件系統(tǒng)基本概念11-14
• 2.1.1 異常11-13
• 2.1.2 副本一致性13
• 2.1.3 衡量分布式系統(tǒng)的標(biāo)準(zhǔn)13-14
• 2.2 分布式文件系統(tǒng)關(guān)鍵技術(shù)14-18
• 2.2.1 數(shù)據(jù)分布14-15
• 2.2.2 副本控制15-16
• 2.2.3 集群可擴(kuò)展性16-18
• 2.3 Ceph 分布式文件系統(tǒng)介紹18-19
• 2.4 本章小結(jié)19-21
• 第三章 Ceph文件系統(tǒng)測(cè)試需求分析21-39
• 3.1 Ceph 文件系統(tǒng)分析21-31
• 3.1.1 CRUSH 算法研究分析21-27
• 3.1.2 可靠自治的分布式對(duì)象存儲(chǔ)集群27-31
• 3.2 測(cè)試業(yè)務(wù)流程31-33
• 3.3 測(cè)試需求分析33-37
• 3.3.1 硬件需求分析33-35
• 3.3.2 功能測(cè)試需求分析35-36
• 3.3.3 性能測(cè)試與系統(tǒng)調(diào)優(yōu)需求分析36
• 3.3.4 網(wǎng)絡(luò)部署及集群配置需求分析36-37
• 3.4 本章小結(jié)37-39
• 第四章 Ceph文件系統(tǒng)測(cè)試設(shè)計(jì)39-51
• 4.1 測(cè)試用例設(shè)計(jì)方法39-46
• 4.1.1 系統(tǒng)可用性用例設(shè)計(jì)方法39-42
• 4.1.2 系統(tǒng)擴(kuò)展性用例設(shè)計(jì)方法42-43
• 4.1.3 系統(tǒng)優(yōu)化用例設(shè)計(jì)方法43-46
• 4.2 測(cè)試用例設(shè)計(jì)46-50
• 4.2.1 RADOS 接口基準(zhǔn)測(cè)試用例設(shè)計(jì)46-47
• 4.2.2 Ceph RBD 接口基準(zhǔn)測(cè)試用例設(shè)計(jì)47-48
• 4.2.3 RADOS 集群優(yōu)化用例分析與設(shè)計(jì)48-49
• 4.2.4 集群擴(kuò)展性用例分析與設(shè)計(jì)49-50
• 4.3 本章小結(jié)50-51
• 第五章 Ceph文件系統(tǒng)測(cè)試優(yōu)化及結(jié)果分析51-67
• 5.1 測(cè)試環(huán)境準(zhǔn)備51-55
• 5.1.1 Ceph 測(cè)試集群軟硬件配置51-52
• 5.1.2 Ceph 測(cè)試集群網(wǎng)絡(luò)配置52
• 5.1.3 測(cè)試集群搭建過程52-55
• 5.2 集群環(huán)境測(cè)試55-56
• 5.3 集群性能測(cè)試56-65
• 5.3.1 RADOS 對(duì)象存儲(chǔ)接口測(cè)試56-61
• 5.3.2 Ceph RBD 存儲(chǔ)接口測(cè)試61-65
• 5.4 測(cè)試結(jié)果分析65-66
• 5.5 本章小結(jié)66-67
• 第六章 結(jié)束語67-69
• 6.1 論文工作總結(jié)67-68
• 6.2 后續(xù)工作展望68-69
• 致謝69-71
• 參考文獻(xiàn)71-73

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 張子鵬;劉海濤;管海兵;;采用信任管理的分布式文件系統(tǒng)TrustFs[J];計(jì)算機(jī)工程;2009年01期

2 陳建榮;傅黎;;Novell網(wǎng)絡(luò)環(huán)境下分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];海軍工程大學(xué)學(xué)報(bào);1993年03期

3 李相娜;曹強(qiáng);趙旺;魏沁祺;;加快分布式文件系統(tǒng)元數(shù)據(jù)訪問的研究與實(shí)現(xiàn)[J];微處理機(jī);2008年02期

4 劉偉;劉露;陳犖;鐘志農(nóng);;海量遙感影像數(shù)據(jù)存儲(chǔ)技術(shù)研究[J];計(jì)算機(jī)工程;2009年05期

5 何公明;張?jiān)獫?;面向數(shù)字媒體的高性能分布式存儲(chǔ)系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

6 周建強(qiáng);薛行;徐希豪;楊培根;孫鐘秀;;分布式文件系統(tǒng)NDFS的設(shè)計(jì)和實(shí)現(xiàn)[J];計(jì)算機(jī)研究與發(fā)展;1990年07期

7 許春聰;黃小猛;吳諾;孫寧偉;楊廣文;;分布式文件系統(tǒng)存儲(chǔ)介質(zhì)評(píng)測(cè)與分析[J];計(jì)算機(jī)學(xué)報(bào);2010年10期

8 李桂萍;;云計(jì)算的兩大特性:虛擬化、分布式[J];通信世界;2011年16期

9 張維慶,袁宏春;基于E-mail的分布式文件系統(tǒng)(MDFS)[J];福建電腦;2004年07期

10 黃華,張建剛,許魯;藍(lán)鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前8條

1 邢海韜;黃孜祺;肖健;;應(yīng)用動(dòng)態(tài)管理技術(shù)優(yōu)化海量數(shù)據(jù)管理[A];廣西計(jì)算機(jī)學(xué)會(huì)2008年年會(huì)論文集[C];2008年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

4 朱平;朱建濤;高劍剛;蔣金虎;;高性能計(jì)算存儲(chǔ)關(guān)鍵技術(shù)研究[A];2010年第16屆全國信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

5 付偉;肖儂;盧錫城;;GridDenFS:一種基于聚集與虛擬視圖的網(wǎng)格文件系統(tǒng)[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

6 程果;陳犖;景寧;趙亮;左懷玉;;一種遙感影像的層次化組織分布式存儲(chǔ)管理方法[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（一）[C];2008年

7 周大;錢嶺;郭磊濤;齊驥;;HugeTable:一種面向電信行業(yè)的云數(shù)據(jù)倉庫[A];CCF NCSC 2011——第二屆中國計(jì)算機(jī)學(xué)會(huì)服務(wù)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2011年

8 張學(xué)紅;劉志芳;;云存儲(chǔ)技術(shù)研究與探討[A];全國數(shù)字媒體技術(shù)專業(yè)建設(shè)與人才培養(yǎng)研討會(huì)論文集[C];2011年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

2 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

3 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

4 丘永萍;云存儲(chǔ)是一種服務(wù)[N];中國城鄉(xiāng)金融報(bào);2010年

5 本報(bào)記者 劉箐箐;Informatica：大數(shù)據(jù)帶來大機(jī)遇[N];計(jì)算機(jī)世界;2011年

6 孫定;云計(jì)算、大數(shù)據(jù)與Hadoop[N];計(jì)算機(jī)世界;2011年

7 本報(bào)記者 馬文方;Hadoop：云中起舞的小象[N];中國計(jì)算機(jī)報(bào);2010年

8 中興通訊;云存儲(chǔ)鋪就海量數(shù)據(jù)之路[N];通信產(chǎn)業(yè)報(bào);2011年

9 ;Windows Server2003的10個(gè)特點(diǎn)[N];計(jì)算機(jī)世界;2003年

10 艾文;Windows Server 2003值得期待[N];中國計(jì)算機(jī)報(bào);2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前9條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 李彭軍;醫(yī)學(xué)影像云服務(wù)平臺(tái)基礎(chǔ)架構(gòu)研究與實(shí)踐[D];南方醫(yī)科大學(xué);2011年

3 林琳;基于網(wǎng)格數(shù)據(jù)交換區(qū)的網(wǎng)格作業(yè)性能優(yōu)化[D];吉林大學(xué);2011年

4 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

5 郭羽成;MPI高性能云計(jì)算平臺(tái)關(guān)鍵技術(shù)研究[D];武漢理工大學(xué);2013年

6 楊永全;飲食健康中的食物體積估算云計(jì)算技術(shù)研究[D];中國海洋大學(xué);2013年

7 涂旭東;基于對(duì)象的并行文件系統(tǒng)接口語義擴(kuò)展研究[D];華中科技大學(xué);2011年

8 李冰;云計(jì)算環(huán)境下動(dòng)態(tài)資源管理關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

9 陳軍;基于G/S模式的空間分析云服務(wù)關(guān)鍵技術(shù)研究[D];成都理工大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 龔高晟;通用分布式文件系統(tǒng)的研究與改進(jìn)[D];華南理工大學(xué);2010年

2 李書鵬;分布式文件系統(tǒng)在云存儲(chǔ)環(huán)境下的若干問題研究[D];中國科學(xué)技術(shù)大學(xué);2011年

3 周昶;基于對(duì)象分布式文件系統(tǒng)的存儲(chǔ)緩存研究[D];杭州電子科技大學(xué);2011年

4 許敏;分布式文件系統(tǒng)容錯(cuò)機(jī)制的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2012年

5 景蕊;分布式文件系統(tǒng)下數(shù)據(jù)校驗(yàn)策略的研究與改進(jìn)[D];吉林大學(xué);2013年

6 李穎;基于分布式文件系統(tǒng)的農(nóng)業(yè)數(shù)據(jù)云存儲(chǔ)研究[D];山東農(nóng)業(yè)大學(xué);2013年

7 王敬軒;分布式文件系統(tǒng)存儲(chǔ)效率優(yōu)化研究[D];華中科技大學(xué);2013年

8 廖舒恬;安全對(duì)象分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

9 趙黎斌;面向云存儲(chǔ)的分布式文件系統(tǒng)關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2011年

10 胡振欣;分布式文件系統(tǒng)中的軟件開發(fā)管理[D];上海交通大學(xué);2012年

，

本文編號(hào)：617762