本文關(guān)鍵詞：基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲的研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著大數(shù)據(jù),云計算和物聯(lián)網(wǎng)等的迅猛發(fā)展,越來越多的數(shù)據(jù)需要被存儲和分析,傳統(tǒng)的存儲服務(wù)器在性能和擴(kuò)展性方面越來越不能滿足數(shù)據(jù)存儲現(xiàn)在和未來的需求。云存儲作為未來存儲發(fā)展的主要方向,對云存儲架構(gòu)的研究顯得迫切而重要。橫向擴(kuò)展存儲(Scale-out)相對于縱向擴(kuò)展存儲(Scale-up)由于在擴(kuò)展性,穩(wěn)定性,安全性等方面具有突出的優(yōu)勢,很適合作為云存儲的底層架構(gòu),越來越受到學(xué)術(shù)界和工業(yè)界的重視。與此同時,眾多的分布式文件系統(tǒng)也得到了長足的發(fā)展,GlusterF S作為其中設(shè)計思路獨(dú)特又在性能和擴(kuò)展性方面優(yōu)勢突出的一種開源分布式文件系統(tǒng),具有非常光明的前景。雖然橫向擴(kuò)展存儲具有明顯的優(yōu)勢,但存儲服務(wù)器的高功耗卻是存儲節(jié)點(diǎn)擴(kuò)展的一大制約因素,存儲密度不高也是亟待解決的瓶頸。而GlusterFS在安全性方面的不足已經(jīng)阻礙其進(jìn)一步的發(fā)展,其針對定制服務(wù)器的優(yōu)化也明顯不足。本文在深入分析傳統(tǒng)存儲架構(gòu)瓶頸和傳統(tǒng)橫向擴(kuò)展存儲的不足的基礎(chǔ)上,研究并提出了一種新型的橫向擴(kuò)展的云存儲方案。硬件方面,基于CPU芯片是服務(wù)器主板的主要功耗來源,降低CPU芯片的功耗可以有效降低其他功能單元的耗電量,本文詳細(xì)分析了CPU性能和功耗之間的關(guān)系,針對云存儲的數(shù)據(jù)類型和計算特征,概念性設(shè)計了“云存儲節(jié)點(diǎn)專用CPU芯片”,并通過減少外圍不必要芯片,設(shè)計了專門用于云存儲的微服務(wù)器。為了提高存儲密度,研究并實(shí)現(xiàn)了在2U機(jī)箱中單節(jié)點(diǎn)集成18塊3.5寸硬盤,并通過對固態(tài)硬盤優(yōu)化技術(shù)和萬兆以太網(wǎng)技術(shù)來提高I/O性能和帶寬。在此基礎(chǔ)上設(shè)計了低功耗高密度的基于微服務(wù)器的云存儲一體機(jī)。系統(tǒng)軟件方面,研究了現(xiàn)有的分布式文件系統(tǒng)GlusterFS,肯定了其在性能,擴(kuò)展等方面的優(yōu)勢。從緩存,合并小順序I/O,條帶化等方面研究了GlusterFS的優(yōu)化策略,并提出了針對性的改進(jìn)措施。在安全機(jī)制方面,分析了其不足之處,如沒有提供任何的身份驗證機(jī)制和訪問控制機(jī)制等,它采用的加解密算法—rot13,也是非常容易被破解。針對上述缺陷,本文主要從密鑰和身份驗證方面對GlusterFS文件系統(tǒng)在安全性方面進(jìn)行了研究和改進(jìn)。本文基于上述對云存儲服務(wù)器和GlusterFS 文件系統(tǒng)的研究對其進(jìn)行了實(shí)現(xiàn),對此云存儲系統(tǒng)的進(jìn)行了部署,并對節(jié)點(diǎn)的分配、卷的管理進(jìn)行了實(shí)際操作來驗證系統(tǒng)的可靠性,并設(shè)計了web管理平臺實(shí)現(xiàn)對整個集群的監(jiān)控和管理。最后通過對此系統(tǒng)的測試,驗證了本文提出的云存儲方案的可行性和性能優(yōu)勢。
【關(guān)鍵詞】：橫向擴(kuò)展 云存儲 低功耗 GlusterFS 安全性機(jī)制
【學(xué)位授予單位】：復(fù)旦大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333;TP309
【目錄】：

• 摘要6-7
• Abstract7-8
• 第一章 緒論8-12
• 1.1 研究背景和意義8-10
• 1.1.1 橫向擴(kuò)展云存儲產(chǎn)生的背景及其優(yōu)勢8-9
• 1.1.2 研究橫向擴(kuò)展云存儲技術(shù)的意義9-10
• 1.2 本文主要工作10-11
• 1.3 論文結(jié)構(gòu)11-12
• 第二章 橫向擴(kuò)展云存儲原理及相關(guān)技術(shù)分析12-30
• 2.1 信息存儲系統(tǒng)的發(fā)展歷程12-19
• 2.1.1 總線存儲體系結(jié)構(gòu)13-15
• 2.1.2 網(wǎng)絡(luò)存儲體系結(jié)構(gòu)15-18
• 2.1.3 虛擬存儲體系結(jié)構(gòu)18-19
• 2.2 不同擴(kuò)展方式及云存儲方案的分析與對比19-23
• 2.2.1 不同擴(kuò)展方式的分析與對比19-21
• 2.2.2 不同云存儲方案的分析與對比21-23
• 2.3 GlusterFS核心技術(shù)分析及其優(yōu)勢23-29
• 2.3.1 GlusterFS概述23-25
• 2.3.2 GlusterFS設(shè)計目標(biāo)25-26
• 2.3.3 GlusterFS總體架構(gòu)和設(shè)計26-28
• 2.3.4 GlusterFS技術(shù)特點(diǎn)28-29
• 2.4 本章小結(jié)29-30
• 第三章 云存儲系統(tǒng)架構(gòu)及可靠性設(shè)計30-37
• 3.1 云存儲分層可擴(kuò)展構(gòu)架的設(shè)計30-32
• 3.1.1 資源節(jié)點(diǎn)層31
• 3.1.2 云存儲站點(diǎn)層31-32
• 3.1.3 分布式存儲層32
• 3.2 云存儲可靠性機(jī)制分析32-36
• 3.2.1 RAID可靠性分析32-33
• 3.2.2 副本冗余可靠性分析33-34
• 3.2.3 糾刪碼可靠性分析34-35
• 3.2.4 系統(tǒng)可靠性分析35-36
• 3.3 本章小結(jié)36-37
• 第四章 低功耗高密度云存儲一體機(jī)的設(shè)計37-44
• 4.1 存儲服務(wù)器的低功耗設(shè)計37-41
• 4.1.1 存儲服務(wù)器的低功耗和高效能研究37-38
• 4.1.2 低功耗CPU的研究與設(shè)計38-41
• 4.2 存儲服務(wù)器的高密度設(shè)計41-43
• 4.2.1 傳統(tǒng)存儲服務(wù)器在云存儲領(lǐng)域的缺陷分析42
• 4.2.2 適用于高密度存儲的微服務(wù)器設(shè)計42-43
• 4.3 本章小結(jié)43-44
• 第五章 GlusterFS性能優(yōu)化及安全性改進(jìn)44-59
• 5.1 GlusterFS文件系統(tǒng)性能優(yōu)化44-47
• 5.1.1 緩存優(yōu)化技術(shù)44-45
• 5.1.2 合并順序小I/O優(yōu)化技術(shù)45-46
• 5.1.3 條帶化優(yōu)化技術(shù)46-47
• 5.2 Gluster的安全性研究及改進(jìn)47-58
• 5.2.1 密鑰的設(shè)計與管理48-55
• 5.2.2 身份驗證設(shè)計55-58
• 5.3 本章小結(jié)58-59
• 第六章 橫向擴(kuò)展云存儲的實(shí)現(xiàn)及驗證59-69
• 6.1 橫向擴(kuò)展云存儲系統(tǒng)的部署59-64
• 6.1.1 云存儲一體機(jī)的部署59-60
• 6.1.2 GlusterFS文件系統(tǒng)的部署與管理60-63
• 6.1.3 Web管理平臺設(shè)計63-64
• 6.2 測試與驗證64-68
• 6.2.1 測試環(huán)境與測試方法64-66
• 6.2.2 測試結(jié)果分析66-68
• 6.3 本章小結(jié)68-69
• 第七章 總結(jié)與展望69-71
• 7.1 總結(jié)69
• 7.2 展望69-71
• 參考文獻(xiàn)71-74
• 致謝74-75

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 余秦勇;陳林;童斌;;一種無中心的云存儲架構(gòu)分析[J];通信技術(shù);2012年08期

  本文關(guān)鍵詞：基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲的研究與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：339284