本文關鍵詞：基于分布式文件系統(tǒng)GlusterFS的橫向擴展云存儲的研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著大數(shù)據(jù),云計算和物聯(lián)網(wǎng)等的迅猛發(fā)展,越來越多的數(shù)據(jù)需要被存儲和分析,傳統(tǒng)的存儲服務器在性能和擴展性方面越來越不能滿足數(shù)據(jù)存儲現(xiàn)在和未來的需求。云存儲作為未來存儲發(fā)展的主要方向,對云存儲架構(gòu)的研究顯得迫切而重要。橫向擴展存儲(Scale-out)相對于縱向擴展存儲(Scale-up)由于在擴展性,穩(wěn)定性,安全性等方面具有突出的優(yōu)勢,很適合作為云存儲的底層架構(gòu),越來越受到學術界和工業(yè)界的重視。與此同時,眾多的分布式文件系統(tǒng)也得到了長足的發(fā)展,GlusterF S作為其中設計思路獨特又在性能和擴展性方面優(yōu)勢突出的一種開源分布式文件系統(tǒng),具有非常光明的前景。雖然橫向擴展存儲具有明顯的優(yōu)勢,但存儲服務器的高功耗卻是存儲節(jié)點擴展的一大制約因素,存儲密度不高也是亟待解決的瓶頸。而GlusterFS在安全性方面的不足已經(jīng)阻礙其進一步的發(fā)展,其針對定制服務器的優(yōu)化也明顯不足。本文在深入分析傳統(tǒng)存儲架構(gòu)瓶頸和傳統(tǒng)橫向擴展存儲的不足的基礎上,研究并提出了一種新型的橫向擴展的云存儲方案。硬件方面,基于CPU芯片是服務器主板的主要功耗來源,降低CPU芯片的功耗可以有效降低其他功能單元的耗電量,本文詳細分析了CPU性能和功耗之間的關系,針對云存儲的數(shù)據(jù)類型和計算特征,概念性設計了“云存儲節(jié)點專用CPU芯片”,并通過減少外圍不必要芯片,設計了專門用于云存儲的微服務器。為了提高存儲密度,研究并實現(xiàn)了在2U機箱中單節(jié)點集成18塊3.5寸硬盤,并通過對固態(tài)硬盤優(yōu)化技術和萬兆以太網(wǎng)技術來提高I/O性能和帶寬。在此基礎上設計了低功耗高密度的基于微服務器的云存儲一體機。系統(tǒng)軟件方面,研究了現(xiàn)有的分布式文件系統(tǒng)GlusterFS,肯定了其在性能,擴展等方面的優(yōu)勢。從緩存,合并小順序I/O,條帶化等方面研究了GlusterFS的優(yōu)化策略,并提出了針對性的改進措施。在安全機制方面,分析了其不足之處,如沒有提供任何的身份驗證機制和訪問控制機制等,它采用的加解密算法—rot13,也是非常容易被破解。針對上述缺陷,本文主要從密鑰和身份驗證方面對GlusterFS文件系統(tǒng)在安全性方面進行了研究和改進。本文基于上述對云存儲服務器和GlusterFS 文件系統(tǒng)的研究對其進行了實現(xiàn),對此云存儲系統(tǒng)的進行了部署,并對節(jié)點的分配、卷的管理進行了實際操作來驗證系統(tǒng)的可靠性,并設計了web管理平臺實現(xiàn)對整個集群的監(jiān)控和管理。最后通過對此系統(tǒng)的測試,驗證了本文提出的云存儲方案的可行性和性能優(yōu)勢。
【關鍵詞】：橫向擴展 云存儲 低功耗 GlusterFS 安全性機制
【學位授予單位】：復旦大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333;TP309
【目錄】：

• 摘要6-7
• Abstract7-8
• 第一章 緒論8-12
• 1.1 研究背景和意義8-10
• 1.1.1 橫向擴展云存儲產(chǎn)生的背景及其優(yōu)勢8-9
• 1.1.2 研究橫向擴展云存儲技術的意義9-10
• 1.2 本文主要工作10-11
• 1.3 論文結(jié)構(gòu)11-12
• 第二章 橫向擴展云存儲原理及相關技術分析12-30
• 2.1 信息存儲系統(tǒng)的發(fā)展歷程12-19
• 2.1.1 總線存儲體系結(jié)構(gòu)13-15
• 2.1.2 網(wǎng)絡存儲體系結(jié)構(gòu)15-18
• 2.1.3 虛擬存儲體系結(jié)構(gòu)18-19
• 2.2 不同擴展方式及云存儲方案的分析與對比19-23
• 2.2.1 不同擴展方式的分析與對比19-21
• 2.2.2 不同云存儲方案的分析與對比21-23
• 2.3 GlusterFS核心技術分析及其優(yōu)勢23-29
• 2.3.1 GlusterFS概述23-25
• 2.3.2 GlusterFS設計目標25-26
• 2.3.3 GlusterFS總體架構(gòu)和設計26-28
• 2.3.4 GlusterFS技術特點28-29
• 2.4 本章小結(jié)29-30
• 第三章 云存儲系統(tǒng)架構(gòu)及可靠性設計30-37
• 3.1 云存儲分層可擴展構(gòu)架的設計30-32
• 3.1.1 資源節(jié)點層31
• 3.1.2 云存儲站點層31-32
• 3.1.3 分布式存儲層32
• 3.2 云存儲可靠性機制分析32-36
• 3.2.1 RAID可靠性分析32-33
• 3.2.2 副本冗余可靠性分析33-34
• 3.2.3 糾刪碼可靠性分析34-35
• 3.2.4 系統(tǒng)可靠性分析35-36
• 3.3 本章小結(jié)36-37
• 第四章 低功耗高密度云存儲一體機的設計37-44
• 4.1 存儲服務器的低功耗設計37-41
• 4.1.1 存儲服務器的低功耗和高效能研究37-38
• 4.1.2 低功耗CPU的研究與設計38-41
• 4.2 存儲服務器的高密度設計41-43
• 4.2.1 傳統(tǒng)存儲服務器在云存儲領域的缺陷分析42
• 4.2.2 適用于高密度存儲的微服務器設計42-43
• 4.3 本章小結(jié)43-44
• 第五章 GlusterFS性能優(yōu)化及安全性改進44-59
• 5.1 GlusterFS文件系統(tǒng)性能優(yōu)化44-47
• 5.1.1 緩存優(yōu)化技術44-45
• 5.1.2 合并順序小I/O優(yōu)化技術45-46
• 5.1.3 條帶化優(yōu)化技術46-47
• 5.2 Gluster的安全性研究及改進47-58
• 5.2.1 密鑰的設計與管理48-55
• 5.2.2 身份驗證設計55-58
• 5.3 本章小結(jié)58-59
• 第六章 橫向擴展云存儲的實現(xiàn)及驗證59-69
• 6.1 橫向擴展云存儲系統(tǒng)的部署59-64
• 6.1.1 云存儲一體機的部署59-60
• 6.1.2 GlusterFS文件系統(tǒng)的部署與管理60-63
• 6.1.3 Web管理平臺設計63-64
• 6.2 測試與驗證64-68
• 6.2.1 測試環(huán)境與測試方法64-66
• 6.2.2 測試結(jié)果分析66-68
• 6.3 本章小結(jié)68-69
• 第七章 總結(jié)與展望69-71
• 7.1 總結(jié)69
• 7.2 展望69-71
• 參考文獻71-74
• 致謝74-75

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 余秦勇;陳林;童斌;;一種無中心的云存儲架構(gòu)分析[J];通信技術;2012年08期

  本文關鍵詞：基于分布式文件系統(tǒng)GlusterFS的橫向擴展云存儲的研究與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：339284