本文關鍵詞：基于HDFS的云存儲系統(tǒng)的設計與實現(xiàn)

  更多相關文章： 云存儲 小文件存儲 HDFS NFS 配額管理

【摘要】：近年來,云計算由于其可以快速分析處理大量數(shù)據(jù)而普及。而大容量高性能的存儲系統(tǒng)是云計算的基礎。其中,分布式存儲系統(tǒng)HDFS作為Google File System最為知名的開源實現(xiàn),已經(jīng)被廣泛使用和研究。它為各大公司和科研機構搭建云存儲服務提供了很好的參考。然而,HDFS作為云計算的輔助系統(tǒng),自身還存在小文件存儲效率低下等不足,由于這些不足導致HDFS本身是無法直接提供針對商業(yè)需求的應用。為了解決這些問題,本文首先提出針對小文件存儲的優(yōu)化方案并根據(jù)實際商業(yè)需求設計并實現(xiàn)了基于HDFS集群的分布式文件存儲系統(tǒng)。 本文所設計的系統(tǒng)主要包括兩種訪問模式：Web模式和NFS模式。重點研究了小文件存儲優(yōu)化、用戶管理、配額管理、NFS和HDFS的融合等方面。本文的主要工作如下： 1、針對小文件存儲提出了優(yōu)化方案,并進行了仿真驗證。 2、設計出一套完整的針對企業(yè)級用戶需求的解決方案,從客戶端的設計到整個系統(tǒng)的架構,從客戶的需求分析到功能點的實現(xiàn),都給出了非常詳盡的描述。 3、本文完成了三大部分的實現(xiàn),首先完成了基于Web模式的云存儲系統(tǒng),主要實現(xiàn)了用戶登錄,配額管理,文件共享等重要功能。然后將NFS引入云存儲系統(tǒng),和HDFS分布式集群系統(tǒng)完成對接,實現(xiàn)了用戶可以訪問各自的獨立空間。最后完成了后臺管理系統(tǒng)。 4、針對本系統(tǒng)的兩種使用模式,使用黑盒子技術設計了非常詳盡的測試用例來測試它們各自的性能,并在上傳文件、下載文件和不同并發(fā)下上傳文件這三個場景里進行性能的比較。 本文首先針對小文件存儲設計了優(yōu)化方案,通過仿真實驗表明優(yōu)化方案在內存使用效率和文件讀取效率方面提高明顯。之后利用HDFS作為基礎設計并實現(xiàn)了符合商業(yè)需求的分布式存儲系統(tǒng),成功將NFS和HDFS進行融合。在實際的測試和應用當中,系統(tǒng)的功能全面而實用、性能也表現(xiàn)良好。
【關鍵詞】：云存儲 小文件存儲 HDFS NFS 配額管理
【學位授予單位】：中國科學技術大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 表格11-12
• 插圖12-14
• 第1章 緒論14-20
• 1.1 云存儲研究背景14-16
• 1.1.1 云存儲的概念14-15
• 1.1.2 云存儲的優(yōu)勢15-16
• 1.2 本文的研究意義16-17
• 1.3 研究現(xiàn)狀17-18
• 1.3.1 國外云儲存研究現(xiàn)狀17
• 1.3.2 國內云儲存研究現(xiàn)狀17-18
• 1.4 本文結構安排18-20
• 第2章 云存儲系統(tǒng)關鍵技術20-30
• 2.1 HDFS概述20-21
• 2.2 HDFS的系統(tǒng)架構21-23
• 2.2.1 體系架構21
• 2.2.2 各節(jié)點角色及功能分析21-23
• 2.3 HDFS讀寫機制分析23-25
• 2.3.1 文件的讀取23-24
• 2.3.2 文件的寫入24-25
• 2.4 HDFS的數(shù)據(jù)存儲技術分析25-27
• 2.4.1 備份策略25-26
• 2.4.2 HDFS的負載均衡機制26
• 2.4.3 HDFS的容錯機制26-27
• 2.5 網(wǎng)絡文件系統(tǒng)27-29
• 2.5.1 NFS體系結構27-28
• 2.5.2 NFS組件28-29
• 2.6 本章小結29-30
• 第3章 針對小文件存儲的優(yōu)化30-34
• 3.1 小文件存儲的問題30
• 3.2 小文件存儲的優(yōu)化方案30-32
• 3.3 仿真實驗及分析32-34
• 第4章 云存儲系統(tǒng)的設計34-44
• 4.1 系統(tǒng)需求34-36
• 4.1.1 系統(tǒng)總體需求分析34-35
• 4.1.2 系統(tǒng)功能分析35-36
• 4.1.3 系統(tǒng)設計目標36
• 4.2 系統(tǒng)架構36-38
• 4.3 客戶端設計38-39
• 4.3.1 Web界面應用38
• 4.3.2 NFS客戶端38-39
• 4.4 服務端設計39-43
• 4.4.1 數(shù)據(jù)訪問模塊39-40
• 4.4.2 系統(tǒng)數(shù)據(jù)管理模塊40
• 4.4.3 用戶管理模塊40
• 4.4.4 配額管理模塊40
• 4.4.5 系統(tǒng)數(shù)據(jù)庫設計40-43
• 4.5 本章小結43-44
• 第5章 云存儲系統(tǒng)的實現(xiàn)44-62
• 5.1 云存儲系統(tǒng)環(huán)境搭建44-47
• 5.1.1 服務器集群的搭建44-46
• 5.1.2 開發(fā)環(huán)境搭建46-47
• 5.2 基于Web模式的云儲存系統(tǒng)功能實現(xiàn)47-53
• 5.2.1 功能列表47
• 5.2.2 用戶登錄47-48
• 5.2.3 文件上傳48-50
• 5.2.4 文件下載50-51
• 5.2.5 文件共享51-52
• 5.2.6 文件列表瀏覽52
• 5.2.7 文件搜索52-53
• 5.2.8 文件的其它操作53
• 5.3 基于NFS模式的云存儲系統(tǒng)功能實現(xiàn)53-56
• 5.3.1 功能列表53
• 5.3.2 本地掛載53-55
• 5.3.3 文件操作55-56
• 5.4 存儲系統(tǒng)展示56-60
• 5.4.1 基于Web模式的云存儲系統(tǒng)展示56-58
• 5.4.2 基于NFS模式的云存儲系統(tǒng)展示58-59
• 5.4.3 后臺管理系統(tǒng)展示59-60
• 5.5 本章小結60-62
• 第6章 系統(tǒng)測試與分析62-66
• 6.1 功能測試與分析62-63
• 6.2 性能測試與分析63-65
• 6.3 本章小結65-66
• 第7章 總結與展望66-68
• 7.1 論文總結66
• 7.2 工作展望66-68
• 參考文獻68-70
• 致謝70-72
• 在讀期間發(fā)表的學術論文與取得的研究成果72

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 謝謙 ,張立強 ,吳健 ,孫玉芳;Linux標準化國際動態(tài)[J];信息技術與標準化;2004年12期

2 楊岳湘;鄧文平;鄧勁生;李陽;;基于云存儲的網(wǎng)盤系統(tǒng)架構及關鍵技術研究[J];電信科學;2012年10期

3 劉湛;錢薇;李斯波;;網(wǎng)絡文件系統(tǒng)的數(shù)據(jù)一致性研究[J];艦船電子工程;2008年07期

4 周婧;王意潔;阮煒;李思昆;;面向海量數(shù)據(jù)的數(shù)據(jù)一致性研究[J];計算機科學;2006年04期

5 劉金芝;余丹;朱率率;;一種新的云存儲服務模型研究[J];計算機應用研究;2011年05期

6 劉貝;湯斌;;云存儲原理及發(fā)展趨勢[J];科技信息;2011年05期

7 鄧鵬;李枚毅;何誠;;Namenode單點故障解決方案研究[J];計算機工程;2012年21期

8 李林朋;;淺析網(wǎng)盤系統(tǒng)結構中云存儲技術[J];信息通信;2013年07期

9 王泰格;邵玉如;楊翌;;分布式存儲系統(tǒng)介紹及其數(shù)據(jù)一致性實現(xiàn)方法探究[J];企業(yè)技術開發(fā);2012年22期

10 向華;關于白盒測試基本方法的分析[J];江漢大學學報(自然科學版);2003年01期

，

本文編號：861878