發(fā)布時間：2017-08-08 02:10

  本文關鍵詞：基于FastDFS云存儲系統(tǒng)的研究與設計

  更多相關文章： 云存儲 FastDFS 分布式文件系統(tǒng)

【摘要】：隨著信息技術的飛速發(fā)展,大量的數據需要進行存儲,為了解決這種問題,企業(yè)往往需要購買大量的存儲設備,這不但需要很高的成本,而且大量的數據管理困難,不易維護,這種方式暴露出種種的弊端。云存儲作為一種隨著云計算而發(fā)展出來的一種技術,其關注的重心恰恰是海量數據的存儲和管理,同時因為具備彈性擴展、方便海量數據管理以及低成本等特點,被認為是未來數據存儲的較好選擇。它使用了分布式文件系統(tǒng)和集群等多種技術,將分散在網絡中的類型各異的存儲設備整合在一起,作為一個整體提供數據的存儲和接入訪問。而對于用戶來說,使用云存儲隨時隨地都可以通過網絡訪問云上的資源。FastDFS是一款由國人研發(fā)并且開放源碼的分布式文件系統(tǒng),在類UNIX系統(tǒng)上能很好的工作。對比其他的分布式文件系統(tǒng),它的優(yōu)勢是量級較輕,滿足高并發(fā)訪問的需求,容易擴展,具備負載均衡功能,并且能自動進行文件同步。另外對小文件的存儲性能較好。本文在教研室現有的云平臺基礎之上,探索一種以FastDFS為基礎的云存儲方式。本文首先對FastDFS的系統(tǒng)架構、運行以及同步機制進行了研究。其次從功能和性能兩個方面對系統(tǒng)展開需求分析。在借鑒云存儲的典型架構模型的基礎之上,設計了基于FastDFS的云存儲系統(tǒng)的總體架構。自頂向下分別是用戶訪問層、應用接口層、管理層以及數據存儲層。然后依據需求分析以及總體架構對系統(tǒng)的各個層次進行了詳細的設計與實現,在用戶訪問層,采用B/S模式,結合Bootstrap開源框架設計了用戶界面。在應用接口層,對用戶訪問時的負載均衡進行了研究,并設計了REST API接口。在管理層實現需求分析中提出的功能需求,如普通用戶對文件上傳、下載、刪除以及文件夾的各種操作,系統(tǒng)管理員對于用戶的管理和集群的監(jiān)控等。同時,研究了FastDFS原有的集群監(jiān)控原理,增加了對CPU、內存使用、磁盤讀寫以及網絡I/O的監(jiān)控;研究了FastDFS調度算法,分析其存在的缺陷和不足,并提出了動態(tài)負載均衡算法。在管理層和存儲集群之間,使用epoll和線程池的方式設計了接口服務器,能夠及時響應大量的并發(fā)請求,滿足系統(tǒng)對性能的要求,并且重新定義了FastDFS API接口,將其封裝到線程池的任務處理邏輯中。本文最后對整個系統(tǒng)進行了功能和性能方面的測試,證明基于FastDFS的云存儲系統(tǒng)滿足預期的設計要求。
【關鍵詞】：云存儲 FastDFS 分布式文件系統(tǒng)
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-16
• 1.1 研究工作的背景與意義11-12
• 1.2 國內外研究現狀12-14
• 1.2.1 國外研究現狀12-13
• 1.2.2 國內研究現狀13-14
• 1.3 本文的主要內容與工作14-15
• 1.4 論文的組織結構15-16
• 第二章 相關理論知識研究16-25
• 2.1 云存儲概述16-17
• 2.1.1 云存儲簡介16
• 2.1.2 云存儲架構模型及關鍵技術16-17
• 2.2 FastDFS研究17-24
• 2.2.1 FastDFS架構18-19
• 2.2.2 FastDFS運行機制19-22
• 2.2.3 FastDFS同步機制22-23
• 2.2.4 FastDFS與其他文件系統(tǒng)對比23-24
• 2.3 本章小結24-25
• 第三章 云存儲系統(tǒng)的分析與總體設計25-46
• 3.1 系統(tǒng)需求分析25-27
• 3.1.1 功能需求分析25-26
• 3.1.2 性能需求分析26-27
• 3.2 云存儲系統(tǒng)的總體設計27-29
• 3.2.1 系統(tǒng)架構27-28
• 3.2.2 主要功能模塊28-29
• 3.3 負載均衡與高可用設計29-32
• 3.3.1 負載均衡設計30-31
• 3.3.2 高可用設計31-32
• 3.4 數據庫的設計32-36
• 3.4.1 數據庫集群32-33
• 3.4.2 數據表設計33-36
• 3.5 接口服務器的設計36-40
• 3.5.1 服務器模型設計36-38
• 3.5.2 線程池的設計38-40
• 3.6 FastDFS負載均衡算法的分析與設計40-45
• 3.6.1 FastDFS已有的負載均衡算法分析40-41
• 3.6.2 FastDFS負載均衡算法存在的不足41-42
• 3.6.3 FastDFS負載均衡算法的改進42-45
• 3.7 本章小結45-46
• 第四章 云存儲系統(tǒng)的詳細設計與實現46-76
• 4.1 用戶接入的詳細設計與實現46-49
• 4.1.1 用戶交互界面46
• 4.1.2 負載均衡與高可用46-48
• 4.1.3 REST API接口48-49
• 4.2 數據庫接口的詳細設計與實現49-52
• 4.2.1 數據庫的安裝部署49-50
• 4.2.2 數據庫操作接口50-52
• 4.3 主要功能模塊的詳細設計與實現52-63
• 4.3.1 用戶模塊52-53
• 4.3.2 文件上傳模塊53-55
• 4.3.3 文件下載模塊55-57
• 4.3.4 文件夾模塊57-58
• 4.3.5 刪除模塊58-59
• 4.3.6 集群監(jiān)控模塊59-63
• 4.4 接口服務器的詳細設計與實現63-70
• 4.4.1 主線程的詳細設計與實現63-65
• 4.4.2 線程池的詳細設計與實現65-70
• 4.5 FastDFS動態(tài)負載均衡算法的實現70-75
• 4.5.1 算法指標的獲取70-71
• 4.5.2 算法的實現過程71-73
• 4.5.3 算法測試與分析73-75
• 4.6 本章小結75-76
• 第五章 系統(tǒng)測試及分析76-86
• 5.1 測試環(huán)境76-79
• 5.1.1 環(huán)境配置76-77
• 5.1.2 搭建環(huán)境77-79
• 5.2 測試及分析79-85
• 5.2.1 功能測試79-82
• 5.2.2 性能測試82-85
• 5.3 本章小結85-86
• 第六章 全文總結與展望86-88
• 6.1 全文總結86-87
• 6.2 后續(xù)工作展望87-88
• 致謝88-89
• 參考文獻89-92

【參考文獻】

中國期刊全文數據庫 前6條

1 魏斌;;高性能MySQL集群部署[J];河南科技;2014年14期

2 李邐;;淺析云計算背景下云存儲的優(yōu)勢與劣勢[J];計算機光盤軟件與應用;2013年23期

3 余慶;;分布式文件系統(tǒng)FastDFS架構剖析[J];程序員;2010年11期

4 張松敏;陶榮;于國華;;安全散列算法SHA-1的研究[J];計算機安全;2010年10期

5 王愛寧;;MYSQL Cluster研究[J];電腦編程技巧與維護;2010年04期

6 吳松,金海;存儲虛擬化研究[J];小型微型計算機系統(tǒng);2003年04期

中國碩士學位論文全文數據庫 前6條

1 周子涵;基于FastDFS的目錄文件系統(tǒng)的研究與實現[D];電子科技大學;2015年

2 鄭景;基于MooseFS的云存儲系統(tǒng)的研究與實現[D];長安大學;2013年

3 李文明;基于開源技術的高性能網站架構研究[D];河北工程大學;2012年

4 張棋勝;云計算平臺監(jiān)控系統(tǒng)的研究與應用[D];北京交通大學;2011年

5 谷建光;基于HTTP協(xié)議的多線程網絡下載框架的研究與實現[D];南京理工大學;2011年

6 孟凡彥;基于線程池機制的高性能DHCP服務器研究與實現[D];西北工業(yè)大學;2005年

，

本文編號：637745