本文關(guān)鍵詞：分布式文件系統(tǒng)FastDFS的研究與應(yīng)用，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的發(fā)展,互聯(lián)網(wǎng)信息呈指數(shù)級別增長。以圖片,視頻,音頻等形式出現(xiàn)的信息增長更為迅速,因此如何來存儲和管理這些信息變得越來越難。傳統(tǒng)的存儲架構(gòu)已經(jīng)不能滿足要求,通過調(diào)查研究發(fā)現(xiàn),可以采用分布式文件存儲系統(tǒng)來解決這些問題。 本文在分析比較了國內(nèi)外的分布式文件存儲系統(tǒng)之后,選定了FastDFS作為底層存儲系統(tǒng)。該系統(tǒng)可以提供文件存儲,訪問和管理。本文改進了FastDFS分布式文件系統(tǒng)的負載均衡算法,將考慮的因子由總存儲空間變?yōu)榇鎯臻g利用率,連接數(shù)和性能三個因子。實驗分三種情況進行,一種是僅考慮存儲空間利用率的情況,第二種是考慮存儲空間利用率和連接數(shù)的情況,第三種是考慮存儲空間利用率,連接數(shù)和性能的情況。通過實驗結(jié)果發(fā)現(xiàn)三種情況的負載不均衡度分別為0.0010,0.0096和0.01147。改進的負載均衡算法比原算法負載均衡效果更加明顯。雖然僅考慮存儲空間利用率的算法負載均衡效果最好,但是加入連接數(shù)和性能因子之后更符合實際的應(yīng)用場景。最后針對新的算法做了優(yōu)化,將首要考慮的因子由存儲空間利用率變?yōu)樾阅?雖然負載均衡效果差一些,但是性能得到了保障,符合實際的情況。 本文第二個工作將FastDFS應(yīng)用于圖片處理系統(tǒng)中,使得系統(tǒng)對海量小文件的處理更加的高效,消除了原有圖片文件系統(tǒng)中的單點故障問題,而且也提高了訪問速度。文章從系統(tǒng)結(jié)構(gòu)設(shè)計到關(guān)鍵技術(shù)的實現(xiàn)等三個方面介紹了這個圖片處理系統(tǒng)。通過模擬實際環(huán)境測試,該系統(tǒng)能夠很好地滿足圖片處理系統(tǒng)對接收能力、并發(fā)處理能力和實時響應(yīng)能力、高擴展能力等方面的要求。 本文的圖片原型系統(tǒng)來源于東北凱亞有限公司的實際需要。本文改進了FastDFS系統(tǒng)的負載均衡算法,將該分布式文件系統(tǒng)應(yīng)用于圖片處理系統(tǒng)中。實驗結(jié)果表明,系統(tǒng)性能得到了提升。
【關(guān)鍵詞】：分布式存儲 FastDFS 負載均衡 圖片處理
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-9
• 1 緒論9-15
• 1.1 研究背景9-12
• 1.1.1 項目背景9-11
• 1.1.2 技術(shù)背景11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-13
• 1.3 論文的主要內(nèi)容和組織結(jié)構(gòu)13-15
• 2 分布式系統(tǒng)及相關(guān)技術(shù)15-26
• 2.1 分布式系統(tǒng)15
• 2.2 企業(yè)分布式存儲技術(shù)15-18
• 2.2.1 GFS系統(tǒng)15-17
• 2.2.2 Mogilefs系統(tǒng)17-18
• 2.3 FastDFS文件系統(tǒng)18-22
• 2.3.1 概述18
• 2.3.2 FastDFS基本架構(gòu)18-19
• 2.3.3 FastDFS特點19-20
• 2.3.4 FastDFS工作原理20-22
• 2.4 負載均衡技術(shù)22-25
• 2.4.1 負載均衡技術(shù)概述22
• 2.4.2 負載均衡的分類22-23
• 2.4.3 負載均衡算法23-25
• 2.5 本章小結(jié)25-26
• 3 FastDFS的負載均衡算法的研究26-44
• 3.1 負載均衡的定義及意義26
• 3.2 FastDFS負載均衡現(xiàn)有算法26-30
• 3.2.1 參數(shù)的定義26-28
• 3.2.2 FastDFS中現(xiàn)有Storage Server選擇思想28
• 3.2.3 現(xiàn)有組的評價方式28-29
• 3.2.4 Storage server選擇的算法描述29-30
• 3.3 現(xiàn)有算法的問題30
• 3.4 基于FastDFS的性能-負載動態(tài)負載均衡30-35
• 3.4.1 參數(shù)定義31-32
• 3.4.2 新算法的思想32-33
• 3.4.3 新算法的評價33-34
• 3.4.4 新算法的描述34-35
• 3.5 算法測試35-41
• 3.5.1 測試環(huán)境及方法35
• 3.5.2 FastDFS原有算法測試結(jié)果35-37
• 3.5.3 新算法的測試結(jié)果37-41
• 3.6 新算法的優(yōu)化41-43
• 3.7 本章小結(jié)43-44
• 4 基于FastDFS的圖片文件處理服務(wù)系統(tǒng)44-52
• 4.1 需求分析44
• 4.2 設(shè)計思想44-45
• 4.2.1 分解44
• 4.2.2 重構(gòu)44-45
• 4.2.3 整合45
• 4.3 系統(tǒng)架構(gòu)45-46
• 4.3.1 系統(tǒng)架構(gòu)規(guī)劃45-46
• 4.3.2 系統(tǒng)軟件架構(gòu)46
• 4.4 系統(tǒng)實現(xiàn)46-48
• 4.4.1 硬件環(huán)境46
• 4.4.2 軟件環(huán)境46
• 4.4.3 核心功能實現(xiàn)46-48
• 4.5 系統(tǒng)部署48-50
• 4.5.1 FastDFS的安裝部署48-49
• 4.5.2 ActiveMQ的安裝部署49-50
• 4.5.3 部署圖片處理系統(tǒng)50
• 4.6 系統(tǒng)測試50-51
• 4.7 本章小結(jié)51-52
• 結(jié)論52-53
• 參考文獻53-55
• 附錄A55-61
• 攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況61-62
• 致謝62-63

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前5條

1 魏薇,孫世新;XFS日志文件系統(tǒng)的關(guān)鍵技術(shù)研究[J];電腦開發(fā)與應(yīng)用;2005年03期

2 余慶;;分布式文件系統(tǒng)FastDFS架構(gòu)剖析[J];程序員;2010年11期

3 田榮華;盧顯良;侯孟書;王曉斌;;P2P分布式存儲系統(tǒng)[J];計算機科學(xué);2007年06期

4 黃書強,姚國祥;基于NFS和SMB的異構(gòu)網(wǎng)絡(luò)之間資源共享[J];江西科學(xué);2005年03期

5 王友良,葉柏龍;分布式系統(tǒng)中動態(tài)負載平衡的研究[J];科學(xué)技術(shù)與工程;2005年09期

  本文關(guān)鍵詞：分布式文件系統(tǒng)FastDFS的研究與應(yīng)用，，由筆耕文化傳播整理發(fā)布。

本文編號：352709