FastDFS分布式文件系統(tǒng)作為當(dāng)今網(wǎng)絡(luò)環(huán)境下主流的中小文件存儲架構(gòu),它有著輕量級、高性能與高擴(kuò)展的特點(diǎn),被各大企業(yè)廣泛應(yīng)用。其中,新增存儲節(jié)點(diǎn)作為FastDFS降低系統(tǒng)負(fù)載、增加系統(tǒng)吞吐量與容災(zāi)備份的重要操作,具有重要意義。但是在新增存儲節(jié)點(diǎn)所必須完成的源文件同步任務(wù)分配中,它采取的方法過于簡單,工作效率低下,并且在原有對外上傳下載等服務(wù),產(chǎn)生的服務(wù)負(fù)載基礎(chǔ)上,容易造成負(fù)載傾斜與性能瓶頸,影響到對外服務(wù)質(zhì)量,從而改進(jìn)原有的新存儲節(jié)點(diǎn)同步任務(wù)分配方法,不僅可以提高同步效率,還能降低系統(tǒng)整體負(fù)載,保證系統(tǒng)對外服務(wù)的穩(wěn)定性。因此,本文基于FastDFS新存儲節(jié)點(diǎn)同步任務(wù)分配問題,提出LBB-STA算法完成多節(jié)點(diǎn)負(fù)載均衡的計(jì)算,計(jì)算結(jié)果作為考慮老存儲節(jié)點(diǎn)同步任務(wù)分配調(diào)度優(yōu)先執(zhí)行新存儲節(jié)點(diǎn)同步任務(wù)的參考標(biāo)準(zhǔn),結(jié)合多個(gè)老存儲節(jié)點(diǎn)并發(fā)任務(wù)執(zhí)行機(jī)制,合作完成新存儲節(jié)點(diǎn)同步任務(wù)。該算法以改進(jìn)原有的FastDFS新增存儲節(jié)點(diǎn)同步任務(wù)分配算法為創(chuàng)新點(diǎn),借鑒經(jīng)典負(fù)載均衡算法的思想與適用環(huán)境,充分考慮老存儲節(jié)點(diǎn)性能與服務(wù)負(fù)載,通過對存儲節(jié)點(diǎn)狀態(tài)信息的周期采集,計(jì)算處理性能容余率,按照處理性能容余率進(jìn)行分組處理... 

【文章來源】：武漢紡織大學(xué)湖北省

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【部分圖文】：

抽象流程圖

圖 2.2 FastDFS 系統(tǒng)架構(gòu)圖之前的介紹，可以知道FastDFS沒有專門存儲元數(shù)據(jù)與文件索引信息的服務(wù)件上傳操作時(shí) Storage Server 存儲節(jié)點(diǎn)會根據(jù)文件 fileID、組名、磁盤名、文件 ID 然后返回給 Client，之后 Client 可以依據(jù)該文件 ID 精確的確定到存放位置，所以不需要專門存儲元數(shù)據(jù)與文件索引信息的服務(wù)器。一個(gè)文：up 1/M01/04/0F/WSsd34dfDDDDDSajkyuyabxzAiSQghg8714.h中 Group 1 是 組 名 ， M01 是 磁 盤 名 ， 04/0F 是 文 件 存 儲 的 目 錄 位 dfDDDDDSajkyuyabxzAiSQghg8714 是文件名，h 是文件后綴信息。FastDFS 設(shè)計(jì)理念tDFS 對比其他類 UNIX 文件系統(tǒng)在設(shè)計(jì)理念上有三大特點(diǎn)，分別是輕量級對等結(jié)構(gòu)[24]。

這種數(shù)據(jù)存儲方式的最大優(yōu)點(diǎn)是系統(tǒng)整體框架設(shè)計(jì)上可以省去存息與元數(shù)據(jù)的管理服務(wù)器，這就是 FastDFS 輕量級的具體體現(xiàn)。組方式：分組方式主要體現(xiàn)在 FastDFS 文件系統(tǒng)與其他 GFS、件容余備份原理上的不同。GFS 系統(tǒng)在數(shù)據(jù)容余備份上采取的是略，源文件存儲在哪一臺服務(wù)器以及備份數(shù)據(jù)存儲在哪些服務(wù)器假設(shè) GFS 系統(tǒng)集群中有五臺存儲服務(wù)器，默認(rèn)備份數(shù)目為 2，此數(shù)據(jù)需要存儲，那么可能的存儲情況如圖 2.3 所示。與之不同的是分組的方式來達(dá)到文件容余備份的目標(biāo)，每一臺 Storage Server 存之前都會在 storage.conf 文件中配置組（Group）信息，組（Grou結(jié)構(gòu)由一臺或多臺 Storage Server 存儲節(jié)點(diǎn)組成，整個(gè)集群系統(tǒng)的全部組（Group）存儲容量之和，組（Group）的存儲容量受組內(nèi)的 Storage Server 存儲節(jié)點(diǎn)影響，相同組（Group）內(nèi)的 Storage S的存儲內(nèi)容完全相同、互為備份。采用這種結(jié)構(gòu)的好處是可以有、實(shí)現(xiàn)應(yīng)用隔離、指定數(shù)據(jù)存儲位置、增加系統(tǒng)的可控性與可擴(kuò)

【參考文獻(xiàn)】：
期刊論文
[1]存儲虛擬化技術(shù)的研究[J]. 劉素嬌.  電腦編程技巧與維護(hù). 2018(10)
[2]分布式文件系統(tǒng)簡要對比與分析[J]. 江俊彥,宗丹,林銳.  內(nèi)燃機(jī)與配件. 2018(01)
[3]第39次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》發(fā)布[J].   中國廣播. 2017(02)
[4]基于CPU和內(nèi)存利用率的負(fù)載均衡算法的研究[J]. 楊明極,王鶴,趙加鳳.  科技通報(bào). 2016(04)
[5]基于共享內(nèi)存的多核時(shí)代數(shù)據(jù)結(jié)構(gòu)研究[J]. 周維,周可人,欒鐘治,姚紹文,錢德沛.  軟件學(xué)報(bào). 2016(04)
[6]用逐次最小權(quán)值輪詢算法實(shí)現(xiàn)公平和低時(shí)延分組調(diào)度[J]. 劉桂開.  系統(tǒng)科學(xué)與數(shù)學(xué). 2014(09)
[7]計(jì)算機(jī)集群中負(fù)載均衡技術(shù)的研究[J]. 張文斌.  電子測試. 2011(11)
[8]分布式文件系統(tǒng)的動態(tài)負(fù)載均衡算法[J]. 張聰萍,尹建偉.  小型微型計(jì)算機(jī)系統(tǒng). 2011(07)
[9]分布式文件系統(tǒng)FastDFS架構(gòu)剖析[J]. 余慶.  程序員. 2010(11)
[10]服務(wù)器負(fù)載均衡技術(shù)研究[J]. 周瑩蓮,劉甫.  計(jì)算機(jī)與數(shù)字工程. 2010(04)

碩士論文
[1]FastDFS負(fù)載均衡算法的改進(jìn)及其在水土保持網(wǎng)站系統(tǒng)的應(yīng)用[D]. 周博聞.華中科技大學(xué) 2016
[2]FastDFS分布式文件系統(tǒng)負(fù)載均衡算法的改進(jìn)研究[D]. 熊建波.武漢理工大學(xué) 2015
[3]云計(jì)算環(huán)境下負(fù)載均衡策略的研究[D]. 譚乾.廈門大學(xué) 2014
[4]分布式文件系統(tǒng)FastDFS的研究與應(yīng)用[D]. 韓增曦.大連理工大學(xué) 2014
[5]基于集群的動態(tài)反饋負(fù)載均衡算法的研究[D]. 魏欽磊.重慶大學(xué) 2013
[6]基于動態(tài)反饋機(jī)制的集群負(fù)載均衡算法研究[D]. 童瑞霞.武漢理工大學(xué) 2011
[7]分布式文件系統(tǒng)小文件性能優(yōu)化技術(shù)研究與實(shí)現(xiàn)[D]. 李柱.國防科學(xué)技術(shù)大學(xué) 2008
[8]基于集群的動態(tài)反饋負(fù)載均衡系統(tǒng)的研究與應(yīng)用[D]. 湯君.天津大學(xué) 2008



本文編號：3622483