進(jìn)入21世紀(jì),隨著移動(dòng)通訊網(wǎng)絡(luò)環(huán)境的不斷完善以及智能手機(jī)的迅速普及,移動(dòng)互聯(lián)網(wǎng)迅猛崛起。移動(dòng)互聯(lián)網(wǎng)每天產(chǎn)生海量的文本、圖片、音視頻等小容量文件,而當(dāng)前以GFS和HDFS為代表的分布式文件存儲(chǔ)系統(tǒng)主要針對(duì)大文件存儲(chǔ)進(jìn)行設(shè)計(jì),缺乏對(duì)小文件存儲(chǔ)管理的針對(duì)性優(yōu)化,因此在存儲(chǔ)小文件時(shí)存在元數(shù)據(jù)服務(wù)器容量受限、系統(tǒng)訪問效率低下以及存儲(chǔ)資源利用率不高等問題。此外,當(dāng)前分布式文件系統(tǒng)中大多采用的周期性動(dòng)態(tài)反饋負(fù)載均衡算法存在一定缺陷。在該算法中,存儲(chǔ)節(jié)點(diǎn)周期性的向調(diào)度節(jié)點(diǎn)反饋負(fù)載信息,但反饋周期的長(zhǎng)度難以確定。反饋周期過短,會(huì)造成額外的網(wǎng)絡(luò)開銷,增大網(wǎng)絡(luò)負(fù)載;反饋周期過長(zhǎng),調(diào)度節(jié)點(diǎn)獲取負(fù)載信息的實(shí)時(shí)性降低。為此,本論文提出了一種新的可用于分布式文件系統(tǒng)的負(fù)載均衡算法;并設(shè)計(jì)實(shí)現(xiàn)了一個(gè)面向小文件的分布式文件存儲(chǔ)管理系統(tǒng),該系統(tǒng)基于FastDFS實(shí)現(xiàn)底層存儲(chǔ),結(jié)合Elasticsearch的強(qiáng)大檢索功能實(shí)現(xiàn)文件的多維度搜索。本論文的主要工作:(1)為解決當(dāng)前分布式文件系統(tǒng)中負(fù)載均衡算法存在的問題,提出一種新的基于QoS的自適應(yīng)動(dòng)態(tài)反饋負(fù)載均衡算法——QoS-ADFLB算法。(2)以FastDFS作為底層存...

【文章頁數(shù)】：99 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１分布式文件系統(tǒng)架構(gòu)圖??分布式文件系統(tǒng)大都采用Ｍ／Ｓ架構(gòu)，如圖２－１所示

Ｉ??圖２－１分布式文件系統(tǒng)架構(gòu)圖??分布式文件系統(tǒng)大都采用Ｍ／Ｓ架構(gòu)，如圖２－１所示。分布式文件系統(tǒng)一般由控制服??務(wù)器、存儲(chǔ)服務(wù)器和客戶端三部分［１８］構(gòu)成�？刂品⻊�(wù)器主要負(fù)責(zé)整個(gè)分布式文件系統(tǒng)??９??

圖２－２?ＧＦＳ系統(tǒng)架構(gòu)圖??ＧＦＳ將文件分割為若干數(shù)據(jù)塊（Ｃｈｕｎｋ），每個(gè)數(shù)據(jù)塊的大小是固定的，一般為６４ＭＢ

擔(dān)并恢復(fù)那些失效的組件；針對(duì)大文件存儲(chǔ)進(jìn)行設(shè)計(jì)，保證多用戶并發(fā)操作時(shí)數(shù)據(jù)追加??的原子性。??ＧＦＳ的系統(tǒng)架構(gòu)如圖２－２所示。ＧＦＳ集群由三個(gè)角色構(gòu)成，分別為控制節(jié)點(diǎn)（Ｍａｓｔｅｒ）、??數(shù)據(jù)塊節(jié)點(diǎn)（Ｃｈｕｎｋ?Ｓｅｒｖｅｒ）以及客戶端（Ｃｌｉｅｎｔ）。控制節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)管理文件元....

圖２－３?ＨＤＦＳ系統(tǒng)架構(gòu)圖??在ＨＤＦＳ中，ＮａｍｅＮｏｄｅ節(jié)點(diǎn)是中心服務(wù)器，其不存儲(chǔ)原文件數(shù)據(jù)

ＨＤＦＳ是Ａｐａｃｈｅ軟件基金會(huì)根據(jù)ＧＦＳ的論文概念模型進(jìn)行設(shè)計(jì)實(shí)現(xiàn)的開源分布式??文件系統(tǒng)，用于作為Ｈａｄｏｏｐ［１９］的存儲(chǔ)系統(tǒng)。ＨＤＦＳ作為ＧＦＳ的一個(gè)最重要的實(shí)現(xiàn)，??ＨＤＦＳ與ＧＦＳ的設(shè)計(jì)目標(biāo)高度一致。ＨＤＦＳ架構(gòu)如圖２－３所示，系統(tǒng)整體由ＮａｍｅＮｏｄｅ??節(jié)點(diǎn)、Ｄａ....

圖２－６文件下載過程??下載文件時(shí)，Ｃｌｉｅｎｔ將下載請(qǐng)求發(fā)送至Ｔｒａｃｋｅｒ，?＿Ｆ載請(qǐng)求中包含文件標(biāo)識(shí)符

Ｉ?Ｉ??Ｉ?Ｉ??圖２－５文件上傳過程??上傳文件吋，Ｃｌｉｅｎｔ將上傳請(qǐng)求發(fā)送至Ｔｒａｃｋｅｒ，Ｔｒａｃｋｅｒ通過查詢各Ｓｔｏｒａｇｅ?Ｓｅｒｖｅｒ??的狀態(tài)信息并根據(jù)一定的負(fù)載均衡策略選取可用的存儲(chǔ)服務(wù)器，然后將相應(yīng)信息返回給??Ｃｌｉｅｎｔ。Ｃｌｉｅｎｔ收到信息后直接與相....

本文編號(hào)：3896659