本文關(guān)鍵詞：一種分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,每天都會(huì)產(chǎn)生很多結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。存儲(chǔ)設(shè)備作為存放數(shù)據(jù)的基礎(chǔ)設(shè)施,是計(jì)算機(jī)系統(tǒng)的重要組成部分之一,面臨成本高、可靠性很低、利用率低、可擴(kuò)展性低以及維護(hù)費(fèi)用昂貴的困窘。存儲(chǔ)系統(tǒng)逐漸從計(jì)算機(jī)系統(tǒng)中獨(dú)立出來,以一個(gè)單獨(dú)的模塊管理。從早期DEC的FAL到現(xiàn)在的GFS文件系統(tǒng)大致經(jīng)歷了三個(gè)階段:網(wǎng)絡(luò)文件系統(tǒng),共享SAN文件系統(tǒng)和面向?qū)ο蟮奈募到y(tǒng)。網(wǎng)絡(luò)文件系統(tǒng)重點(diǎn)實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下的文件共享和解決客戶端與文件服務(wù)器的交互問題;共享SAN文件系統(tǒng)重點(diǎn)研究存儲(chǔ)系統(tǒng)的可擴(kuò)展性和面向SAN的共享文件系統(tǒng);面向?qū)ο笪募到y(tǒng)重點(diǎn)研究對(duì)象存儲(chǔ),并發(fā)訪問和元數(shù)據(jù)管理。從系統(tǒng)架構(gòu)來看主要有C/S體系結(jié)構(gòu),共享存儲(chǔ)SAN架構(gòu),基于集群的分布式架構(gòu)和P2P對(duì)稱式體系結(jié)構(gòu)。其中基于集群的分布式文件系統(tǒng)是普遍采用的體系結(jié)構(gòu),該結(jié)構(gòu)由三個(gè)組件構(gòu)成:客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器�？蛻舳素�(fù)責(zé)發(fā)送讀寫請求,緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶端的請求,是整個(gè)系統(tǒng)的核心組件。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù),保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時(shí)擴(kuò)展,系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性。本文設(shè)計(jì)和實(shí)現(xiàn)一種基于集中式元數(shù)據(jù)服務(wù)模型和基于集群的分布式文件系統(tǒng)。其中元數(shù)據(jù)服務(wù)主要由三個(gè)部分構(gòu)成:資源管理節(jié)點(diǎn),元數(shù)據(jù)服務(wù)主節(jié)點(diǎn)和元數(shù)據(jù)服務(wù)集群。資源管理節(jié)點(diǎn)主要負(fù)責(zé)管理所有的元數(shù)據(jù)服務(wù)節(jié)點(diǎn),通過心跳技術(shù)檢測元數(shù)據(jù)服務(wù)所有節(jié)點(diǎn)的狀態(tài)。當(dāng)主節(jié)點(diǎn)失效之后,資源管理節(jié)點(diǎn)迅速從元數(shù)據(jù)集群選擇一個(gè)主節(jié)點(diǎn)恢復(fù)元數(shù)據(jù)服務(wù),從而消除了系統(tǒng)的單點(diǎn)故障,提升了元數(shù)據(jù)服務(wù)的高可用性。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù),數(shù)據(jù)以塊的形式管理。每個(gè)服務(wù)器進(jìn)程負(fù)責(zé)一個(gè)磁盤,對(duì)該磁盤上的數(shù)據(jù)塊進(jìn)行管理。本文通過把小文件合并成文件塊,不但降低小文件寫入操作的系統(tǒng)開銷,而且節(jié)約了磁盤空間。數(shù)據(jù)節(jié)點(diǎn)采用廉價(jià)的PC,磁盤資源也很寶貴。磁盤負(fù)載失衡會(huì)造成磁盤的浪費(fèi),本文先對(duì)磁盤的負(fù)載進(jìn)行分析,然后采用遺傳算法對(duì)數(shù)據(jù)服務(wù)器集群所有磁盤進(jìn)行負(fù)載均衡,平衡磁盤之間的使用比例。最后對(duì)元數(shù)據(jù)服務(wù)的高可用性,小文件寫入操作和數(shù)據(jù)服務(wù)器磁盤負(fù)載均衡進(jìn)行性能測試,測試結(jié)果跟HDFS文件系統(tǒng)對(duì)比達(dá)到預(yù)期目標(biāo)。
【關(guān)鍵詞】：分布式 元數(shù)據(jù) 小文件 負(fù)載均衡
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333

  本文關(guān)鍵詞：一種分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：256196