互聯(lián)網(wǎng)的快速發(fā)展不僅給我們的生活帶來了巨大改變,也帶來了數(shù)據(jù)量的迅猛增長(zhǎng)。人們需要處理的數(shù)據(jù)量已經(jīng)從TB級(jí)別增長(zhǎng)到PB、EB,甚至ZB。分布式文件系統(tǒng)具有的高并發(fā)、高擴(kuò)展能力、高性能、高可用、大容量等特點(diǎn)使其成為存儲(chǔ)海量數(shù)據(jù)的理想選擇。GlusterFS是一個(gè)開源的分布式文件系統(tǒng),是本文的主要研究對(duì)象。本文首先對(duì)GlusterFS的架構(gòu)和關(guān)鍵技術(shù),尤其是其獨(dú)特的彈性哈希算法進(jìn)行了詳細(xì)的分析。根據(jù)分析結(jié)果設(shè)計(jì)測(cè)試用例,搭建測(cè)試環(huán)境,對(duì)系統(tǒng)的性能進(jìn)行測(cè)試。包括GlusterFS的四種基本卷在NATIVE、NFS、CIFS三種使用方式下的順序讀寫性能、分散卷使用libgfapi時(shí)的聚合性能、GlusterFS的元數(shù)據(jù)性能,并對(duì)測(cè)試結(jié)果進(jìn)行了比較和分析。在測(cè)試中,我們發(fā)現(xiàn)系統(tǒng)在存儲(chǔ)大文件時(shí)表現(xiàn)良好,特別是其聚合性能。但是它的元數(shù)據(jù)操作性能卻差強(qiáng)人意。為此,我們改進(jìn)了GlusterFS的元數(shù)據(jù)存儲(chǔ)方式,在GlusterFS的Brick上,使用LevelDB存儲(chǔ)每個(gè)目錄和文件的擴(kuò)展屬性及其元數(shù)據(jù)。當(dāng)GlusterFS執(zhí)行需要變更元數(shù)據(jù)的操作時(shí),同時(shí)更新LevelDB;當(dāng)GlusterFS執(zhí)行元數(shù)據(jù)... 

【文章來源】：蘭州大學(xué)甘肅省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：52 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

GFS架構(gòu)

兆字節(jié)的存儲(chǔ)。與大多數(shù)分布式文件系統(tǒng)的情況類似，一個(gè)集群的聚合輸入輸出可以超過每秒 1 兆兆字節(jié)。Lustre 計(jì)算集群可以組合成更大的集群。如圖2-2所示，Lustre 的架構(gòu)包括三個(gè)關(guān)鍵組件：元數(shù)據(jù)服務(wù)器（MDS）、對(duì)象存儲(chǔ)服務(wù)器（OSS）和管理服務(wù)器（MGS）[8]。對(duì)象存儲(chǔ)服務(wù)器進(jìn)行實(shí)際的獨(dú)6

當(dāng)集群的規(guī)模較大時(shí)，節(jié)點(diǎn)之間同步信息的效率會(huì)變差，而且會(huì)增加信息不一致的概率。GlusterFS 的總體架構(gòu)如圖3-1所示，主要由服務(wù)器端和客戶端組成。Infini-band 或者 tcp 用來連接集群中的服務(wù)器，所有服務(wù)器節(jié)點(diǎn)也稱為可信存儲(chǔ)池。集群中任何一個(gè)單一節(jié)點(diǎn)都可以作為主節(jié)點(diǎn)創(chuàng)建可信存儲(chǔ)池。可信存儲(chǔ)池甚至可以只包含一個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)可以有多個(gè) Brick。Brick 可以是本地文件系統(tǒng)中的任意一個(gè)目錄，多個(gè) Brick 通過各種不同的方式可以組合成各種類型的卷。由于GlusterFS 的數(shù)據(jù)直接存儲(chǔ)在服務(wù)器的本地文件系統(tǒng)上，Brick 目錄可以是任何一種常見的 Linux 文件系統(tǒng)，如 ext4[29]、btrfs[30]、xfs[31] 等。卷必須建立在可信存儲(chǔ)池之上。GlusterFs 的客戶端于服務(wù)器端共用一個(gè)程序入口，但是由于 GlusterFS 沒有元數(shù)據(jù)服務(wù)器

【參考文獻(xiàn)】：
期刊論文
[1]大規(guī)模分布式文件系統(tǒng)元數(shù)據(jù)管理綜述[J]. 王洋,劉星,須成忠,江松,王剛,文韜,范小朋,陸平.  集成技術(shù). 2016(02)
[2]分布式存儲(chǔ)系統(tǒng)的哈希算法研究[J]. 黃秋蘭,程耀東,陳剛.  計(jì)算機(jī)工程與應(yīng)用. 2014(01)
[3]藍(lán)鯨分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)[J]. 楊德志,許魯,張建剛.  計(jì)算機(jī)工程. 2008(07)

碩士論文
[1]Ceph文件系統(tǒng)元數(shù)據(jù)訪問性能優(yōu)化研究[D]. 葛凱凱.華中科技大學(xué) 2016



本文編號(hào)：3120088