錢塘分布式文件存儲系統(tǒng)是在國家重大科技攻關(guān)項(xiàng)目的支撐下,研制的面向云計(jì)算、互聯(lián)網(wǎng)等高端應(yīng)用的分布式文件存儲系統(tǒng)。論文結(jié)合該系統(tǒng)的版本升級,研究了分布式文件存儲系統(tǒng)的性能優(yōu)化技術(shù),包括負(fù)載均衡、副本機(jī)制、系統(tǒng)擴(kuò)展和分布式元數(shù)據(jù)管理等。 論文首先分析了現(xiàn)有的分布式架構(gòu),進(jìn)而解析錢塘分布式文件存儲系統(tǒng)1.0版性能問題,最后提出一種新的架構(gòu)——錢塘分布式文件存儲系統(tǒng)2.0版。 論文提出一種自適應(yīng)的動態(tài)負(fù)載均衡算法。它綜合地運(yùn)用了靜態(tài)負(fù)載均衡算法和動態(tài)負(fù)載均衡算法的優(yōu)點(diǎn),在數(shù)據(jù)服務(wù)器節(jié)點(diǎn)上利用其自我監(jiān)測能力設(shè)計(jì)了一種自適應(yīng)的反饋機(jī)制,這種反饋機(jī)制在保證實(shí)時(shí)性的同時(shí)可降低獲取數(shù)據(jù)服務(wù)器節(jié)點(diǎn)負(fù)載信息的開銷,實(shí)驗(yàn)數(shù)據(jù)表明該算法使得錢塘分布式文件存儲系統(tǒng)取得較大的性能提升。 論文設(shè)計(jì)了一種低開銷的樂觀副本機(jī)制。采用了操作傳輸?shù)男问竭M(jìn)行副本復(fù)制,可避免傳輸重復(fù)的內(nèi)容,從而節(jié)省網(wǎng)絡(luò)帶寬；通過將文件元數(shù)據(jù)拆分為兩部分：文件固有屬性和控制屬性,數(shù)據(jù)服務(wù)器無需向主服務(wù)器查詢即可進(jìn)行副本復(fù)制,只需將副本復(fù)制的最終結(jié)果作為心跳的附加信息傳輸給主服務(wù)器。這種改進(jìn)方案可以降低網(wǎng)絡(luò)開銷,緩解主服務(wù)器的壓力。 在優(yōu)化單集群的前提下,論文還提出了系統(tǒng)擴(kuò)展方案——集群級擴(kuò)展,采用了基于目錄的一致性哈希分布式元數(shù)據(jù)管理方法水平擴(kuò)展數(shù)據(jù),該方法可以解決數(shù)據(jù)瓶頸問題,具有訪問高效、數(shù)據(jù)分布均勻等特點(diǎn)。
【學(xué)位單位】：浙江大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2011
【中圖分類】：TP333
【部分圖文】：

圖1.2Hedoop分布式文件系統(tǒng).Ceph分布式文件系統(tǒng)eph分布式文件系統(tǒng)是由美國加州大學(xué)圣特克魯斯分校存儲系統(tǒng)研究海量存儲系統(tǒng)。元數(shù)據(jù)服務(wù)器和存儲服務(wù)器均采用分布式的結(jié)構(gòu)，據(jù)管理和分層的數(shù)據(jù)分布選擇方式。由多個(gè)元數(shù)據(jù)服務(wù)器構(gòu)建的文間，比Had00p分布式文件系統(tǒng)支持更多的文件命名空間并發(fā)訪問。態(tài)子樹劃分技術(shù)具有較好的負(fù)載均衡功能，將元數(shù)據(jù)的訪問請求分點(diǎn)，同時(shí)支持負(fù)載的動態(tài)遷移。在存儲服務(wù)器中，提供一套基于對對象文件系統(tǒng)，優(yōu)化了不同大小文件的存儲空間分配，使每個(gè)文件分布在磁盤上，在合理利用磁盤空間的同時(shí)，減少了磁頭的尋道時(shí)據(jù)的訪問速度。圖1.3為Ceph的系統(tǒng)架構(gòu)圖。

圖1.3ceph分布式文件系統(tǒng)3.TaobaoFileSystem(TFS)Taoba。Filesystem(TFS)是由淘寶網(wǎng)開發(fā)的分布式文件系統(tǒng)，主要針非結(jié)構(gòu)化數(shù)據(jù)存儲。它構(gòu)建在普通的Linux集群上，為淘寶網(wǎng)提供發(fā)的海量小文件存儲。TFS采用扁平化的數(shù)據(jù)組織結(jié)構(gòu)，將文件名映物理地址，簡化了文件的訪問流程，一定程度上優(yōu)化了讀寫性能。一個(gè)TFS集群由兩個(gè)Nameserver(命名服務(wù)器)節(jié)點(diǎn)和多個(gè)Datase務(wù)器)節(jié)點(diǎn)組成。這些服務(wù)程序都是作為一個(gè)用戶級的程序運(yùn)行在普上的。TFs將大量的小文件合并成為一個(gè)大文件，這個(gè)大文件稱為塊Bloek擁有在系統(tǒng)內(nèi)唯一的標(biāo)示號(BloekId)。Nameserver維護(hù)server的映射，Bloek存儲在Dataserver上。同時(shí)為了考慮容災(zāi)，Na了HA結(jié)構(gòu)，即兩臺機(jī)器互為熱備，同時(shí)運(yùn)行，一臺為主，一臺為備

圖1.4TFS架構(gòu)圖4.藍(lán)鯨分布式文件系統(tǒng)藍(lán)鯨分布式文件系統(tǒng)(BWFS)是中國科學(xué)院計(jì)算技術(shù)研究所工程計(jì)研發(fā)的基于網(wǎng)絡(luò)存儲的大容量、高性能、高擴(kuò)展能力分布式文件系了專用服務(wù)器模式，將文件訪問的數(shù)據(jù)流和控制流進(jìn)行了分離，能夠率和高擴(kuò)展能力的數(shù)據(jù)訪問。BWFS系統(tǒng)的集群包括元數(shù)據(jù)服務(wù)器和綁定服務(wù)器兩個(gè)部分，通過據(jù)服務(wù)器集群管理文件系統(tǒng)元數(shù)據(jù)，網(wǎng)絡(luò)存儲設(shè)備管理文件數(shù)據(jù)存儲服務(wù)器管理元數(shù)據(jù)的分布，實(shí)現(xiàn)負(fù)載均衡功能。應(yīng)用服務(wù)器集群通過文件系統(tǒng)的元數(shù)據(jù)訪問協(xié)議，直接向網(wǎng)絡(luò)存儲設(shè)備進(jìn)行文件數(shù)據(jù)的讀為BWFS的系統(tǒng)架構(gòu)圖。
【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 楊德志,黃華,張建剛,許魯;大容量、高性能、高擴(kuò)展能力的藍(lán)鯨分布式文件系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

本文編號：2850040