錢塘分布式文件存儲系統(tǒng)是在國家重大科技攻關(guān)項目的支撐下,研制的面向云計算、互聯(lián)網(wǎng)等高端應(yīng)用的分布式文件存儲系統(tǒng)。論文結(jié)合該系統(tǒng)的版本升級,研究了分布式文件存儲系統(tǒng)的性能優(yōu)化技術(shù),包括負載均衡、副本機制、系統(tǒng)擴展和分布式元數(shù)據(jù)管理等。 論文首先分析了現(xiàn)有的分布式架構(gòu),進而解析錢塘分布式文件存儲系統(tǒng)1.0版性能問題,最后提出一種新的架構(gòu)——錢塘分布式文件存儲系統(tǒng)2.0版。 論文提出一種自適應(yīng)的動態(tài)負載均衡算法。它綜合地運用了靜態(tài)負載均衡算法和動態(tài)負載均衡算法的優(yōu)點,在數(shù)據(jù)服務(wù)器節(jié)點上利用其自我監(jiān)測能力設(shè)計了一種自適應(yīng)的反饋機制,這種反饋機制在保證實時性的同時可降低獲取數(shù)據(jù)服務(wù)器節(jié)點負載信息的開銷,實驗數(shù)據(jù)表明該算法使得錢塘分布式文件存儲系統(tǒng)取得較大的性能提升。 論文設(shè)計了一種低開銷的樂觀副本機制。采用了操作傳輸?shù)男问竭M行副本復(fù)制,可避免傳輸重復(fù)的內(nèi)容,從而節(jié)省網(wǎng)絡(luò)帶寬；通過將文件元數(shù)據(jù)拆分為兩部分：文件固有屬性和控制屬性,數(shù)據(jù)服務(wù)器無需向主服務(wù)器查詢即可進行副本復(fù)制,只需將副本復(fù)制的最終結(jié)果作為心跳的附加信息傳輸給主服務(wù)器。這種改進方案可以降低網(wǎng)絡(luò)開銷,緩解主服務(wù)器的壓力。 在優(yōu)化單集群的前提下,論文還提出了系統(tǒng)擴展方案——集群級擴展,采用了基于目錄的一致性哈希分布式元數(shù)據(jù)管理方法水平擴展數(shù)據(jù),該方法可以解決數(shù)據(jù)瓶頸問題,具有訪問高效、數(shù)據(jù)分布均勻等特點。
【學(xué)位單位】：浙江大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2011
【中圖分類】：TP333
【部分圖文】：

圖1.2Hedoop分布式文件系統(tǒng).Ceph分布式文件系統(tǒng)eph分布式文件系統(tǒng)是由美國加州大學(xué)圣特克魯斯分校存儲系統(tǒng)研究海量存儲系統(tǒng)。元數(shù)據(jù)服務(wù)器和存儲服務(wù)器均采用分布式的結(jié)構(gòu)，據(jù)管理和分層的數(shù)據(jù)分布選擇方式。由多個元數(shù)據(jù)服務(wù)器構(gòu)建的文間，比Had00p分布式文件系統(tǒng)支持更多的文件命名空間并發(fā)訪問。態(tài)子樹劃分技術(shù)具有較好的負載均衡功能，將元數(shù)據(jù)的訪問請求分點，同時支持負載的動態(tài)遷移。在存儲服務(wù)器中，提供一套基于對對象文件系統(tǒng)，優(yōu)化了不同大小文件的存儲空間分配，使每個文件分布在磁盤上，在合理利用磁盤空間的同時，減少了磁頭的尋道時據(jù)的訪問速度。圖1.3為Ceph的系統(tǒng)架構(gòu)圖。

圖1.3ceph分布式文件系統(tǒng)3.TaobaoFileSystem(TFS)Taoba。Filesystem(TFS)是由淘寶網(wǎng)開發(fā)的分布式文件系統(tǒng)，主要針非結(jié)構(gòu)化數(shù)據(jù)存儲。它構(gòu)建在普通的Linux集群上，為淘寶網(wǎng)提供發(fā)的海量小文件存儲。TFS采用扁平化的數(shù)據(jù)組織結(jié)構(gòu)，將文件名映物理地址，簡化了文件的訪問流程，一定程度上優(yōu)化了讀寫性能。一個TFS集群由兩個Nameserver(命名服務(wù)器)節(jié)點和多個Datase務(wù)器)節(jié)點組成。這些服務(wù)程序都是作為一個用戶級的程序運行在普上的。TFs將大量的小文件合并成為一個大文件，這個大文件稱為塊Bloek擁有在系統(tǒng)內(nèi)唯一的標(biāo)示號(BloekId)。Nameserver維護server的映射，Bloek存儲在Dataserver上。同時為了考慮容災(zāi)，Na了HA結(jié)構(gòu)，即兩臺機器互為熱備，同時運行，一臺為主，一臺為備

圖1.4TFS架構(gòu)圖4.藍鯨分布式文件系統(tǒng)藍鯨分布式文件系統(tǒng)(BWFS)是中國科學(xué)院計算技術(shù)研究所工程計研發(fā)的基于網(wǎng)絡(luò)存儲的大容量、高性能、高擴展能力分布式文件系了專用服務(wù)器模式，將文件訪問的數(shù)據(jù)流和控制流進行了分離，能夠率和高擴展能力的數(shù)據(jù)訪問。BWFS系統(tǒng)的集群包括元數(shù)據(jù)服務(wù)器和綁定服務(wù)器兩個部分，通過據(jù)服務(wù)器集群管理文件系統(tǒng)元數(shù)據(jù)，網(wǎng)絡(luò)存儲設(shè)備管理文件數(shù)據(jù)存儲服務(wù)器管理元數(shù)據(jù)的分布，實現(xiàn)負載均衡功能。應(yīng)用服務(wù)器集群通過文件系統(tǒng)的元數(shù)據(jù)訪問協(xié)議，直接向網(wǎng)絡(luò)存儲設(shè)備進行文件數(shù)據(jù)的讀為BWFS的系統(tǒng)架構(gòu)圖。
【參考文獻】

相關(guān)期刊論文 前1條

1 楊德志,黃華,張建剛,許魯;大容量、高性能、高擴展能力的藍鯨分布式文件系統(tǒng)[J];計算機研究與發(fā)展;2005年06期

本文編號：2850040