隨著互聯(lián)網(wǎng)技術的發(fā)展,各種新興的創(chuàng)新型應用不斷涌現(xiàn),爆炸式增長的不同類型的各種信息對數(shù)據(jù)存儲提出新的要求。由于網(wǎng)絡應用類型的豐富性,其所產(chǎn)生的文件類型和文件數(shù)量都遠遠超過了傳統(tǒng)的通用文件系統(tǒng)所能支持的范圍。為了應對不斷發(fā)展的網(wǎng)絡應用所提出的存儲需求,面向互聯(lián)網(wǎng)的存儲系統(tǒng)需要具有如下幾個特點：首先是要能夠處理海量文件；其次要能夠支持多種類型的文件的存儲,如從幾KB的文本文件到幾GB的視頻文件；然后要具有極高的性能,能夠支持大量的并發(fā)訪問。針對以上這些問題,本文設計和實現(xiàn)了一種面向互聯(lián)網(wǎng)環(huán)境的,支持海量數(shù)據(jù)的,對多種類型文件提供融合存儲的分布式文件系統(tǒng)——FDFS （Fusion Distributed File System）。它借鑒了已有的分布式文件系統(tǒng)的設計經(jīng)驗,打破了常規(guī)的分布式文件系統(tǒng)只能存儲海量小文件或者只設計用于存儲大數(shù)據(jù)集文件的壁壘,將海量的不同規(guī)模、不同類型的文件存儲在同一個系統(tǒng)中,大大提高了物理空間的利用率、降低了服務器集群管理的復雜度、同時為全局范圍內(nèi)的負載均衡和存儲空間分配提供了更加精確的支持。本文著重闡述了FDFS系統(tǒng)的體系架構設計以及系統(tǒng)設計中核心問題的實現(xiàn)策略... 

【文章來源】：浙江大學浙江省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：95 頁

【學位級別】：碩士

【部分圖文】：

Master/Slave結構

Lustre名字空間的修改采用了鎖方案，當客戶端修改修改一個文件時，需要在MDS上請求一個鎖，這樣就可以避免一個文件同時被多個客戶端修改所帶來的不一致性。Lustre的名字空間管理采用如圖2一2所示的結構。陰〕S‘巨出勸口側護.自自翻g側飽怕山白毛叭犯七俐幻刀自孽曹O切eds匕.醉S曰，日寫長巧S)055目匕舊醉...嘆翔州g匕舊醉毛.華七心儀刃.勺d時dJ幼曰曰M目匕加白5.，日‘洲隴】.一1田S卜即目目口側蕎en目眾呂七口口峨叮，..一︶二咧﹄一魯魯魯︸﹄切1-包卜答魯.、、卜二~.圖2一 2Lustre名字空間管理模型類似于Lustre文件系統(tǒng)， GFs(GoogleFileSystem)〔村〕也采用了單一的元數(shù)據(jù)服務器(Master)來管理系統(tǒng)中的名字空間。在GFS中，Master維護系統(tǒng)所13

GFS沒有與每個目錄相關的數(shù)據(jù)結構(如inode等)，也不支持別名，GFS的名字空間僅僅是一個從路徑名到文件元數(shù)據(jù)之間的一個映射表。GFS的名字空間管理采用如圖2一3的結構。SerVerS囤囤一一}_」﹁日川一-圖回畫一Cl，t一 rlkserVerIC卜 unkserver2ChUn伙se!VerN圖2一 3GFS的名字空間管理結構2.4數(shù)據(jù)一致性數(shù)據(jù)一致性〔”〕是指不同客戶端在訪問分布式文件系統(tǒng)時，在同一時刻應該看到相同的內(nèi)容。按照本地文件系統(tǒng)的POSIx語義，如果一個進程修改了某個文件或者目錄的內(nèi)容或者屬性，其他進程應該能夠立即察覺到這種變化。但是在分布式環(huán)境下，要嚴格實現(xiàn)POS工X語義將會造成巨大的性能損失，因此分布式文件系統(tǒng)一般采取相對寬松的一致性語義。在 NFs(NetworkFilesystem)系統(tǒng)中，客戶端會緩存文件以及目錄的元信息

【參考文獻】：
期刊論文
[1]藍鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J]. 黃華,張建剛,許魯.  計算機研究與發(fā)展. 2005(06)
[2]分布式文件系統(tǒng)中的負載平衡技術[J]. 田穎,許魯.  計算機工程. 2003(19)



本文編號：3399815