隨著信息技術(shù)的飛速發(fā)展,傳統(tǒng)的存儲系統(tǒng)已經(jīng)難以滿足現(xiàn)代社會的信息存儲需求,很多新型應用需要使用大規(guī)模、高性能、高可靠的海量存儲系統(tǒng)。近年來,學術(shù)界和企業(yè)界將海量存儲系統(tǒng)技術(shù)作為研究的一個熱點問題,并隨之涌現(xiàn)出一批新型的海量存儲系統(tǒng)。在海量存儲系統(tǒng)中,客戶端的設計與實現(xiàn)方式對于系統(tǒng)的性能等有重要影響。BlueOcean是一款大容量、高性能、高可靠、易管理的海量存儲系統(tǒng)。它采用面向?qū)ο蟮拇鎯夹g(shù),系統(tǒng)由管理節(jié)點、數(shù)據(jù)節(jié)點和客戶端組成。管理節(jié)點負責保存和管理元數(shù)據(jù),將元數(shù)據(jù)保存在內(nèi)存以提升性能;數(shù)據(jù)節(jié)點負責保存數(shù)據(jù),使用多份副本技術(shù)保證數(shù)據(jù)的可靠性;客戶端對外提供遵守Posix語義的訪問接口,可以支持絕大多數(shù)應用程序的透明訪問。本文以BlueOcean海量存儲系統(tǒng)為基礎,研究了海量存儲系統(tǒng)客戶端設計中的關鍵技術(shù)問題,設計并實現(xiàn)了一款高性能的,通用的客戶端程序。論文的主要工作如下:（1）對現(xiàn)有的海量存儲系統(tǒng)進行了研究,分析了它們的系統(tǒng)架構(gòu)和關鍵技術(shù)問題。（2）比較了幾種客戶端架構(gòu)方案,設計了系統(tǒng)的總體架構(gòu)以及通信交互協(xié)議等。（3）設計并實現(xiàn)了客戶端的系統(tǒng)接口,描述了元數(shù)據(jù)操作接口和數(shù)據(jù)操作接口... 

【文章來源】：上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：77 頁

【學位級別】：碩士

【部分圖文】：

PVFS系統(tǒng)架構(gòu)

圖 2-2 Lustre 系統(tǒng)架構(gòu)Figure 2-2 Architecture of Lustre system在 Lustre 系統(tǒng)中，關鍵的三個模塊的功能如下：1．MDS：MDS 負責管理元數(shù)據(jù)，提供一個全局的命名空間，Client 可MDS 讀取到保存于 MDT(Meta Data Target)之上的元數(shù)據(jù)。在 Lustre 文件MDS 可以有 2 個，采用了 Active-Standby 的容錯機制，當其中一個 MD常工作時，另外一個后備 MDS 可以啟動服務。MDT 只能有 1 個，不同 共享訪問同一個 MDT。2．OSS：OSS 負責提供 I/O 服務，接受并服務來自網(wǎng)絡的請求。通過 O訪問到保存在 OST 上的文件數(shù)據(jù)。一個 OSS 對應 2 到 8 個 OST，其存以高達 8TB。OST 上的文件數(shù)據(jù)是以分條的形式保存的，文件的分條個 OSS 之中，也可以保存在多個 OSS 中。Lustre 文件系統(tǒng)的特色之一是基于對象來存儲的，跟傳統(tǒng)的基于塊的存儲方式有所不同。3．Client：Lustre 文件系統(tǒng)通過 Client 端來訪問系統(tǒng)，Client 為掛載了 L系統(tǒng)的任意節(jié)點。Client 提供了 Linux 下 VFS(虛擬文件系統(tǒng))與 Lustre

圖 2-3 GoogleFS 系統(tǒng)架構(gòu)Figure 2-3 Architecture of GoogleFS主服務器負責維護所有文件系統(tǒng)的元數(shù)據(jù)，包括命名空間、文件至數(shù)據(jù)塊的映射信息，訪問控制信息以及主存中數(shù)據(jù)塊的當前位置。將數(shù)據(jù)塊讀入主存是為了提高主服務器的操作性能。為了獲得數(shù)據(jù)塊的位置信息，主服務器只在數(shù)據(jù)塊服務器啟動時才輪詢數(shù)據(jù)塊信息，只有新的數(shù)據(jù)塊產(chǎn)生并有心跳信息的提示時主服務器才更新這些位置信息。客戶端直接使用自定義的文件系統(tǒng) API 來訪問主服務器和塊服務器。為了減少發(fā)給主服務器的請求數(shù)量，客戶端只對元數(shù)據(jù)進行緩存。需要注意的是，客戶端和塊服務器對文件數(shù)據(jù)不進行高速緩存。GoogleFS 采用副本技術(shù)來提高數(shù)據(jù)可用性，數(shù)據(jù)塊和元數(shù)據(jù)都有副本，比如每個數(shù)據(jù)塊在 3 臺塊服務器上都存在副本，當管理元數(shù)據(jù)的主服務器宕機時，備用的“影子”服務器則切換過來，但它只能提供讀取操作，不支持修改、寫入操作。為了增加數(shù)據(jù)可恢復性，GoogleFS采用了操作日志和快照技術(shù)。

【參考文獻】：
期刊論文
[1]分布式文件系統(tǒng)元數(shù)據(jù)服務器高可用性設計[J]. 戰(zhàn)科宇,李小勇,劉海濤.  小型微型計算機系統(tǒng). 2013(04)



本文編號：3304343