隨著信息技術(shù)的廣泛應(yīng)用，各種數(shù)據(jù)信息呈爆炸性的增長趨勢。如何將數(shù)據(jù)信息進(jìn)行有效地存儲和管理已經(jīng)變得越來越重要。同時它也對計算機存儲系統(tǒng)在存儲容量和存儲訪問速度等方面提出了越來越高的性能要求。傳統(tǒng)的存儲系統(tǒng)很難適應(yīng)這種新的技術(shù)需求，而分布式存儲系統(tǒng)技術(shù)則能比較好地解決這個問題，所以目前基于集群的分布式存儲系統(tǒng)在計算機存儲技術(shù)領(lǐng)域內(nèi)已經(jīng)成為主流存儲平臺。 分布式文件系統(tǒng)是分布式存儲系統(tǒng)中的關(guān)鍵技術(shù)，所以研究和設(shè)計能夠進(jìn)行高效存儲的分布式文件系統(tǒng)具有重要的現(xiàn)實意義。 本文對分布式文件系統(tǒng)中的數(shù)據(jù)布局算法、數(shù)據(jù)分片算法和存儲節(jié)點設(shè)計進(jìn)行了較深入的研究，論文作者所做主要研究工作和取得研究成果如下： 1、在認(rèn)真分析和研究了現(xiàn)有分布式文件系統(tǒng)結(jié)構(gòu)的基礎(chǔ)上，提出了一種SDFS（SimpleDistributedFileSystem）分布式文件系統(tǒng)的原型結(jié)構(gòu)。 2、研究了現(xiàn)有分布式文件系統(tǒng)的數(shù)據(jù)布局算法、數(shù)據(jù)分片算法和存儲節(jié)點的布局方法，給出了SDFS分布式文件系統(tǒng)中的數(shù)據(jù)布局方法和數(shù)據(jù)分片算法，提出了SDFS分布式文件系統(tǒng)中元數(shù)據(jù)服務(wù)器的設(shè)計方法。 3、針對現(xiàn)有的分布式文件系統(tǒng)通常很難做到同時高效存儲大小文件的問題，本文提出了一種新的二元存儲節(jié)點布局方法。該布局方法的主要思想是在SDFS分布式文件系統(tǒng)中將存儲節(jié)點劃分為基于桶文件和key-value的兩種類型�；谕拔募拇鎯�(jié)點存儲大文件可以提供較高的文件訪問吞吐量，而基于key-value的存儲節(jié)點結(jié)構(gòu)則能夠比較好地處理小文件的存儲訪問，提供較低訪問時延。本文對SDFS分布式文件系統(tǒng)進(jìn)行了功能測試。并與PVFS1.6以及PVFS2.8并行 文件系統(tǒng)進(jìn)行了相關(guān)性能對比。實驗證明SDFS分布式文件系統(tǒng)達(dá)到了設(shè)計要求，在大小文件的讀寫方面有較好的性能優(yōu)勢。
【學(xué)位單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2013
【中圖分類】：TP333
【部分圖文】：

第一 章 緒論 （ 一） R o u n d- R o b i n 布 局算 法 Ro u nd - Ro bi n 布局 算法 ，由 于 其一 致性 分 布 ，較 低的 計 算 復(fù) 雜度 ，在 眾 多分 布 式 文 件系 統(tǒng) 中廣 泛使 用 。標(biāo) 準(zhǔn) Ro un d- Ro b i n 布 局算 法可 以 描述 如下 ：設(shè) 數(shù) 據(jù)集 合 中 xXi∈ 為集合 中 的第 i 個數(shù) 據(jù)元 素， 存 儲節(jié) 點 空間 D 中的 存儲 節(jié) 點依 次編 號 為 0 ，1 ， 2， .. . n ，則Ro u n d- Ro b i n 算法 將 ix 映射 到 i 模除 n 編號 的 存儲 節(jié) 點 上。 在實 際應(yīng) 用 中 一般 取 存 儲節(jié) 點 的子 集 進(jìn)行 上 述 映射 。P V F S [2 ]就采 用 此種 數(shù) 據(jù)布 局 算 法 ，如 圖 1- 1 所示 。 從 圖 中 可以 看 出 ， 存 儲 系 統(tǒng) 總 共 有 n = 5 臺 存 儲 節(jié) 點 。 此 文 件 取 編 號 為 {1 , 2,3}的 存 儲 節(jié) 點 子 集 按 照Ro u nd - Ro b i n 算 法 進(jìn) 行 映 射 。 清 華 大 學(xué) 研 究 人 員 在 Ro un d - Ro bi n 布 局 算 法 基 礎(chǔ) 上 提 出SL A S 算法 [5 ]，該 算 法在 理 論 上較 好 的解 決 了節(jié) 點 的 動態(tài) 添 加和 刪 除 問題 。

圖 1- 2 FA L L S = (0 ， 2 ，6 ， 2 ) 利用 PI TF A L L S 可 以將 一 個文 件 按照 Ro u nd - Ro b i n 算法 布 局到 P 個存 儲節(jié) 點 。只調(diào) 整 PI TF A L L S 集 合 參 數(shù) 就 可 以 得 到 文 件 的 不 同 物 理 布 局 。 定 義 ：inirs10 == U 和 偏 移 量of f s e t ，代 表一 個 待布 局 文件 ，其 中 of f s e t 表示 距離 該 文 件 起始 的 絕對 數(shù)據(jù) 塊 數(shù) 。is 表一個 FA L L S ， 代表 劃 分 之后 的 子文 件 。 劃分 要 求 滿足 ss( (i j))ijI = φ ≠，即 任 何子 件之 間 沒有 重 疊區(qū) 域 。以 ρ和 o ff s e t 作 為劃 分 參數(shù) ， 按 Ro un d - Ro bi n 算法 將 文件 劃 分 n 個子 文件 ，再 按 照 Ro un d - Ro bi n 方式 布局 到 存儲 節(jié) 點 。圖 1- 3 給出 了該 定 義下 數(shù) 據(jù) 局 例 子 ， 其 中 of f s e t = 1 ， ρ = （ 0 ， 1 ， - ， 1 ， 2 ， 3 ） ， 文 件 塊 依 次 編 號 為 0~ 1 8 。 從 圖可以 看出 ， 該 方 法 在形 成 子文 件 和子 文件 布 局時 都采 用 了 Ro un d - Ro b i n 算 法， 但 通過 入元 組 劃 分思 想 ，該 布 局 算法 比 Ro u n d - Ro b i n 更具 靈活 性 。

PVFS固定大小分片
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計算機科學(xué);2005年09期

2 龐麗萍,何飛躍,徐婕,岳建輝;PVFS寄生式元數(shù)據(jù)管理的設(shè)計與實現(xiàn)[J];計算機工程;2004年20期

3 伍衛(wèi)國;方敏;吳小康;萬群;胡雷鈞;;PVFS客戶端目錄緩存設(shè)計與實現(xiàn)[J];計算機工程;2005年23期

4 楊德志;許魯;張建剛;;藍(lán)鯨分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)[J];計算機工程;2008年07期

5 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲訪問策略的研究[J];計算機研究與發(fā)展;2012年07期

6 劉仲,周興銘;基于動態(tài)區(qū)間映射的數(shù)據(jù)對象布局算法[J];軟件學(xué)報;2005年11期

7 陳濤;肖儂;劉芳;付長勝;;基于聚類和一致Hash的數(shù)據(jù)布局算法[J];軟件學(xué)報;2010年12期

8 余思;桂小林;黃汝維;莊威;;一種提高云存儲中小文件存儲效率的方案[J];西安交通大學(xué)學(xué)報;2011年06期

9 楊晶;劉天時;馬剛;;分布式數(shù)據(jù)庫數(shù)據(jù)分片與分配[J];現(xiàn)代電子技術(shù);2006年18期

10 霍嚴(yán)梅;楊可新;胡亮;鞠九濱;;并行文件系統(tǒng)研究綜述[J];小型微型計算機系統(tǒng);2008年09期

相關(guān)碩士學(xué)位論文 前2條

1 許偉;分布式系統(tǒng)中的主機負(fù)載預(yù)測與動態(tài)負(fù)載均衡研究[D];中南大學(xué);2004年

2 黎天翔;智能網(wǎng)絡(luò)存儲系統(tǒng)中的重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學(xué);2012年

本文編號：2863585