隨著信息技術(shù)的廣泛應(yīng)用，各種數(shù)據(jù)信息呈爆炸性的增長(zhǎng)趨勢(shì)。如何將數(shù)據(jù)信息進(jìn)行有效地存儲(chǔ)和管理已經(jīng)變得越來(lái)越重要。同時(shí)它也對(duì)計(jì)算機(jī)存儲(chǔ)系統(tǒng)在存儲(chǔ)容量和存儲(chǔ)訪問(wèn)速度等方面提出了越來(lái)越高的性能要求。傳統(tǒng)的存儲(chǔ)系統(tǒng)很難適應(yīng)這種新的技術(shù)需求，而分布式存儲(chǔ)系統(tǒng)技術(shù)則能比較好地解決這個(gè)問(wèn)題，所以目前基于集群的分布式存儲(chǔ)系統(tǒng)在計(jì)算機(jī)存儲(chǔ)技術(shù)領(lǐng)域內(nèi)已經(jīng)成為主流存儲(chǔ)平臺(tái)。 分布式文件系統(tǒng)是分布式存儲(chǔ)系統(tǒng)中的關(guān)鍵技術(shù)，所以研究和設(shè)計(jì)能夠進(jìn)行高效存儲(chǔ)的分布式文件系統(tǒng)具有重要的現(xiàn)實(shí)意義。 本文對(duì)分布式文件系統(tǒng)中的數(shù)據(jù)布局算法、數(shù)據(jù)分片算法和存儲(chǔ)節(jié)點(diǎn)設(shè)計(jì)進(jìn)行了較深入的研究，論文作者所做主要研究工作和取得研究成果如下： 1、在認(rèn)真分析和研究了現(xiàn)有分布式文件系統(tǒng)結(jié)構(gòu)的基礎(chǔ)上，提出了一種SDFS（SimpleDistributedFileSystem）分布式文件系統(tǒng)的原型結(jié)構(gòu)。 2、研究了現(xiàn)有分布式文件系統(tǒng)的數(shù)據(jù)布局算法、數(shù)據(jù)分片算法和存儲(chǔ)節(jié)點(diǎn)的布局方法，給出了SDFS分布式文件系統(tǒng)中的數(shù)據(jù)布局方法和數(shù)據(jù)分片算法，提出了SDFS分布式文件系統(tǒng)中元數(shù)據(jù)服務(wù)器的設(shè)計(jì)方法。 3、針對(duì)現(xiàn)有的分布式文件系統(tǒng)通常很難做到同時(shí)高效存儲(chǔ)大小文件的問(wèn)題，本文提出了一種新的二元存儲(chǔ)節(jié)點(diǎn)布局方法。該布局方法的主要思想是在SDFS分布式文件系統(tǒng)中將存儲(chǔ)節(jié)點(diǎn)劃分為基于桶文件和key-value的兩種類(lèi)型�；谕拔募拇鎯�(chǔ)節(jié)點(diǎn)存儲(chǔ)大文件可以提供較高的文件訪問(wèn)吞吐量，而基于key-value的存儲(chǔ)節(jié)點(diǎn)結(jié)構(gòu)則能夠比較好地處理小文件的存儲(chǔ)訪問(wèn)，提供較低訪問(wèn)時(shí)延。本文對(duì)SDFS分布式文件系統(tǒng)進(jìn)行了功能測(cè)試。并與PVFS1.6以及PVFS2.8并行 文件系統(tǒng)進(jìn)行了相關(guān)性能對(duì)比。實(shí)驗(yàn)證明SDFS分布式文件系統(tǒng)達(dá)到了設(shè)計(jì)要求，在大小文件的讀寫(xiě)方面有較好的性能優(yōu)勢(shì)。
【學(xué)位單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2013
【中圖分類(lèi)】：TP333
【部分圖文】：

第一 章 緒論 （ 一） R o u n d- R o b i n 布 局算 法 Ro u nd - Ro bi n 布局 算法 ，由 于 其一 致性 分 布 ，較 低的 計(jì) 算 復(fù) 雜度 ，在 眾 多分 布 式 文 件系 統(tǒng) 中廣 泛使 用 。標(biāo) 準(zhǔn) Ro un d- Ro b i n 布 局算 法可 以 描述 如下 ：設(shè) 數(shù) 據(jù)集 合 中 xXi∈ 為集合 中 的第 i 個(gè)數(shù) 據(jù)元 素， 存 儲(chǔ)節(jié) 點(diǎn) 空間 D 中的 存儲(chǔ) 節(jié) 點(diǎn)依 次編 號(hào) 為 0 ，1 ， 2， .. . n ，則Ro u n d- Ro b i n 算法 將 ix 映射 到 i 模除 n 編號(hào) 的 存儲(chǔ) 節(jié) 點(diǎn) 上。 在實(shí) 際應(yīng) 用 中 一般 取 存 儲(chǔ)節(jié) 點(diǎn) 的子 集 進(jìn)行 上 述 映射 。P V F S [2 ]就采 用 此種 數(shù) 據(jù)布 局 算 法 ，如 圖 1- 1 所示 。 從 圖 中 可以 看 出 ， 存 儲(chǔ) 系 統(tǒng) 總 共 有 n = 5 臺(tái) 存 儲(chǔ) 節(jié) 點(diǎn) 。 此 文 件 取 編 號(hào) 為 {1 , 2,3}的 存 儲(chǔ) 節(jié) 點(diǎn) 子 集 按 照Ro u nd - Ro b i n 算 法 進(jìn) 行 映 射 。 清 華 大 學(xué) 研 究 人 員 在 Ro un d - Ro bi n 布 局 算 法 基 礎(chǔ) 上 提 出SL A S 算法 [5 ]，該 算 法在 理 論 上較 好 的解 決 了節(jié) 點(diǎn) 的 動(dòng)態(tài) 添 加和 刪 除 問(wèn)題 。

圖 1- 2 FA L L S = (0 ， 2 ，6 ， 2 ) 利用 PI TF A L L S 可 以將 一 個(gè)文 件 按照 Ro u nd - Ro b i n 算法 布 局到 P 個(gè)存 儲(chǔ)節(jié) 點(diǎn) 。只調(diào) 整 PI TF A L L S 集 合 參 數(shù) 就 可 以 得 到 文 件 的 不 同 物 理 布 局 。 定 義 ：inirs10 == U 和 偏 移 量of f s e t ，代 表一 個(gè) 待布 局 文件 ，其 中 of f s e t 表示 距離 該 文 件 起始 的 絕對(duì) 數(shù)據(jù) 塊 數(shù) 。is 表一個(gè) FA L L S ， 代表 劃 分 之后 的 子文 件 。 劃分 要 求 滿(mǎn)足 ss( (i j))ijI = φ ≠，即 任 何子 件之 間 沒(méi)有 重 疊區(qū) 域 。以 ρ和 o ff s e t 作 為劃 分 參數(shù) ， 按 Ro un d - Ro bi n 算法 將 文件 劃 分 n 個(gè)子 文件 ，再 按 照 Ro un d - Ro bi n 方式 布局 到 存儲(chǔ) 節(jié) 點(diǎn) 。圖 1- 3 給出 了該 定 義下 數(shù) 據(jù) 局 例 子 ， 其 中 of f s e t = 1 ， ρ = （ 0 ， 1 ， - ， 1 ， 2 ， 3 ） ， 文 件 塊 依 次 編 號(hào) 為 0~ 1 8 。 從 圖可以 看出 ， 該 方 法 在形 成 子文 件 和子 文件 布 局時(shí) 都采 用 了 Ro un d - Ro b i n 算 法， 但 通過(guò) 入元 組 劃 分思 想 ，該 布 局 算法 比 Ro u n d - Ro b i n 更具 靈活 性 。

PVFS固定大小分片
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶(hù)端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

2 龐麗萍,何飛躍,徐婕,岳建輝;PVFS寄生式元數(shù)據(jù)管理的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2004年20期

3 伍衛(wèi)國(guó);方敏;吳小康;萬(wàn)群;胡雷鈞;;PVFS客戶(hù)端目錄緩存設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2005年23期

4 楊德志;許魯;張建剛;;藍(lán)鯨分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)[J];計(jì)算機(jī)工程;2008年07期

5 趙躍龍;謝曉玲;蔡詠才;王國(guó)華;劉霖;;一種性能優(yōu)化的小文件存儲(chǔ)訪問(wèn)策略的研究[J];計(jì)算機(jī)研究與發(fā)展;2012年07期

6 劉仲,周興銘;基于動(dòng)態(tài)區(qū)間映射的數(shù)據(jù)對(duì)象布局算法[J];軟件學(xué)報(bào);2005年11期

7 陳濤;肖儂;劉芳;付長(zhǎng)勝;;基于聚類(lèi)和一致Hash的數(shù)據(jù)布局算法[J];軟件學(xué)報(bào);2010年12期

8 余思;桂小林;黃汝維;莊威;;一種提高云存儲(chǔ)中小文件存儲(chǔ)效率的方案[J];西安交通大學(xué)學(xué)報(bào);2011年06期

9 楊晶;劉天時(shí);馬剛;;分布式數(shù)據(jù)庫(kù)數(shù)據(jù)分片與分配[J];現(xiàn)代電子技術(shù);2006年18期

10 霍嚴(yán)梅;楊可新;胡亮;鞠九濱;;并行文件系統(tǒng)研究綜述[J];小型微型計(jì)算機(jī)系統(tǒng);2008年09期

相關(guān)碩士學(xué)位論文 前2條

1 許偉;分布式系統(tǒng)中的主機(jī)負(fù)載預(yù)測(cè)與動(dòng)態(tài)負(fù)載均衡研究[D];中南大學(xué);2004年

2 黎天翔;智能網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中的重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學(xué);2012年

本文編號(hào)：2863585