【摘要】： 隨著計算機網(wǎng)絡的不斷增長,計算機應用已經(jīng)深入到了各行各業(yè)中,人們對于在線存儲的需求也越來越多。結(jié)果是越來越多的企業(yè)存在著持續(xù)的存儲壓力. 若干年來,市場見證了技術(shù)的不斷創(chuàng)新,從更快的外設(shè)通道,到存儲區(qū)域網(wǎng)絡(SAN),最后到專門定制的軟硬件存儲系統(tǒng)。但是高昂設(shè)備費用讓許多中小公司望而卻步。即使對于一些大公司來說也是一筆不小的費用。近幾年,磁盤存儲技術(shù)有了重大突破。在2006年下半年,160G的硬盤開始在普及,現(xiàn)在這一數(shù)字還在不斷的提升。然而已有的測試表明,在許多組織中,個人電腦的本地磁盤大概能使用4-10G左右的空間,主要是操作系統(tǒng)文件,應用程序及一些臨時文件。 為了能夠利用起這些閑散的磁盤空間,本文提出了一種無服務器的分布式文件系統(tǒng)Turtle。為了方便用戶的使用,Turtle系統(tǒng)架構(gòu)向用戶提供文件系統(tǒng)接口,同時通過數(shù)據(jù)分塊和副本冗余控制的方式來提高系統(tǒng)的磁盤空間利用率和可靠性。Turtle系統(tǒng)并不打算取代主流的存儲服務系統(tǒng)。Turtle系統(tǒng)只想給用戶提供一種選擇,一種不需要成本的選擇。Turtle不保證性能方面的出眾,但是Turtle保證可靠性,即存入數(shù)據(jù)的完整性。 本文詳細描述了Turtle系統(tǒng)的設(shè)計與實現(xiàn)過程,主要包括Turtle的應用環(huán)境,體系結(jié)構(gòu)的選擇,名字空間案管理,文件組織形式,數(shù)據(jù)分發(fā)策略以及文件系統(tǒng)接口的設(shè)計與實現(xiàn)。最后用實驗數(shù)據(jù)說明了系統(tǒng)的可靠性
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2008
【分類號】：TP333
【圖文】：

圖 2 二維分布模型圖 2 中保存文件分片 Fi的第 j 個節(jié)點記為jiH 。假設(shè)節(jié)點jiH 不可用的概率為jiP復文件分片 Fi，保存文件分片 Fi的節(jié)點集中至少有一個節(jié)點可用。根據(jù)定義析，文件分片 Fi不可得的概率為：1 2( ) ( ... )iRi i i iP A = P C × C × ×C存儲節(jié)點之間相互獨立，所以：1( )iRji ijP A p== ∏由于 ( ) 1 ( )iP A = P A，文件分片 Fi可得的概率為：1( ) 1iRji ijP A p== ∏要得到文件，必須獲得該文件每個分片的至少一個副本，因此，可得存儲可

圖 3 分片相關(guān)的分布方式3 3 61 2 1 2( A ∩A ) ≠ P ( A ) × P ( A )= p × p =p片 F1不可得的情況先下，F(xiàn)2不可得的概率為條件概率41 2131( )| )( )P A A pA pP Ap= = =∩分析可以發(fā)現(xiàn)，將同一文件的不同分片分布在同一存間帶來相關(guān)性，我們將按以下方法分析這種具有分片布模型為 m 份，記為 F={F1，F(xiàn)2，…，F(xiàn)m}，文件分片 F1的 Fi保存到 Ri 個節(jié)點上，但是每個節(jié)點不只保存一個文。假設(shè)存儲節(jié)點 H保存 L個文件分片，記為 T={F，

圖 4 多維分布模型了方便計算多維分布模型的性能指標，提出如下定義：復包：可以恢復文件的節(jié)點集合。就是說，當這些節(jié)點可用時，文以恢復(顯然，全部節(jié)點的集合就是一個恢復包)。復閉合包操作：如果在恢復包中刪除某個節(jié)點，剩下的節(jié)點集合仍，那么，就稱這一刪除操作為恢復閉包操作。復閉包：不能夠再進行閉包操作的恢復包，稱之為恢復閉包。可恢復包：文件不可恢復的節(jié)點集合。就是說，當這些節(jié)點不可用節(jié)點都可用的情況下，文件一定不可能恢復�？苫謴烷]包操作：如果在不可恢復包中刪除某個節(jié)點，剩下的節(jié)點不可恢復包，那么，就稱這一刪除操作為不可恢復閉合操作�？苫謴烷]包：不能夠再進行不可恢復閉包操作的不可恢復包，稱之閉包。

【相似文獻】

相關(guān)期刊論文 前10條

1 張維慶,袁宏春;基于E-mail的分布式文件系統(tǒng)(MDFS)[J];福建電腦;2004年07期

2 何興高,張鳳荔,黃遠軍,秦志光,周明天;分布式個人文件系統(tǒng)的設(shè)計與實現(xiàn)[J];電子科技大學學報;2005年04期

3 張子鵬;劉海濤;管海兵;;采用信任管理的分布式文件系統(tǒng)TrustFs[J];計算機工程;2009年01期

4 陳建榮;傅黎;;Novell網(wǎng)絡環(huán)境下分布式文件系統(tǒng)的設(shè)計與實現(xiàn)[J];海軍工程大學學報;1993年03期

5 李相娜;曹強;趙旺;魏沁祺;;加快分布式文件系統(tǒng)元數(shù)據(jù)訪問的研究與實現(xiàn)[J];微處理機;2008年02期

6 劉偉;劉露;陳犖;鐘志農(nóng);;海量遙感影像數(shù)據(jù)存儲技術(shù)研究[J];計算機工程;2009年05期

7 何公明;張元濤;;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應用[J];廣播電視信息;2009年10期

8 周建強;薛行;徐希豪;楊培根;孫鐘秀;;分布式文件系統(tǒng)NDFS的設(shè)計和實現(xiàn)[J];計算機研究與發(fā)展;1990年07期

9 許春聰;黃小猛;吳諾;孫寧偉;楊廣文;;分布式文件系統(tǒng)存儲介質(zhì)評測與分析[J];計算機學報;2010年10期

10 李桂萍;;云計算的兩大特性:虛擬化、分布式[J];通信世界;2011年16期

相關(guān)會議論文 前10條

1 邢海韜;黃孜祺;肖健;;應用動態(tài)管理技術(shù)優(yōu)化海量數(shù)據(jù)管理[A];廣西計算機學會2008年年會論文集[C];2008年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術(shù)工作者聯(lián)合會2008年學術(shù)年會論文集（上）[C];2008年

3 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計與實現(xiàn)[A];2006年全國開放式分布與并行計算學術(shù)會議論文集（二）[C];2006年

4 王海棟;柴洪洲;黃賢源;柏玉建;;測深異常的高崩潰污染率抗差趨勢面檢測[A];第二十一屆海洋測繪綜合性學術(shù)研討會論文集[C];2009年

5 張玉杰;崔鐵軍;和萬禮;張振輝;;大規(guī)模地形快速漫游關(guān)鍵技術(shù)研究[A];中國地理信息系統(tǒng)協(xié)會第九屆年會論文集[C];2005年

6 張旭;翟春華;陸麗娜;;局部網(wǎng)絡編碼及其改進方法在傳感器網(wǎng)絡中的應用[A];2008通信理論與技術(shù)新發(fā)展——第十三屆全國青年通信學術(shù)會議論文集（下）[C];2008年

7 朱平;朱建濤;高劍剛;蔣金虎;;高性能計算存儲關(guān)鍵技術(shù)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

8 蔣翠云;梁華國;陶玨輝;陳田;;測試數(shù)據(jù)分塊字典統(tǒng)計編碼壓縮法[A];第五屆中國測試學術(shù)會議論文集[C];2008年

9 熊光楚;;MGC微機軟件包簡介[A];1990年中國地球物理學會第六屆學術(shù)年會論文集[C];1990年

10 姚慧敏;崔鐵軍;邵世新;;基于四叉樹的LOD地形模型及其數(shù)據(jù)組織方法研究[A];中國地理信息系統(tǒng)協(xié)會第四次會員代表大會暨第十一屆年會論文集[C];2007年

相關(guān)重要報紙文章 前10條

1 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡世界;2002年

2 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡中的應用[N];電腦報;2004年

3 本報記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡世界;2010年

4 丘永萍;云存儲是一種服務[N];中國城鄉(xiāng)金融報;2010年

5 本報記者 劉箐箐;Informatica：大數(shù)據(jù)帶來大機遇[N];計算機世界;2011年

6 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機世界;2011年

7 江蘇 姚幺;一路順風 拷貝有損光盤[N];電腦報;2004年

8 本報記者 馬文方;Hadoop：云中起舞的小象[N];中國計算機報;2010年

9 中興通訊;云存儲鋪就海量數(shù)據(jù)之路[N];通信產(chǎn)業(yè)報;2011年

10 ;Windows Server2003的10個特點[N];計算機世界;2003年

相關(guān)博士學位論文 前10條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應用研究[D];華南理工大學;2011年

2 劉勝蘭;逆向工程中自由曲面與規(guī)則曲面重建關(guān)鍵技術(shù)研究[D];南京航空航天大學;2005年

3 譚昌柏;逆向工程中基于特征的實體模型重建關(guān)鍵技術(shù)研究[D];南京航空航天大學;2006年

4 何朝明;離散點云處理的關(guān)鍵技術(shù)研究[D];西南交通大學;2007年

5 李彭軍;醫(yī)學影像云服務平臺基礎(chǔ)架構(gòu)研究與實踐[D];南方醫(yī)科大學;2011年

6 賀美芳;基于散亂點云數(shù)據(jù)的曲面重建關(guān)鍵技術(shù)研究[D];南京航空航天大學;2006年

7 林琳;基于網(wǎng)格數(shù)據(jù)交換區(qū)的網(wǎng)格作業(yè)性能優(yōu)化[D];吉林大學;2011年

8 黃華;藍鯨分布式文件系統(tǒng)的資源管理[D];中國科學院研究生院（計算技術(shù)研究所）;2005年

9 朱洪亮;面向業(yè)務感知的流量監(jiān)控技術(shù)研究[D];北京郵電大學;2010年

10 涂旭東;基于對象的并行文件系統(tǒng)接口語義擴展研究[D];華中科技大學;2011年

相關(guān)碩士學位論文 前10條

1 杜松;Turtle：一種基于局域網(wǎng)絡的分布式存儲系統(tǒng)[D];上海交通大學;2008年

2 胡云鵬;面向IPTV的分布式文件系統(tǒng)仿真軟件的設(shè)計與實現(xiàn)[D];電子科技大學;2011年

3 吳昊;基于HDFS的分布式文件系統(tǒng)數(shù)據(jù)冗余技術(shù)研究[D];西安電子科技大學;2011年

4 龔高晟;通用分布式文件系統(tǒng)的研究與改進[D];華南理工大學;2010年

5 李書鵬;分布式文件系統(tǒng)在云存儲環(huán)境下的若干問題研究[D];中國科學技術(shù)大學;2011年

6 趙黎斌;面向云存儲的分布式文件系統(tǒng)關(guān)鍵技術(shù)研究[D];西安電子科技大學;2011年

7 胡振欣;分布式文件系統(tǒng)中的軟件開發(fā)管理[D];上海交通大學;2012年

8 呂磊;迅雷離線下載分布式文件系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學;2010年

9 黃爛

本文編號：2770717