【摘要】：隨著分布式存儲系統(tǒng)規(guī)模的不斷擴大,系統(tǒng)可靠性的問題逐漸受到人們的重視。系統(tǒng)中磁盤數(shù)量的增加和單塊磁盤容量的增長使得系統(tǒng)錯誤率不斷增長,任何一次數(shù)據(jù)丟失都會造成巨大的損失。 本文對基于糾刪碼的分布式存儲系統(tǒng),首先通過泊松過程建立數(shù)據(jù)塊錯誤的概率模型,并分析磁盤整理周期跟數(shù)據(jù)塊錯誤之間的關(guān)系;然后根據(jù)數(shù)據(jù)塊錯誤概率和糾刪碼的性質(zhì)導(dǎo)出文件可用性模型,分析了冗余度和文件可靠性之間的關(guān)系;接著利用文件可用性和磁盤整理周期,導(dǎo)出了系統(tǒng)可靠性的計算模型。 為了避免在讀寫過程中訪問不相關(guān)的數(shù)據(jù)塊,本文選擇文件為冗余集合。在這種情況下,系統(tǒng)可靠性取決于小文件的可靠性,因此,我們提出了動態(tài)冗余機制,對不同大小的文件選擇最合適的冗余度。這種機制在保證系統(tǒng)可靠性的前提下降低了系統(tǒng)冗余的空間代價,同時也從一定程度上優(yōu)化了讀寫操作的性能。 處理數(shù)據(jù)塊錯誤的方法是磁盤整理,即系統(tǒng)定期掃描磁盤中所有的數(shù)據(jù)塊,修復(fù)損壞的數(shù)據(jù)塊。所以縮短磁盤整理周期可以有效提高系統(tǒng)的可靠性,但是過于頻繁的磁盤整理會給系統(tǒng)帶來沉重的負擔(dān)。本文最后將提出如何根據(jù)系統(tǒng)可靠性目標來選擇一個合適的磁盤整理周期。
【圖文】：

.1 系統(tǒng)可靠性研究的由來我們生活在一個信息大爆炸時代。隨著科學(xué)技術(shù)的飛速發(fā)展，數(shù)據(jù)，作為信息體，其數(shù)量在持續(xù)不斷的增長。僅 2002 年一年，全球就產(chǎn)生了 5EB（5×260字新數(shù)據(jù)，這些數(shù)據(jù)的年增長率接近 30% [1]，系統(tǒng)架構(gòu)師們需要建立龐大的存儲來滿足日益增長的帶寬和存儲空間的需求。隨著系統(tǒng)規(guī)模的擴大，系統(tǒng)的容錯能力和可靠性的問題日益突出。系統(tǒng)錯誤往導(dǎo)致非常嚴重的后果，對于商用數(shù)據(jù)服務(wù)器，系統(tǒng)錯誤意味著幾百萬美元的損用于科學(xué)計算的超級計算機集群，系統(tǒng)錯誤意味著很多寶貴的、不可再生的數(shù)據(jù)�，F(xiàn)在的存儲系統(tǒng)遠沒有我們想象的那么可靠，最新的調(diào)查顯示商用服務(wù)器只能 99%的可靠性，這意味著系統(tǒng)在一年中平均每 3.5 天會出現(xiàn)一次宕機 [2]。200一份錯誤分析報告顯示，Internet Archive [3]在一個月內(nèi)會出現(xiàn) 30 個硬盤錯誤，統(tǒng)是一個由 600 多個硬盤構(gòu)成，含有 100TB 壓縮數(shù)據(jù)的數(shù)字圖書館，，下圖是該連續(xù)運行 30 天所發(fā)生的硬件錯誤的分布情況。

圖 2-1：三種集中式存儲系統(tǒng)架構(gòu)Figure 2-1: The architecture of three kinds of centralized storage systems2.1.2 分布式存儲系統(tǒng)分布式存儲系統(tǒng)可以分為集群存儲系統(tǒng)、P2P 存儲系統(tǒng)和網(wǎng)格存儲系統(tǒng)等等(1) 集群存儲系統(tǒng)由于目前一些存儲應(yīng)用受容量可擴展性、性能可擴展性、可用性、可管理性戰(zhàn)，“催生”了許多存儲集群系統(tǒng)的產(chǎn)生。集群存儲是將每個存儲設(shè)備作為一個節(jié)點，通過高速互聯(lián)網(wǎng)絡(luò)連接起來，將數(shù)據(jù)分散開存儲在多臺獨立的設(shè)備上，這備可以獨立運作，相互之間又可以合作。每個 I/O 節(jié)點不僅可以訪問本節(jié)點的存間，還可以訪問其他節(jié)點的存儲空間。所有存儲節(jié)點的空間以一個虛擬磁盤的方供給客戶端用戶。組成集群存儲可以是塊級別的 SAN 集群、文件級別的 NAS 集并行文件系統(tǒng)的集群。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2009
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 林嘯虎;機器人應(yīng)用工程的可靠性研究[J];中國機械工程;1992年02期

2 伊連云;王會;張秀英;;PLC控制系統(tǒng)抗干擾可靠性研究[J];農(nóng)業(yè)裝備與車輛工程;2006年04期

3 李天超;李琳;;單片機上電初始化電路的可靠性研究[J];洛陽師范學(xué)院學(xué)報;2006年02期

4 張芳娥;衡君山;甄換強;;RS485總線網(wǎng)絡(luò)可靠性研究[J];儀器儀表學(xué)報;2006年S3期

5 高健飛;熊繼軍;郭濤;范波;;微加速度計在沖擊環(huán)境下的可靠性研究[J];傳感技術(shù)學(xué)報;2008年02期

6 張霞;王磊;張欣;;圖書館電子閱覽室人子系統(tǒng)的可靠性研究[J];中國現(xiàn)代教育裝備;2008年06期

7 俞健;;高速條件下GPRS數(shù)據(jù)傳輸可靠性研究[J];電腦與電信;2009年04期

8 于捷;石耀霖;張海龍;申桂香;賈亞洲;;基于Bayes方法的數(shù)控機床可靠性研究[J];機床與液壓;2009年08期

9 ;電子器件[J];電子科技文摘;2000年01期

10 ;可靠性工程與環(huán)境工程[J];電子科技文摘;2001年12期

相關(guān)會議論文 前10條

1 劉瑋;劉淑娟;;建筑施工用電的安全防范系統(tǒng)工程及其可靠性研究[A];人—機—環(huán)境系統(tǒng)工程創(chuàng)立20周年紀念大會暨第五屆全國人—機—環(huán)境系統(tǒng)工程學(xué)術(shù)會議論文集[C];2001年

2 ;VSL鋼絞線斜拉索體系可靠性研究[A];中國公路學(xué)會橋梁和結(jié)構(gòu)工程學(xué)會2002年全國橋梁學(xué)術(shù)會議論文集[C];2002年

3 劉金龍;;現(xiàn)代化鋼鐵企業(yè)電纜管理的人-機-環(huán)境系統(tǒng)可靠性研究[A];第六屆全國人—機—環(huán)境系統(tǒng)工程學(xué)術(shù)會議論文集[C];2003年

4 許建軍;孔學(xué)東;李斌;師謙;;MEMS及微機械加速度計可靠性研究[A];第十一屆全國可靠性物理學(xué)術(shù)討論會論文集[C];2005年

5 項止武;;電牽引采煤機電氣系統(tǒng)可靠性的研究[A];全面建設(shè)小康社會：中國科技工作者的歷史責(zé)任——中國科協(xié)2003年學(xué)術(shù)年會論文集（上）[C];2003年

6 曹志禮;;關(guān)于貨車轉(zhuǎn)向架可靠性問題的初步分析[A];貨車學(xué)術(shù)研討會論文集[C];2006年

7 王永新;;循環(huán)流化床鍋爐運行的可靠性研究[A];核工業(yè)集團公司第八屆可靠性成果發(fā)表會論文集[C];2006年

8 孫玉秋;;印刷機離合壓裝置可靠性分析[A];2005年全國機械可靠性學(xué)術(shù)交流會暨“車輛與工程裝備質(zhì)量與可靠性論壇”論文集[C];2005年

9 鞏威;劉英;王丹;陳千圣;;平衡肘結(jié)構(gòu)可靠性研究[A];慶祝中國力學(xué)學(xué)會成立50周年暨中國力學(xué)學(xué)會學(xué)術(shù)大會’2007論文摘要集（下）[C];2007年

10 彭成;王樹鵬;賈志凱;;基于糾刪碼的數(shù)據(jù)消冗存儲系統(tǒng)可靠性增強研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 美科利（香港）有限公司北京代表處;美科利業(yè)務(wù)可用性中心創(chuàng)造完美體驗[N];通信產(chǎn)業(yè)報;2005年

2 ;你的產(chǎn)品有可用性嗎[N];中國質(zhì)量報;2003年

3 雅慧;Enterasys NetSight方案提高網(wǎng)絡(luò)可控性、可用性[N];中國計算機報;2001年

4 ;萬全 T200可用性與價格并重[N];中國計算機報;2002年

5 楊萬麗;產(chǎn)品設(shè)計導(dǎo)入“可用性”[N];中國商報;2003年

6 中國電源學(xué)會副理事長 張廣明;可靠性 Vs 可用性[N];網(wǎng)絡(luò)世界;2004年

7 董唯元;可用性度量是惟一指標[N];中國計算機報;2006年

8 Andi Mann　編譯 劉琦;實現(xiàn)增強性能和可用性管理[N];中國計算機報;2009年

9 CPW記者 曾憲勇;APC關(guān)注網(wǎng)絡(luò)環(huán)境整體可用性[N];電腦商報;2004年

10 朗飛;磁盤備份 速度快了 可用性高了[N];中國計算機報;2004年

相關(guān)博士學(xué)位論文 前10條

1 左瓊;基于冗余度理論的鋼筋混凝土框架結(jié)構(gòu)抗地震倒塌能力評估[D];中國建筑科學(xué)研究院;2012年

2 艾達;視頻通信抗分組丟失技術(shù)研究[D];西安電子科技大學(xué);2006年

3 慕建君;低密度糾刪碼和網(wǎng)格圖復(fù)雜度的研究[D];西安電子科技大學(xué);2002年

4 田敬;對等存儲系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

5 宋劍;海洋平臺結(jié)構(gòu)在偶然災(zāi)害作用下的可靠性研究[D];浙江大學(xué);2005年

6 劉幗巾;剩余電流動作保護器的可靠性研究[D];河北工業(yè)大學(xué);2002年

7 石英學(xué);噪聲用于半導(dǎo)體大功率激光器及雙極晶體管可靠性研究[D];吉林大學(xué);2006年

8 �？×�;功率器件無鉛焊料焊接層可靠性研究[D];中國科學(xué)院研究生院（上海微系統(tǒng)與信息技術(shù)研究所）;2005年

9 華慶一;以用戶為中心的系統(tǒng)分析、建模與設(shè)計過程研究[D];西北大學(xué);2006年

10 方海光;我國教育軟件價值評測研究[D];中國科學(xué)院研究生院（成都計算機應(yīng)用研究所）;2006年

相關(guān)碩士學(xué)位論文 前10條

1 唐海浪;分布式存儲系統(tǒng)的可靠性研究[D];上海交通大學(xué);2009年

2 段建麗;面向網(wǎng)站可用性分析的可視化技術(shù)研究[D];大連海事大學(xué);2003年

3 王玉華;黃河QD352型載貨汽車大修可靠性研究[D];大連理工大學(xué);2003年

4 江海苗;軟件可用性輔助分析評估方法和工具研究[D];大連海事大學(xué);2004年

5 王惠;基于虛擬現(xiàn)實技術(shù)的產(chǎn)品設(shè)計過程中的可用性研究[D];東華大學(xué);2006年

6 張霞;計算機實驗室系統(tǒng)可靠性研究[D];首都師范大學(xué);2007年

7 馬毓;中國大陸兒童網(wǎng)站信息可理解性研究[D];西南大學(xué);2008年

8 彭霽;無線傳感器網(wǎng)絡(luò)的節(jié)能與可靠性研究[D];電子科技大學(xué);2008年

9 李雙明;基于可用性的移動商務(wù)采納研究[D];大連理工大學(xué);2009年

10 王桂榮;計算機集群技術(shù)的研究與應(yīng)用[D];天津大學(xué);2003年

本文編號：2622541