摘要 分布式存儲系統(tǒng)的應用已經(jīng)越來越廣泛。在存儲系統(tǒng)中,可靠性是關(guān)鍵問題之一,保障數(shù)據(jù)的可用性必須要求存儲系統(tǒng)提供多種方式來實現(xiàn)高可靠性。 中文農(nóng)業(yè)搜索引擎CFSEA是東北大學信息檢索實驗室開發(fā)的主題搜索引擎。它能夠?qū)崿F(xiàn)數(shù)據(jù)的分布式抓取和分布式存儲。分布式存儲系統(tǒng)是實現(xiàn)上述功能的基礎。 容錯機制是分布式存儲系統(tǒng)的一個重要組成部分,也是CFSEA中分布式存儲系統(tǒng)的重要組成部分。當CFSEA運行時,容錯機制負責對故障進行檢測,容錯以及故障后的系統(tǒng)恢復處理。因此,容錯機制是CFSEA穩(wěn)定性和可靠性的基礎和保證。 本文在深入研究的基礎上,闡述了CFSEA分布式存儲系統(tǒng)的體系結(jié)構(gòu),重點討論了CFSEA容錯部分的設計與實現(xiàn)。該容錯系統(tǒng)設計過程時,在考慮到系統(tǒng)整體性能和容錯機制的應用背景前提下,分析與對比幾種常用的分布式容錯機制,采取了幾種更適合CFSEA的容錯技術(shù)。 該容錯系統(tǒng)主要包括操作故障檢測、操作集的自我恢復、副本機制、日志和檢查點容錯四個部分。故障檢測用于檢測數(shù)據(jù)塊內(nèi)容的正確性和服務器節(jié)點是否崩潰；操作集的自我恢復提供了對故障進行簡單及時容錯的能力；副本機制采用復制技術(shù)利用遠程節(jié)點來對本地文件進行及時容錯；日志和檢查點機制通過日志記錄和設置檢查點來對主服務器崩潰故障進行恢復。 最后的實驗結(jié)果表明,添加了容錯系統(tǒng)后,CFSEA系統(tǒng)的可靠性和可用性都大大提高。
【學位單位】：東北大學
【學位級別】：碩士
【學位年份】：2008
【中圖分類】：TP302.8
【部分圖文】：

5.2.3測試結(jié)果分析在進行了上述數(shù)據(jù)流正確性檢查后，記錄的測試結(jié)果如下。 (1)SubN0del節(jié)點數(shù)據(jù)塊內(nèi)容修改前，~.txt文件的內(nèi)容如圖5.1所示。

修改后wWll.械的內(nèi)容Fig.5.2Theeonteniofmodifiedwwn.tXt客戶端讀取該文件生成的校驗碼為:3a965eO0849c274份69b966c，跟未修改前的校驗碼不一致

SubNodel崩潰前的測試結(jié)果圖

【參考文獻】

相關(guān)期刊論文 前6條

1 龐麗萍,陳寶利;基于相互獨立檢查點的MPI消息日志系統(tǒng)[J];華中科技大學學報(自然科學版);2004年08期

2 張悠慧,汪東升,鄭緯民;Windows NT環(huán)境下的進程檢查點設置與回卷恢復[J];計算機研究與發(fā)展;2001年01期

3 周恩強,盧宇彤,沈志宇;一個適合大規(guī)模集群并行計算的檢查點系統(tǒng)[J];計算機研究與發(fā)展;2005年06期

4 王迪;薛巍;舒繼武;沈美明;;海量存儲網(wǎng)絡中的虛擬盤副本容錯技術(shù)[J];計算機研究與發(fā)展;2006年10期

5 范劍波,徐利浩;分布式存儲系統(tǒng)可靠性的研究[J];計算機工程;2001年06期

6 薛瑞尼;張悠慧;陳文光;鄭緯民;;面向集群的消息傳遞并行程序容錯系統(tǒng)[J];清華大學學報(自然科學版);2006年01期

相關(guān)博士學位論文 前3條

1 孫海燕;數(shù)據(jù)網(wǎng)格副本管理關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2005年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學院研究生院（計算技術(shù)研究所）;2002年

3 吳長澤;數(shù)據(jù)網(wǎng)格中高可用性副本管理及性能優(yōu)化研究[D];重慶大學;2007年

相關(guān)碩士學位論文 前6條

1 張智強;交易系統(tǒng)高可用性研究[D];太原理工大學;2004年

2 羅慶超;分布式數(shù)據(jù)存儲與備份的研究與實現(xiàn)[D];電子科技大學;2004年

3 周國峰;高可用性系統(tǒng)中檢查點技術(shù)的研究與實現(xiàn)[D];華中科技大學;2004年

4 郭威;分布式文件系統(tǒng)ZD-DFS的設計與實現(xiàn)[D];浙江大學;2006年

5 楊照宏;分布式海量存儲系統(tǒng)的可靠性和容錯性研究[D];大連海事大學;2007年

6 劉吉哲;Web服務可靠消息傳遞和容錯機制的研究[D];大連海事大學;2008年

本文編號：2815809