摘要 分布式存儲系統(tǒng)的應(yīng)用已經(jīng)越來越廣泛。在存儲系統(tǒng)中,可靠性是關(guān)鍵問題之一,保障數(shù)據(jù)的可用性必須要求存儲系統(tǒng)提供多種方式來實(shí)現(xiàn)高可靠性。 中文農(nóng)業(yè)搜索引擎CFSEA是東北大學(xué)信息檢索實(shí)驗(yàn)室開發(fā)的主題搜索引擎。它能夠?qū)崿F(xiàn)數(shù)據(jù)的分布式抓取和分布式存儲。分布式存儲系統(tǒng)是實(shí)現(xiàn)上述功能的基礎(chǔ)。 容錯(cuò)機(jī)制是分布式存儲系統(tǒng)的一個(gè)重要組成部分,也是CFSEA中分布式存儲系統(tǒng)的重要組成部分。當(dāng)CFSEA運(yùn)行時(shí),容錯(cuò)機(jī)制負(fù)責(zé)對故障進(jìn)行檢測,容錯(cuò)以及故障后的系統(tǒng)恢復(fù)處理。因此,容錯(cuò)機(jī)制是CFSEA穩(wěn)定性和可靠性的基礎(chǔ)和保證。 本文在深入研究的基礎(chǔ)上,闡述了CFSEA分布式存儲系統(tǒng)的體系結(jié)構(gòu),重點(diǎn)討論了CFSEA容錯(cuò)部分的設(shè)計(jì)與實(shí)現(xiàn)。該容錯(cuò)系統(tǒng)設(shè)計(jì)過程時(shí),在考慮到系統(tǒng)整體性能和容錯(cuò)機(jī)制的應(yīng)用背景前提下,分析與對比幾種常用的分布式容錯(cuò)機(jī)制,采取了幾種更適合CFSEA的容錯(cuò)技術(shù)。 該容錯(cuò)系統(tǒng)主要包括操作故障檢測、操作集的自我恢復(fù)、副本機(jī)制、日志和檢查點(diǎn)容錯(cuò)四個(gè)部分。故障檢測用于檢測數(shù)據(jù)塊內(nèi)容的正確性和服務(wù)器節(jié)點(diǎn)是否崩潰；操作集的自我恢復(fù)提供了對故障進(jìn)行簡單及時(shí)容錯(cuò)的能力；副本機(jī)制采用復(fù)制技術(shù)利用遠(yuǎn)程節(jié)點(diǎn)來對本地文件進(jìn)行及時(shí)容錯(cuò)；日志和檢查點(diǎn)機(jī)制通過日志記錄和設(shè)置檢查點(diǎn)來對主服務(wù)器崩潰故障進(jìn)行恢復(fù)。 最后的實(shí)驗(yàn)結(jié)果表明,添加了容錯(cuò)系統(tǒng)后,CFSEA系統(tǒng)的可靠性和可用性都大大提高。
【學(xué)位單位】：東北大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2008
【中圖分類】：TP302.8
【部分圖文】：

5.2.3測試結(jié)果分析在進(jìn)行了上述數(shù)據(jù)流正確性檢查后，記錄的測試結(jié)果如下。 (1)SubN0del節(jié)點(diǎn)數(shù)據(jù)塊內(nèi)容修改前，~.txt文件的內(nèi)容如圖5.1所示。

修改后wWll.械的內(nèi)容Fig.5.2Theeonteniofmodifiedwwn.tXt客戶端讀取該文件生成的校驗(yàn)碼為:3a965eO0849c274份69b966c，跟未修改前的校驗(yàn)碼不一致

SubNodel崩潰前的測試結(jié)果圖

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 龐麗萍,陳寶利;基于相互獨(dú)立檢查點(diǎn)的MPI消息日志系統(tǒng)[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年08期

2 張悠慧,汪東升,鄭緯民;Windows NT環(huán)境下的進(jìn)程檢查點(diǎn)設(shè)置與回卷恢復(fù)[J];計(jì)算機(jī)研究與發(fā)展;2001年01期

3 周恩強(qiáng),盧宇彤,沈志宇;一個(gè)適合大規(guī)模集群并行計(jì)算的檢查點(diǎn)系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

4 王迪;薛巍;舒繼武;沈美明;;海量存儲網(wǎng)絡(luò)中的虛擬盤副本容錯(cuò)技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2006年10期

5 范劍波,徐利浩;分布式存儲系統(tǒng)可靠性的研究[J];計(jì)算機(jī)工程;2001年06期

6 薛瑞尼;張悠慧;陳文光;鄭緯民;;面向集群的消息傳遞并行程序容錯(cuò)系統(tǒng)[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年01期

相關(guān)博士學(xué)位論文 前3條

1 孫海燕;數(shù)據(jù)網(wǎng)格副本管理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 吳長澤;數(shù)據(jù)網(wǎng)格中高可用性副本管理及性能優(yōu)化研究[D];重慶大學(xué);2007年

相關(guān)碩士學(xué)位論文 前6條

1 張智強(qiáng);交易系統(tǒng)高可用性研究[D];太原理工大學(xué);2004年

2 羅慶超;分布式數(shù)據(jù)存儲與備份的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2004年

3 周國峰;高可用性系統(tǒng)中檢查點(diǎn)技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2004年

4 郭威;分布式文件系統(tǒng)ZD-DFS的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2006年

5 楊照宏;分布式海量存儲系統(tǒng)的可靠性和容錯(cuò)性研究[D];大連海事大學(xué);2007年

6 劉吉哲;Web服務(wù)可靠消息傳遞和容錯(cuò)機(jī)制的研究[D];大連海事大學(xué);2008年

本文編號：2815809