【摘要】：隨著人類社會(huì)數(shù)據(jù)爆炸性增長,分布式存儲(chǔ)系統(tǒng)的規(guī)模也越來越大,節(jié)點(diǎn)數(shù)少則幾千多則上萬,磁盤或者節(jié)點(diǎn)出現(xiàn)故障的概率大大提高。因此,容錯(cuò)技術(shù)是分布式存儲(chǔ)系統(tǒng)中不可或缺的重要研究內(nèi)容。本文在實(shí)驗(yàn)室自主研發(fā)的分布式存儲(chǔ)系統(tǒng)BOSS基礎(chǔ)上,對分布式存儲(chǔ)系統(tǒng)的容錯(cuò)關(guān)鍵技術(shù)進(jìn)行研究。本文的主要工作如下:(1)針對數(shù)據(jù)布局算法進(jìn)行研究,提出了一種基于層次結(jié)構(gòu)的數(shù)據(jù)布局算法。該算法通過兩次哈希選取數(shù)據(jù)布局位置,能夠較好的兼顧數(shù)據(jù)可靠性與負(fù)載均衡性,并且以較小的代價(jià)支持集群的動(dòng)態(tài)拓?fù)渥兓?2)在BOSS系統(tǒng)上,實(shí)現(xiàn)了RS糾刪碼,比多副本技術(shù)提供更高的容錯(cuò)能力,并提升存儲(chǔ)空間利用率。針對數(shù)據(jù)修復(fù)消耗網(wǎng)絡(luò)帶寬過大的問題,提出了一種基于Prime最小生成樹的數(shù)據(jù)修復(fù)策略,可有效降低糾刪碼數(shù)據(jù)修復(fù)時(shí)的網(wǎng)絡(luò)占用帶寬。(3)提出了一種磁盤健康狀態(tài)檢測方法,該方法將磁盤空間均等分割為多個(gè)采樣區(qū),然后在每個(gè)采樣區(qū)內(nèi)隨機(jī)取點(diǎn),綜合考慮IOPS性能和延遲,在保證準(zhǔn)確率的同時(shí),能夠在較短時(shí)間內(nèi)檢測出故障磁盤,為及時(shí)識(shí)別和替換故障磁盤,保證數(shù)據(jù)可靠性發(fā)揮重要作用。
【圖文】：

統(tǒng)的技術(shù)優(yōu)點(diǎn)、面向下一代云計(jì)算數(shù)據(jù)中心而研發(fā)的大規(guī)模分布式存儲(chǔ)基于 Linux 環(huán)境下普通的 x86 服務(wù)器和廣受支持的存儲(chǔ)設(shè)備(磁盤、固)來構(gòu)建大規(guī)模分布式存儲(chǔ)系統(tǒng)集群。BOSS 系統(tǒng)從通信協(xié)議設(shè)計(jì)、編解緩存管理算法、I/O 調(diào)度、多線程和 I/O 并發(fā)性、基于零拷貝的緩沖區(qū)個(gè)關(guān)鍵環(huán)節(jié)都進(jìn)行精心設(shè)計(jì)，具有高可靠、高并發(fā)、可大規(guī)模擴(kuò)展、易特性，滿足云數(shù)據(jù)中心虛擬機(jī)、數(shù)據(jù)庫等業(yè)務(wù)對高性能、低延遲的要求。作為一款適用范圍廣、應(yīng)用場景多的存儲(chǔ)系統(tǒng)，可在同一部署平臺(tái)上支(BOSS-EBS)、對象存儲(chǔ)(BOSS-OS)等多種數(shù)據(jù)服務(wù)。 系統(tǒng)架構(gòu)如圖 2-1 所示，BOSS 系統(tǒng)使用“分布存儲(chǔ)、集中管理”的系統(tǒng)架構(gòu)，主節(jié)點(diǎn) Monitor、數(shù)據(jù)服務(wù)節(jié)點(diǎn) DataServer、客戶端節(jié)點(diǎn) Client 三種組件組情況下，監(jiān)控節(jié)點(diǎn)和數(shù)據(jù)服務(wù)節(jié)點(diǎn)可混合部署在同一個(gè)物理服務(wù)器，客部署在其它的物理服務(wù)器。

其與數(shù)據(jù)節(jié)點(diǎn)融合部署時(shí)，雖然數(shù)據(jù)節(jié)點(diǎn)會(huì)占用大量的 CPU 和網(wǎng)絡(luò)資源，監(jiān)點(diǎn)也不會(huì)成為系統(tǒng)的瓶頸。監(jiān)控節(jié)點(diǎn)通常使用主從結(jié)構(gòu)來避免單節(jié)點(diǎn)故障節(jié)點(diǎn)發(fā)生故障時(shí)，從節(jié)點(diǎn)可以代替主節(jié)點(diǎn)給系統(tǒng)提供元數(shù)據(jù)服務(wù)，實(shí)現(xiàn)系統(tǒng)可靠性。一般情況下，，主監(jiān)控節(jié)點(diǎn)通過間斷性的心跳信息來監(jiān)控?cái)?shù)據(jù)服務(wù)節(jié)括節(jié)點(diǎn)的健康狀態(tài)與磁盤的離線狀態(tài)。另外，主從監(jiān)控節(jié)點(diǎn)之間還通過心跳來維護(hù)系統(tǒng)元數(shù)據(jù)信息的一致性。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 董勇;蔣艷凰;盧宇彤;周恩強(qiáng);;面向磁盤故障預(yù)測的機(jī)器學(xué)習(xí)方法比較[J];計(jì)算機(jī)工程與科學(xué);2015年12期

本文編號：2668715