發(fā)布時間：2020-05-17 14:40

【摘要】：隨著人類社會數(shù)據(jù)爆炸性增長,分布式存儲系統(tǒng)的規(guī)模也越來越大,節(jié)點數(shù)少則幾千多則上萬,磁盤或者節(jié)點出現(xiàn)故障的概率大大提高。因此,容錯技術是分布式存儲系統(tǒng)中不可或缺的重要研究內(nèi)容。本文在實驗室自主研發(fā)的分布式存儲系統(tǒng)BOSS基礎上,對分布式存儲系統(tǒng)的容錯關鍵技術進行研究。本文的主要工作如下:(1)針對數(shù)據(jù)布局算法進行研究,提出了一種基于層次結(jié)構(gòu)的數(shù)據(jù)布局算法。該算法通過兩次哈希選取數(shù)據(jù)布局位置,能夠較好的兼顧數(shù)據(jù)可靠性與負載均衡性,并且以較小的代價支持集群的動態(tài)拓撲變化。(2)在BOSS系統(tǒng)上,實現(xiàn)了RS糾刪碼,比多副本技術提供更高的容錯能力,并提升存儲空間利用率。針對數(shù)據(jù)修復消耗網(wǎng)絡帶寬過大的問題,提出了一種基于Prime最小生成樹的數(shù)據(jù)修復策略,可有效降低糾刪碼數(shù)據(jù)修復時的網(wǎng)絡占用帶寬。(3)提出了一種磁盤健康狀態(tài)檢測方法,該方法將磁盤空間均等分割為多個采樣區(qū),然后在每個采樣區(qū)內(nèi)隨機取點,綜合考慮IOPS性能和延遲,在保證準確率的同時,能夠在較短時間內(nèi)檢測出故障磁盤,為及時識別和替換故障磁盤,保證數(shù)據(jù)可靠性發(fā)揮重要作用。
【圖文】：

統(tǒng)的技術優(yōu)點、面向下一代云計算數(shù)據(jù)中心而研發(fā)的大規(guī)模分布式存儲基于 Linux 環(huán)境下普通的 x86 服務器和廣受支持的存儲設備(磁盤、固)來構(gòu)建大規(guī)模分布式存儲系統(tǒng)集群。BOSS 系統(tǒng)從通信協(xié)議設計、編解緩存管理算法、I/O 調(diào)度、多線程和 I/O 并發(fā)性、基于零拷貝的緩沖區(qū)個關鍵環(huán)節(jié)都進行精心設計，具有高可靠、高并發(fā)、可大規(guī)模擴展、易特性，滿足云數(shù)據(jù)中心虛擬機、數(shù)據(jù)庫等業(yè)務對高性能、低延遲的要求。作為一款適用范圍廣、應用場景多的存儲系統(tǒng)，可在同一部署平臺上支(BOSS-EBS)、對象存儲(BOSS-OS)等多種數(shù)據(jù)服務。 系統(tǒng)架構(gòu)如圖 2-1 所示，BOSS 系統(tǒng)使用“分布存儲、集中管理”的系統(tǒng)架構(gòu)，主節(jié)點 Monitor、數(shù)據(jù)服務節(jié)點 DataServer、客戶端節(jié)點 Client 三種組件組情況下，監(jiān)控節(jié)點和數(shù)據(jù)服務節(jié)點可混合部署在同一個物理服務器，客部署在其它的物理服務器。

其與數(shù)據(jù)節(jié)點融合部署時，雖然數(shù)據(jù)節(jié)點會占用大量的 CPU 和網(wǎng)絡資源，監(jiān)點也不會成為系統(tǒng)的瓶頸。監(jiān)控節(jié)點通常使用主從結(jié)構(gòu)來避免單節(jié)點故障節(jié)點發(fā)生故障時，從節(jié)點可以代替主節(jié)點給系統(tǒng)提供元數(shù)據(jù)服務，實現(xiàn)系統(tǒng)可靠性。一般情況下，，主監(jiān)控節(jié)點通過間斷性的心跳信息來監(jiān)控數(shù)據(jù)服務節(jié)括節(jié)點的健康狀態(tài)與磁盤的離線狀態(tài)。另外，主從監(jiān)控節(jié)點之間還通過心跳來維護系統(tǒng)元數(shù)據(jù)信息的一致性。
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP333

【參考文獻】

相關期刊論文 前1條

1 董勇;蔣艷凰;盧宇彤;周恩強;;面向磁盤故障預測的機器學習方法比較[J];計算機工程與科學;2015年12期

本文編號：2668715