【摘要】：互聯(lián)網(wǎng)環(huán)境下,每18個月新產(chǎn)生的數(shù)據(jù)量等于有史以來數(shù)據(jù)量之和。信息資源量的爆炸性增長,使人們對存儲系統(tǒng)的存儲容量、數(shù)據(jù)信息可用性、I/O性能等方面的要求越來越高。越來越多的大規(guī)模存儲系統(tǒng)被制造出來并投入使用,其中大量的存儲系統(tǒng)是采用性價比優(yōu)秀的PC來搭建。在這樣的大規(guī)模存儲系統(tǒng)中,各組成部件失效經(jīng)常發(fā)生,并引發(fā)存儲系統(tǒng)中存儲數(shù)據(jù)的丟失和損壞。因此,隨著規(guī)模的膨脹,存儲系統(tǒng)的可靠性問題變得越來越重要。要確保大規(guī)模存儲系統(tǒng)的可靠性和數(shù)據(jù)可用性,就需要對高可靠存儲系統(tǒng)涉及的關(guān)鍵技術(shù)進(jìn)行研究。 本文首先給出了一個高可靠存儲系統(tǒng)的系統(tǒng)結(jié)構(gòu),在此基礎(chǔ)上,提出了基于數(shù)據(jù)副本的自適應(yīng)高可靠布局,適合于存儲系統(tǒng)數(shù)據(jù)容錯應(yīng)用的短LDPC編碼,基于失效預(yù)測的數(shù)據(jù)恢復(fù)機制PBDR。本文的主要工作有： (1)副本的放置策略涉及到大規(guī)模存儲系統(tǒng)數(shù)據(jù)布局的冗余性和公平性。針對副本數(shù)據(jù)布局中存儲系統(tǒng)的可靠性和數(shù)據(jù)的可用性問題,采用整數(shù)規(guī)劃的形式描述了大規(guī)模存儲系統(tǒng)中面向不同可靠性等級的存儲設(shè)備進(jìn)行數(shù)據(jù)布局的優(yōu)化問題,并說明了這個問題是NP難的。進(jìn)而設(shè)計了一種基于貪婪算法的高效數(shù)據(jù)分布算法,優(yōu)化了存儲節(jié)點可靠性的總代價和數(shù)據(jù)布局的公平性。 (2)為優(yōu)化存儲系統(tǒng)多副本數(shù)據(jù)布局方案,設(shè)計了一個基于Markov模型的衡量系統(tǒng)可靠性的理論模型—VRDL模型(Variable Rank Data Layout模型)。通過VRDL模型可以衡量存儲系統(tǒng)關(guān)鍵參數(shù)如副本階數(shù)、系統(tǒng)規(guī)模、存儲節(jié)點容量、失效檢測延遲等一系列因素對存儲系統(tǒng)可靠性的影響,從而為高可靠存儲系統(tǒng)的設(shè)計提供理論指導(dǎo)。 (3)將糾刪碼編碼理論應(yīng)用于大規(guī)模存儲系統(tǒng)的存儲節(jié)點失效應(yīng)對策略中,建立了多存儲節(jié)點環(huán)境下的糾刪碼容錯編碼模型,提出了一個針對多個存儲節(jié)點失效場景下的基于糾刪碼的短LDPC碼編碼方案。此編碼方案在確保大規(guī)模存儲系統(tǒng)中存儲節(jié)點數(shù)據(jù)高可用性的同時,還能提供優(yōu)于RS碼的讀寫性能。 (4)由于硬盤容量的增長速度快于硬盤I/O傳輸帶寬的增長速度導(dǎo)致了硬盤數(shù)據(jù)重構(gòu)時間不斷增長。這就使得存儲系統(tǒng)的脆弱窗口時間也越來越長,增加了存儲系統(tǒng)發(fā)生數(shù)據(jù)丟失的可能性。本文對存儲節(jié)點組三種數(shù)據(jù)冗余機制：二路鏡像,三路鏡像和RAID5鏡像構(gòu)成的存儲系統(tǒng)的失效數(shù)據(jù)恢復(fù)機制進(jìn)行了分析討論。進(jìn)一步提出了一種基于失效預(yù)測的數(shù)據(jù)恢復(fù)機制PBDR (Prediction Based數(shù)據(jù)恢復(fù)機制,PBDR),在存儲設(shè)備失效發(fā)生前,利用存儲系統(tǒng)中空閑的存儲節(jié)點資源,提前進(jìn)行數(shù)據(jù)重構(gòu)工作,可進(jìn)一步提高存儲系統(tǒng)的可靠性。
【圖文】：

2高可靠大規(guī)模存儲系統(tǒng)理論基礎(chǔ)2.1相關(guān)概念定義2.1大規(guī)模存儲系統(tǒng) (LargeSealeStoragesystem):如圖2.1所示，大規(guī)模存儲系統(tǒng)是由成千上萬個部件構(gòu)成的存儲集群，其最顯著的特點是規(guī)模龐大，整個系統(tǒng)的數(shù)據(jù)存儲容量達(dá)數(shù)PB、數(shù)十PB，乃至數(shù)百PB級。大規(guī)模存儲系統(tǒng)由四個主要部分構(gòu)成:客戶機節(jié)點，元數(shù)據(jù)服務(wù)器節(jié)點、存儲節(jié)點，以及連接各節(jié)點的各種網(wǎng)絡(luò)設(shè)備(如:路由器，交換機等)。定義2.2客戶機節(jié)點 (clientNode):客戶機節(jié)點是指具體負(fù)責(zé)與用戶進(jìn)行交互的應(yīng)用服務(wù)器。存儲系統(tǒng)對外提供的各類具體服務(wù)，如電子郵件服務(wù)，多媒體服務(wù)，web服務(wù)等的應(yīng)用的服務(wù)器端的功能都由客戶節(jié)點提供。客戶機節(jié)點負(fù)責(zé)接收用戶服務(wù)請求

華中科技大學(xué)博士學(xué)位論文性進(jìn)行比較，比較結(jié)果見圖4.4、圖4.5和圖4.6。由圖可見，鏡像副本編碼方案存儲節(jié)點組隨節(jié)點數(shù)增多，，二路鏡像副本編碼方案得到的存儲節(jié)點組數(shù)據(jù)可用性要小于其他兩種編碼方案，如對存儲節(jié)點可靠性為p=0.6、存儲節(jié)點數(shù)為18的存儲節(jié)點組，最大距離分隔碼編碼方案的存儲節(jié)點組數(shù)據(jù)可用性為0.8653，三路鏡像副本編碼方案的存儲節(jié)點組數(shù)據(jù)可用性為0.6724，而二路鏡像副本編碼方案的存儲節(jié)點組數(shù)據(jù)可用性為0.2082，再如對存儲節(jié)點可靠性為p二0.95、存儲節(jié)點數(shù)為18的存儲節(jié)點組
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2011
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 劉仲,周興銘;基于動態(tài)區(qū)間映射的數(shù)據(jù)對象布局算法[J];軟件學(xué)報;2005年11期

本文編號：2698572