【摘要】：互聯(lián)網環(huán)境下,每18個月新產生的數(shù)據(jù)量等于有史以來數(shù)據(jù)量之和。信息資源量的爆炸性增長,使人們對存儲系統(tǒng)的存儲容量、數(shù)據(jù)信息可用性、I/O性能等方面的要求越來越高。越來越多的大規(guī)模存儲系統(tǒng)被制造出來并投入使用,其中大量的存儲系統(tǒng)是采用性價比優(yōu)秀的PC來搭建。在這樣的大規(guī)模存儲系統(tǒng)中,各組成部件失效經常發(fā)生,并引發(fā)存儲系統(tǒng)中存儲數(shù)據(jù)的丟失和損壞。因此,隨著規(guī)模的膨脹,存儲系統(tǒng)的可靠性問題變得越來越重要。要確保大規(guī)模存儲系統(tǒng)的可靠性和數(shù)據(jù)可用性,就需要對高可靠存儲系統(tǒng)涉及的關鍵技術進行研究。 本文首先給出了一個高可靠存儲系統(tǒng)的系統(tǒng)結構,在此基礎上,提出了基于數(shù)據(jù)副本的自適應高可靠布局,適合于存儲系統(tǒng)數(shù)據(jù)容錯應用的短LDPC編碼,基于失效預測的數(shù)據(jù)恢復機制PBDR。本文的主要工作有： (1)副本的放置策略涉及到大規(guī)模存儲系統(tǒng)數(shù)據(jù)布局的冗余性和公平性。針對副本數(shù)據(jù)布局中存儲系統(tǒng)的可靠性和數(shù)據(jù)的可用性問題,采用整數(shù)規(guī)劃的形式描述了大規(guī)模存儲系統(tǒng)中面向不同可靠性等級的存儲設備進行數(shù)據(jù)布局的優(yōu)化問題,并說明了這個問題是NP難的。進而設計了一種基于貪婪算法的高效數(shù)據(jù)分布算法,優(yōu)化了存儲節(jié)點可靠性的總代價和數(shù)據(jù)布局的公平性。 (2)為優(yōu)化存儲系統(tǒng)多副本數(shù)據(jù)布局方案,設計了一個基于Markov模型的衡量系統(tǒng)可靠性的理論模型—VRDL模型(Variable Rank Data Layout模型)。通過VRDL模型可以衡量存儲系統(tǒng)關鍵參數(shù)如副本階數(shù)、系統(tǒng)規(guī)模、存儲節(jié)點容量、失效檢測延遲等一系列因素對存儲系統(tǒng)可靠性的影響,從而為高可靠存儲系統(tǒng)的設計提供理論指導。 (3)將糾刪碼編碼理論應用于大規(guī)模存儲系統(tǒng)的存儲節(jié)點失效應對策略中,建立了多存儲節(jié)點環(huán)境下的糾刪碼容錯編碼模型,提出了一個針對多個存儲節(jié)點失效場景下的基于糾刪碼的短LDPC碼編碼方案。此編碼方案在確保大規(guī)模存儲系統(tǒng)中存儲節(jié)點數(shù)據(jù)高可用性的同時,還能提供優(yōu)于RS碼的讀寫性能。 (4)由于硬盤容量的增長速度快于硬盤I/O傳輸帶寬的增長速度導致了硬盤數(shù)據(jù)重構時間不斷增長。這就使得存儲系統(tǒng)的脆弱窗口時間也越來越長,增加了存儲系統(tǒng)發(fā)生數(shù)據(jù)丟失的可能性。本文對存儲節(jié)點組三種數(shù)據(jù)冗余機制：二路鏡像,三路鏡像和RAID5鏡像構成的存儲系統(tǒng)的失效數(shù)據(jù)恢復機制進行了分析討論。進一步提出了一種基于失效預測的數(shù)據(jù)恢復機制PBDR (Prediction Based數(shù)據(jù)恢復機制,PBDR),在存儲設備失效發(fā)生前,利用存儲系統(tǒng)中空閑的存儲節(jié)點資源,提前進行數(shù)據(jù)重構工作,可進一步提高存儲系統(tǒng)的可靠性。
【圖文】：

2高可靠大規(guī)模存儲系統(tǒng)理論基礎2.1相關概念定義2.1大規(guī)模存儲系統(tǒng) (LargeSealeStoragesystem):如圖2.1所示，大規(guī)模存儲系統(tǒng)是由成千上萬個部件構成的存儲集群，其最顯著的特點是規(guī)模龐大，整個系統(tǒng)的數(shù)據(jù)存儲容量達數(shù)PB、數(shù)十PB，乃至數(shù)百PB級。大規(guī)模存儲系統(tǒng)由四個主要部分構成:客戶機節(jié)點，元數(shù)據(jù)服務器節(jié)點、存儲節(jié)點，以及連接各節(jié)點的各種網絡設備(如:路由器，交換機等)。定義2.2客戶機節(jié)點 (clientNode):客戶機節(jié)點是指具體負責與用戶進行交互的應用服務器。存儲系統(tǒng)對外提供的各類具體服務，如電子郵件服務，多媒體服務，web服務等的應用的服務器端的功能都由客戶節(jié)點提供�？蛻魴C節(jié)點負責接收用戶服務請求

華中科技大學博士學位論文性進行比較，比較結果見圖4.4、圖4.5和圖4.6。由圖可見，鏡像副本編碼方案存儲節(jié)點組隨節(jié)點數(shù)增多，，二路鏡像副本編碼方案得到的存儲節(jié)點組數(shù)據(jù)可用性要小于其他兩種編碼方案，如對存儲節(jié)點可靠性為p=0.6、存儲節(jié)點數(shù)為18的存儲節(jié)點組，最大距離分隔碼編碼方案的存儲節(jié)點組數(shù)據(jù)可用性為0.8653，三路鏡像副本編碼方案的存儲節(jié)點組數(shù)據(jù)可用性為0.6724，而二路鏡像副本編碼方案的存儲節(jié)點組數(shù)據(jù)可用性為0.2082，再如對存儲節(jié)點可靠性為p二0.95、存儲節(jié)點數(shù)為18的存儲節(jié)點組
【學位授予單位】：華中科技大學
【學位級別】：博士
【學位授予年份】：2011
【分類號】：TP333

【參考文獻】

相關期刊論文 前1條

1 劉仲,周興銘;基于動態(tài)區(qū)間映射的數(shù)據(jù)對象布局算法[J];軟件學報;2005年11期

本文編號：2698572