存儲系統(tǒng)可靠性關鍵技術研究
發(fā)布時間:2018-04-11 10:23
本文選題:存儲系統(tǒng) + 可靠性。 參考:《華中科技大學》2013年博士論文
【摘要】:自圖靈獎獲獎者James Gray總結并提出“在當今網絡應用環(huán)境下,每18個月新產生和增加的數據存儲總量等于有史以來所有數據存儲量之和”的經驗定律以來,人們意識到數據正在呈爆炸性增長的趨勢。作為數據的載體—存儲系統(tǒng)已經在信息社會中得到了迅猛的發(fā)展。存儲系統(tǒng)經常出現各種異常因素可導致故障的發(fā)生,更糟糕的是嚴重的故障會引起數據丟失和損壞。因此,隨著數據量的不斷增加和數據價值的不斷提高,存儲系統(tǒng)可靠性問題變得越來越重要,對影響存儲系統(tǒng)高可靠性因素的關鍵理論和技術進行研究顯得尤為迫切。 各種可靠性技術已經在存儲系統(tǒng)中得到應用。首先,使用冗余等技術可以提高存儲系統(tǒng)的可靠性,當系統(tǒng)發(fā)生故障時,可以利用冗余信息進行數據重建。然而,在目前的技術條件下,系統(tǒng)的重建時間窗口非常長且會嚴重影響正常I/O性能,更嚴峻的問題是重建時間較長時,第二個磁盤出錯的概率也較大,極易造成數據全部損毀。因此,為了減少重建的發(fā)生,提高和預測磁盤可靠度是一個值得研究的問題。其次,大量的實驗分析表明高使用度的磁盤和高失效率之間有著高度的相關性,可以利用這種關系防止磁盤失效和數據丟失。因此,有必要對磁盤使用度概念進行探討并結合其它方法對提高存儲系統(tǒng)的可靠性進行研究。第三,統(tǒng)計表明,流行數據是影響存儲系統(tǒng)可靠性的決定性因素,根據流行數據預測和利用它進行性能等優(yōu)化的相關研究可知,利用和預測流行數據是提高存儲系統(tǒng)可靠性的關鍵研究問題之一。最后,由于磁盤溫度過高可以加劇磁盤失效,而磁盤溫度升高最主要的原因是工作負載的增加。因此,調整和預測工作負載對磁盤溫度進行控制是提高存儲系統(tǒng)可靠性的一個研究方向。針對上述幾個方面的關鍵問題進行了理論和實驗研究,主要工作有: 為了提高和預測磁盤的可靠度,提出了基于磁盤SMART技術的磁盤可靠度模型。根據磁盤SMART參數的實際值、閾值和屬性值建立參數可靠度模型,通過理論研究討論和實際測試分析選擇出重要參數并確定重要參數的權重,根據參數可靠度和參數權重建立磁盤可靠度模型。通過分析SMART參數實際值發(fā)生變化的參數數量和參數權重情況確定磁盤可靠度預警閾值,,結合磁盤可靠度和磁盤可靠度預警閾值對磁盤可靠度級別進行了分類。依據模型設定的閾值,將低級別可靠度磁盤中的數據遷移至備份盤,從而提高存儲系統(tǒng)的可靠性。 為了利用和預測流行數據,給出了基于Zipf定律的數據流行度模型。該模型結合當前時刻所有數據訪問頻率的排名和數據訪問頻率在當前一段時間內的增速這兩個已知參數,可以預測將來時刻這些數據新的訪問頻率排名情況。同時,對Zipf定律參數和C參數、預測將來時間以及流行數據隊列長度等四個參數采用不同的方法進行了詳細的估計。通過分類的流行數據特征對預測率進行了討論和分析,并且結合不同的預測將來時間和流行數據隊列長度兩個模型參數分析了預測率高低的原因。對不同磁盤可靠度和磁盤使用度級別中的當前流行數據和將來流行數據采取不同的數據遷移等保護措施,從而提高存儲系統(tǒng)的可靠性。 為了合理的控制磁盤溫度,以及預測磁盤工作負載,提出了基于Hurst指數的磁盤溫度控制方法。該方法結合磁盤溫度和工作負載之間的緊密關系,提出了一種利用Hurst指數計算I/O工作負載自相似性(H值)的方法,并且使用variance-time和R/S分析兩種方法估計H值。通過計算得出的H值,可以預測出下個時刻的I/O負載。最終對當前時刻高溫度磁盤以及預測的將來時刻高工作負載磁盤發(fā)出轉移負載或關盤指令等保護措施,防止磁盤溫度過高導致磁盤失效,從而提高存儲系統(tǒng)的可靠性。 為了驗證磁盤可靠度、磁盤使用度、數據流行度和磁盤溫度的解決方案效果,對基于SMART技術的磁盤可靠度模型、基于Zipf定律的數據流行度模型以及基于Hurst指數的磁盤溫度控制方法進行測試與分析。同時,提出了基于磁盤可靠度、磁盤使用度和數據流行度以及基于磁盤溫度和工作負載關系兩種可靠性優(yōu)化方法來提高存儲系統(tǒng)可靠性。實驗結果表明,這些技術和解決方案能夠有效地提高存儲系統(tǒng)的可靠性。
[Abstract]:......
【學位授予單位】:華中科技大學
【學位級別】:博士
【學位授予年份】:2013
【分類號】:TP333
【參考文獻】
相關期刊論文 前1條
1 張薇;馬建峰;楊曉元;;分布式存儲系統(tǒng)的可靠性研究[J];西安電子科技大學學報;2009年03期
相關博士學位論文 前1條
1 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關鍵技術研究[D];華中科技大學;2011年
本文編號:1735582
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/1735582.html