基于改進隨機森林的硬盤故障預測方法研究
發(fā)布時間：2021-07-11 14:02
隨著工業(yè)物聯(lián)網、云存儲、云計算、大數據等新興信息技術的出現(xiàn)和迅猛發(fā)展,全球數據總量呈現(xiàn)指數級的增長,全球接近90%的數據存儲在數據中心的硬盤中。由于硬盤自身結構和數據存儲機制,硬盤一旦出現(xiàn)故障,硬盤中存儲的數據可能永久丟失,給企業(yè)和個人帶來嚴重的損失。雖然數據的冗余備份機制可以預防硬盤故障時數據的丟失,但是增加了數據存儲的成本,對硬盤進行故障預測成為目前最主流的方法。硬盤的S.M.A.R.T.（Self-Monitoring,Analysis and Reporting Technology）技術和數據中心運維技術的發(fā)展,為硬盤的故障預測奠定了基礎。目前,幾乎所有的硬盤都支持S.M.A.R.T.技術,這為硬盤的故障預測提供了數據基礎,同時數據中心的運維方式正由自動化運維向基于機器學習方法的智能化運維方向轉變,使用機器學習方法進行硬盤故障預測,可以提高硬盤故障預測的準確率,保障數據存儲的安全可靠。本文分析了真實數據中心場景下硬盤S.M.A.R.T.數據的特點,同時選擇使用改進隨機森林算法建立故障預測模型,對硬盤故障進行預測。本文的主要研究工作包括:（1）針對真實數據中心場景下,硬盤S.M...
【文章來源】：鄭州大學河南省 211工程院校
【文章頁數】：64 頁
【學位級別】：碩士
【部分圖文】：
一個或多個S.M.A.R.T.屬性值大于0的硬盤狀態(tài)統(tǒng)計圖
()tf X為硬盤故障預測模型， 為一種抽象的狀態(tài)閾值，則硬盤故障預測過程可以定義為公式（2.1）。狀態(tài)閾值 是一個抽象概念，用于區(qū)分正常硬盤和即將故障的硬盤，例如支持向量機中的超平面。當硬盤故障預測模型輸出值超過狀態(tài)閾值時，則表示硬盤即將發(fā)生故障，故障預測模型建立的過程實則就是 ()tf X和 的求解過程。FailurefXYesNot ( () )?:（2.1）第三步是硬盤故障預測模型的測試和評價。如圖 2.3 所示，硬盤故障預測模型的構建通常是多次訓練和優(yōu)化的結果，并不是一次訓練的過程，訓練過程中通過對模型中的參數進行多次不同值的選取，并進行不同參數值下模型的預測性能測試，來保證最大程度的使算法訓練出模型接近最優(yōu)。測試過程中使用測試數據集來對在訓練數據集上建立的預測模型的性能進行評價，測試過程中通常使用交叉驗證的方法，評價的指標包括精確度(Precision)、準確率(accuracy)和召回率(Recall)等，在 2.3.2 節(jié)中，本文將對硬盤故障預測的評價指標進行詳細介紹。
因此提出 F-值（F measure）來平衡兩2.5）所示。F-值越高，表示故障預測模型的預測效ecisioncallecisioncallFmeasurePrRe2PrRe ，許多學者利用 ROC（Receiver Operating Characte學習算法的性能。ROC 曲線是一條畫在二維坐標標為假正率（FPR，false positive rate），計算如公率（TPR，true positive rate），計算如公式（2.7）通過設置機器學習算法在獲取分類結果時的概率值對應不同的坐標點，如圖 2.4 所示是 ROC 曲線 曲線都處于（0，0）和（1，1）連線的上方，如果1，1）連線的下方，則說明分類器的分類效果較差FPTNFPFPR TPFNTPTPR
【參考文獻】：
期刊論文
[1]集成學習方法:研究綜述[J]. 徐繼偉,楊云. 云南大學學報(自然科學版). 2018(06)
[2]RAID技術實現(xiàn)方法和RAID陣列[J]. 林靜. 信息與電腦(理論版). 2018(17)
[3]基于增量式隨機森林的燃氣負荷預測方法[J]. 錢恒,虞慧群,范貴生. 華東理工大學學報(自然科學版). 2019(01)
[4]面向不平衡數據集的一種精化Borderline-SMOTE方法[J]. 楊毅,盧誠波,徐根海. 復旦學報(自然科學版). 2017(05)
[5]一種基于自適應監(jiān)測的云計算系統(tǒng)故障檢測方法[J]. 王燾,顧澤宇,張文博,徐繼偉,魏峻,鐘華. 計算機學報. 2018(06)
[6]存儲系統(tǒng)可靠性預測綜述[J]. 李靜,王剛,劉曉光,李忠偉. 計算機科學與探索. 2017(03)
[7]面向磁盤故障預測的機器學習方法比較[J]. 董勇,蔣艷凰,盧宇彤,周恩強. 計算機工程與科學. 2015(12)
[8]硬盤故障預測模型在大型數據中心環(huán)境下的驗證[J]. 賈宇晗,李靜,賈潤瑩,李忠偉,王剛,劉曉光,肖康. 計算機研究與發(fā)展. 2015(S2)
[9]基于Adaboost和遺傳算法的硬盤故障預測模型優(yōu)化及選擇[J]. 賈潤瑩,李靜,王剛,李忠偉,劉曉光. 計算機研究與發(fā)展. 2014(S1)
[10]數據挖掘中的不平衡分類問題集分析[J]. 吳悠,高靜怡. 電子制作. 2014(10)
碩士論文
[1]基于隨機森林算法的高維不平衡數據分類研究及應用[D]. 楊浩宇.鄭州大學 2017
[2]基于深度學習的磁盤健康度評估與故障預測技術研究[D]. 蘭云龍.杭州電子科技大學 2017
[3]基于機器學習的磁盤故障預測系統(tǒng)[D]. 柳永康.華中科技大學 2015
[4]基于S.M.A.R.T.預測故障磁盤的研究[D]. 宋云華.南京大學 2014
[5]大規(guī)模存儲系統(tǒng)硬盤故障預測方法研究[D]. 朱炳鵬.南開大學 2014
[6]基于SVM決策樹的增量式文本層次分類研究[D]. 劉靖雯.北京郵電大學 2014
[7]基于改進隨機森林的軟件故障預測模型研究[D]. 嚴蕾.西安電子科技大學 2013
[8]基于智能預警和自修復的高可靠磁盤陣列關鍵技術研究[D]. 胡維.國防科學技術大學 2010
本文編號：3278234
【文章來源】：鄭州大學河南省 211工程院校
【文章頁數】：64 頁
【學位級別】：碩士
【部分圖文】：
一個或多個S.M.A.R.T.屬性值大于0的硬盤狀態(tài)統(tǒng)計圖
()tf X為硬盤故障預測模型， 為一種抽象的狀態(tài)閾值，則硬盤故障預測過程可以定義為公式（2.1）。狀態(tài)閾值 是一個抽象概念，用于區(qū)分正常硬盤和即將故障的硬盤，例如支持向量機中的超平面。當硬盤故障預測模型輸出值超過狀態(tài)閾值時，則表示硬盤即將發(fā)生故障，故障預測模型建立的過程實則就是 ()tf X和 的求解過程。FailurefXYesNot ( () )?:（2.1）第三步是硬盤故障預測模型的測試和評價。如圖 2.3 所示，硬盤故障預測模型的構建通常是多次訓練和優(yōu)化的結果，并不是一次訓練的過程，訓練過程中通過對模型中的參數進行多次不同值的選取，并進行不同參數值下模型的預測性能測試，來保證最大程度的使算法訓練出模型接近最優(yōu)。測試過程中使用測試數據集來對在訓練數據集上建立的預測模型的性能進行評價，測試過程中通常使用交叉驗證的方法，評價的指標包括精確度(Precision)、準確率(accuracy)和召回率(Recall)等，在 2.3.2 節(jié)中，本文將對硬盤故障預測的評價指標進行詳細介紹。
因此提出 F-值（F measure）來平衡兩2.5）所示。F-值越高，表示故障預測模型的預測效ecisioncallecisioncallFmeasurePrRe2PrRe ，許多學者利用 ROC（Receiver Operating Characte學習算法的性能。ROC 曲線是一條畫在二維坐標標為假正率（FPR，false positive rate），計算如公率（TPR，true positive rate），計算如公式（2.7）通過設置機器學習算法在獲取分類結果時的概率值對應不同的坐標點，如圖 2.4 所示是 ROC 曲線 曲線都處于（0，0）和（1，1）連線的上方，如果1，1）連線的下方，則說明分類器的分類效果較差FPTNFPFPR TPFNTPTPR
【參考文獻】：
期刊論文
[1]集成學習方法:研究綜述[J]. 徐繼偉,楊云. 云南大學學報(自然科學版). 2018(06)
[2]RAID技術實現(xiàn)方法和RAID陣列[J]. 林靜. 信息與電腦(理論版). 2018(17)
[3]基于增量式隨機森林的燃氣負荷預測方法[J]. 錢恒,虞慧群,范貴生. 華東理工大學學報(自然科學版). 2019(01)
[4]面向不平衡數據集的一種精化Borderline-SMOTE方法[J]. 楊毅,盧誠波,徐根海. 復旦學報(自然科學版). 2017(05)
[5]一種基于自適應監(jiān)測的云計算系統(tǒng)故障檢測方法[J]. 王燾,顧澤宇,張文博,徐繼偉,魏峻,鐘華. 計算機學報. 2018(06)
[6]存儲系統(tǒng)可靠性預測綜述[J]. 李靜,王剛,劉曉光,李忠偉. 計算機科學與探索. 2017(03)
[7]面向磁盤故障預測的機器學習方法比較[J]. 董勇,蔣艷凰,盧宇彤,周恩強. 計算機工程與科學. 2015(12)
[8]硬盤故障預測模型在大型數據中心環(huán)境下的驗證[J]. 賈宇晗,李靜,賈潤瑩,李忠偉,王剛,劉曉光,肖康. 計算機研究與發(fā)展. 2015(S2)
[9]基于Adaboost和遺傳算法的硬盤故障預測模型優(yōu)化及選擇[J]. 賈潤瑩,李靜,王剛,李忠偉,劉曉光. 計算機研究與發(fā)展. 2014(S1)
[10]數據挖掘中的不平衡分類問題集分析[J]. 吳悠,高靜怡. 電子制作. 2014(10)
碩士論文
[1]基于隨機森林算法的高維不平衡數據分類研究及應用[D]. 楊浩宇.鄭州大學 2017
[2]基于深度學習的磁盤健康度評估與故障預測技術研究[D]. 蘭云龍.杭州電子科技大學 2017
[3]基于機器學習的磁盤故障預測系統(tǒng)[D]. 柳永康.華中科技大學 2015
[4]基于S.M.A.R.T.預測故障磁盤的研究[D]. 宋云華.南京大學 2014
[5]大規(guī)模存儲系統(tǒng)硬盤故障預測方法研究[D]. 朱炳鵬.南開大學 2014
[6]基于SVM決策樹的增量式文本層次分類研究[D]. 劉靖雯.北京郵電大學 2014
[7]基于改進隨機森林的軟件故障預測模型研究[D]. 嚴蕾.西安電子科技大學 2013
[8]基于智能預警和自修復的高可靠磁盤陣列關鍵技術研究[D]. 胡維.國防科學技術大學 2010
本文編號：3278234
本文鏈接：http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3278234.html
