高端容錯計算機作為事務處理能力極強、可用性極高的服務器系統(tǒng),廣泛應用在了金融、電信、能源、交通、航空等國家關鍵業(yè)務領域中。這些關鍵行業(yè)對系統(tǒng)的處理能力和容錯能力有嚴苛的要求,因為系統(tǒng)一旦失效就可能會造成無法挽回的巨大損失,所以高端容錯計算機在投入使用之前必須對其處理能力和可用性進行嚴格的評測,故障注入技術是進行評測的有效方法。日志中記錄了系統(tǒng)運行過程的中間狀態(tài),通過日志分析可以驗證故障注入、容錯機制等是否有效,通過對故障日志的提取可構建高端容錯計算機故障庫,對故障分布、故障傳播和故障預測的研究都有非常重要的意義。本文首先對國內(nèi)外日志分析工具和高性能計算機故障研究的現(xiàn)狀進行了分析,發(fā)現(xiàn):1)已有的日志工具中沒有專門針對高端容錯計算機故障日志進行管理和分析的,并且由于統(tǒng)計分析都是在本地進行,嚴重影響了被分析服務器對其他用戶提供服務的效率;2)我國在高性能計算機故障的研究方面經(jīng)驗不足,可用的故障集有限。因此,本文圍繞著數(shù)據(jù)挖掘技術展開研究,設計并實現(xiàn)了一種基于高端容錯計算機的自動化、智能化的故障日志管理與分析系統(tǒng),旨在對高端容錯計算機系統(tǒng)中的各類日志文件進行故障的抽取、格式化和分析,建立初步... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：87 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題背景
        1.1.1 課題來源
        1.1.2 故障日志分析系統(tǒng)設計的必要性
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 日志分析工具現(xiàn)狀
        1.2.2 高性能計算機故障研究現(xiàn)狀
    1.3 數(shù)據(jù)挖掘技術研究綜述
        1.3.1 數(shù)據(jù)挖掘技術概述
        1.3.2 數(shù)據(jù)挖掘常用分析方法
        1.3.3 數(shù)據(jù)挖掘的過程
        1.3.4 關聯(lián)規(guī)則挖掘
    1.4 本文的主要研究內(nèi)容
    1.5 本文結構
第2章 基于故障日志分析系統(tǒng)的故障分布研究
    2.1 高端容錯計算機故障分布的極值理論
    2.2 極值統(tǒng)計理論
        2.2.1 極值理論簡介
        2.2.2 吸引域的確定
        2.2.3 極值分布的參數(shù)估計
    2.3 故障數(shù)據(jù)的選取
    2.4 基于故障日志分析系統(tǒng)的故障分布研究方案
    2.5 本章小結
第3章 故障日志分析系統(tǒng)的整體設計
    3.1 系統(tǒng)基本設計目標
    3.2 系統(tǒng)功能設計
        3.2.1 系統(tǒng)核心統(tǒng)計、分析功能
        3.2.2 系統(tǒng)的其他功能
    3.3 系統(tǒng)總體架構
        3.3.1 功能架構
        3.3.2 層次架構
        3.3.3 體系架構
    3.4 系統(tǒng)工作流程
        3.4.1 系統(tǒng)啟動流程
        3.4.2 日志分析流程
        3.4.3 統(tǒng)計分析結果展示流程
    3.5 本章小結
第4章 故障日志分析系統(tǒng)的詳細設計與實現(xiàn)
    4.1 日志數(shù)據(jù)分析的實現(xiàn)思路
    4.2 日志預處理
        4.2.1 日志采集模塊
        4.2.2 模板庫管理模塊
        4.2.3 日志預處理模塊
        4.2.4 預處理結果接受模塊
    4.3 日志分析
        4.3.1 日志統(tǒng)計分析模塊
        4.3.2 數(shù)據(jù)挖掘算法的實現(xiàn)
        4.3.3 報表圖形引擎
    4.4 基本功能
        4.4.1 查詢引擎
        4.4.2 數(shù)據(jù)庫操作模塊
        4.4.3 主界面
    4.5 本章小節(jié)
第5章 系統(tǒng)的應用及故障分布模型的建立
    5.1 分布式實驗環(huán)境的建立
    5.2 實驗流程
    5.3 實驗結果及分析
        5.3.1 故障分布情況分析
        5.3.2 關聯(lián)規(guī)則挖掘結果及分析
    5.4 故障分布模型的建立
        5.4.1 LANL 故障集的統(tǒng)計分析
        5.4.2 利用極值理論建模
        5.4.3 利用數(shù)據(jù)擬合建模
        5.4.4 故障分布模型結果
    5.5 本章小結
結論
參考文獻
攻讀碩士學位期間發(fā)表的論文
致謝


【參考文獻】：
期刊論文
[1]高可靠軟件的可靠性評估技術[J]. 楊彬,陳麗容.  計算機工程與設計. 2007(20)
[2]針對高項頻繁集的關聯(lián)規(guī)則改進算法[J]. 王丹,張浩,陸劍峰.  計算機工程. 2006(24)
[3]基于關聯(lián)規(guī)則的日志分析系統(tǒng)的設計與實現(xiàn)[J]. 文娟,薛永生,段江嬌,王勁波.  廈門大學學報(自然科學版). 2005(S1)
[4]高可靠性軟件的極值統(tǒng)計分析[J]. 陳云,張志華.  海軍工程大學學報. 2005(02)
[5]長期極值統(tǒng)計理論及其在海洋環(huán)境參數(shù)統(tǒng)計分析中的應用[J]. 趙偉,楊永增,于衛(wèi)東,喬方利.  海洋科學進展. 2003(04)
[6]從數(shù)據(jù)庫中發(fā)掘定量型關聯(lián)規(guī)則[J]. 梁曼君,張瑞,熊范綸.  計算機科學. 1999(08)
[7]模糊關聯(lián)規(guī)則及挖掘算法[J]. 程繼華,施鵬飛,郭建生.  小型微型計算機系統(tǒng). 1999(04)

博士論文
[1]極值統(tǒng)計模型族的參數(shù)估計及其應用研究[D]. 李秀敏.天津大學 2007
[2]數(shù)據(jù)挖掘算法分析及其并行模式研究[D]. 佘春東.電子科技大學 2004
[3]KDD中的幾個關鍵問題研究[D]. 陳莉.西安電子科技大學 2003

碩士論文
[1]基于挖掘算法的日志分析系統(tǒng)設計與實現(xiàn)[D]. 王瀟博.北京交通大學 2008
[2]防火墻日志分析系統(tǒng)的研究與實現(xiàn)[D]. 何仲昆.浙江大學 2006



本文編號：3101861