本文關(guān)鍵詞：云環(huán)境下網(wǎng)絡告警管理系統(tǒng)設計，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著計算機網(wǎng)絡的普及、設備終端的多樣化以及數(shù)據(jù)收集技術(shù)的不斷進步,網(wǎng)絡信息量呈現(xiàn)爆炸式增長的趨勢。傳統(tǒng)基于關(guān)系數(shù)據(jù)庫的網(wǎng)絡管理軟件,存在著網(wǎng)絡帶寬消耗大、管理平臺負荷高、可靠性差等許多問題。本文基于云計算環(huán)境,重點圍繞網(wǎng)絡告警數(shù)據(jù)的聯(lián)機分析處理和關(guān)聯(lián)規(guī)則的挖掘展開研究。首先,面向下一代網(wǎng)絡管理應用,針對現(xiàn)有的網(wǎng)絡告警分析方法存在的維度單一、效率低下、系統(tǒng)內(nèi)存溢出甚至系統(tǒng)崩潰等問題,提出了一種基于Hive的網(wǎng)絡告警信息聯(lián)機分析處理(On-Line Analytical Processing,OLAP)方法。該方法基于Hive數(shù)據(jù)倉庫體系,首先通過實時采集的海量網(wǎng)絡告警數(shù)據(jù)進行預處理后映射到Hive中,再分別構(gòu)建N-D方體模型與星型模型進而實現(xiàn)Rollup與Cube操作。該方法在域間設備存在和不存在這兩種情況下都適用。實驗結(jié)果表明,該方法不僅可以實現(xiàn)數(shù)據(jù)的大批量上傳,還能從多個維度揭示隱藏的告警定位知識以及一些有意義的用戶和系統(tǒng)信息,從而為網(wǎng)絡管理人員提供決策支持。其次,考慮到下一代網(wǎng)絡管理應用中告警數(shù)據(jù)本身具有的海量、冗余、關(guān)聯(lián)等特點,以及現(xiàn)有的PFP算法(基于MapReduce的Frequent-Pattern Growth)存在的內(nèi)存與計算時間的雙瓶頸問題,提出了一種新的基于MapReduce的快速挖掘算法。該算法采用結(jié)構(gòu)化存儲的告警數(shù)據(jù)模型,通過簡單掃描數(shù)據(jù)立方體以減少對整個數(shù)據(jù)庫的重復掃描,在求取條件模式基時采用了共享路徑的方式以減少對樹的遍歷次數(shù),并應用MapReduce框架以實現(xiàn)并行計算。實驗結(jié)果證明,該算法運行效率高、擴展性好且可靠性強。該改進算法能找出各設備檢測狀態(tài)告警之間的關(guān)聯(lián)關(guān)系,減少重復告警,為設備維護和網(wǎng)絡管理提供依據(jù)。最后,綜合上述基于Hive的告警信息聯(lián)機分析處理方法和基于MapReduce的快速挖掘算法,設計了一個面向云計算環(huán)境的告警管理系統(tǒng),并對網(wǎng)絡告警管理系統(tǒng)的各個模塊進行了詳細的設計與實現(xiàn),具體包括告警的采集、存儲、刷新、分析、挖掘與數(shù)據(jù)交互等。該系統(tǒng)的特點是,一方面利用OLAP的分析結(jié)果為數(shù)據(jù)挖掘奠定信息基礎(chǔ),另一方面通過數(shù)據(jù)挖掘拓展OLAP的深度,能發(fā)現(xiàn)更為復雜的關(guān)聯(lián)信息,使分析智能化,挖掘目標化,從而提升告警管理系統(tǒng)的實用價值。
【關(guān)鍵詞】：云計算 網(wǎng)絡告警 Hadoop 聯(lián)機分析處理 數(shù)據(jù)挖掘
【學位授予單位】：南京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP311.13;TP393.07
【目錄】：

• 摘要4-5
• Abstract5-9
• 第一章 緒論9-16
• 1.1 研究背景與研究意義9-10
• 1.2 國內(nèi)外研究與應用現(xiàn)狀10-14
• 1.3 論文主要工作和結(jié)構(gòu)安排14-16
• 第二章 相關(guān)技術(shù)研究16-28
• 2.1 云計算技術(shù)16-20
• 2.1.1 Hadoop平臺16-18
• 2.1.2 云計算技術(shù)特點分析18-19
• 2.1.3 云計算在網(wǎng)絡管理中的應用優(yōu)勢19-20
• 2.2 網(wǎng)絡告警管理20-23
• 2.2.1 網(wǎng)絡告警數(shù)據(jù)特點分析20
• 2.2.2 網(wǎng)絡告警與告警關(guān)聯(lián)性20-21
• 2.2.3 網(wǎng)絡告警與網(wǎng)絡故障的管理21-22
• 2.2.4 網(wǎng)絡告警現(xiàn)存問題22-23
• 2.3 數(shù)據(jù)挖掘23-27
• 2.3.1 OLAP技術(shù)特點分析23-24
• 2.3.2 OLAP與數(shù)據(jù)挖掘24-25
• 2.3.3 數(shù)據(jù)挖掘生命周期25-26
• 2.3.4 數(shù)據(jù)挖掘常用算法26
• 2.3.5 數(shù)據(jù)挖掘與網(wǎng)絡告警管理26-27
• 2.4 本章小結(jié)27-28
• 第三章 一種基于Hive的網(wǎng)絡告警信息處理方法28-43
• 3.1 相關(guān)研究與問題描述28-30
• 3.2 一種基于Hive的網(wǎng)絡告警信息處理方法30-39
• 3.2.1 整體框架設計30-32
• 3.2.2 告警數(shù)據(jù)預處理32
• 3.2.3 OLAP建模與建表32-37
• 3.2.4 Rollup與Cube操作37-39
• 3.3 性能仿真和結(jié)果分析39-42
• 3.3.1 仿真環(huán)境與數(shù)據(jù)準備39-40
• 3.3.2 仿真結(jié)果與分析40-42
• 3.4 本章小結(jié)42-43
• 第四章 一種基于MapReduce的快速數(shù)據(jù)挖掘算法43-58
• 4.1 相關(guān)研究與問題描述43-45
• 4.2 基于MapReduce的快速挖掘算法45-53
• 4.2.1 告警數(shù)據(jù)結(jié)構(gòu)45-46
• 4.2.2 數(shù)據(jù)立方體表的構(gòu)建46-47
• 4.2.3 數(shù)據(jù)挖掘整體架構(gòu)47
• 4.2.4 改進算法步驟與偽代碼47-53
• 4.3 仿真性能和結(jié)果分析53-57
• 4.3.1 仿真環(huán)境與數(shù)據(jù)準備53
• 4.3.2 仿真結(jié)果與分析53-57
• 4.4 本章小結(jié)57-58
• 第五章 基于云計算的網(wǎng)絡告警管理系統(tǒng)設計與實現(xiàn)58-74
• 5.1 需求分析58-60
• 5.1.1 功能需求59-60
• 5.1.2 性能需求60
• 5.2 系統(tǒng)總體設計60-62
• 5.2.1 軟件運行環(huán)境60-61
• 5.2.2 軟件整體架構(gòu)61-62
• 5.3 詳細設計與實現(xiàn)62-72
• 5.3.1 告警數(shù)據(jù)采集62-63
• 5.3.2 時間戳倒序存儲63-64
• 5.3.3 增量的分頁刷新64-66
• 5.3.4 聯(lián)機分析處理66-68
• 5.3.5 關(guān)聯(lián)規(guī)則挖掘68-70
• 5.3.6 前后端數(shù)據(jù)交互70-72
• 5.4 軟件測試72
• 5.5 本章小結(jié)72-74
• 第六章 總結(jié)與展望74-76
• 參考文獻76-80
• 附錄1 攻讀碩士學位期間撰寫的論文80-81
• 附錄2 攻讀碩士學位期間申請的專利81-82
• 附錄3 攻讀碩士學位期間研發(fā)的網(wǎng)管軟件82-83
• 附錄4 攻讀碩士學位期間參加的科研項目83-84
• 致謝84

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 李建中,hlju.edu.cn,高宏;一種數(shù)據(jù)倉庫的多維數(shù)據(jù)模型[J];軟件學報;2000年07期

  本文關(guān)鍵詞：云環(huán)境下網(wǎng)絡告警管理系統(tǒng)設計，由筆耕文化傳播整理發(fā)布。

，

本文編號：331810