本文關鍵詞：Linux服務器性能監(jiān)控與分析系統(tǒng)的研究與實現(xiàn)

  更多相關文章： 性能監(jiān)控 Linux系統(tǒng) 大數據處理 異常數據分析

【摘要】：隨著互聯(lián)網業(yè)務的迅猛發(fā)展,互聯(lián)網相關企業(yè)的服務器承受著越來越多的壓力,并且隨時有擴容的需求。為確保服務器穩(wěn)定的運行,對服務器的性能進行監(jiān)控,對企業(yè)來說有著十分重要的實際意義。當下的服務器性能監(jiān)控技術雖能提供實時的性能數據,并在性能瓶頸時產生報警,但缺乏歷史數據的存儲與查詢以及性能數據分析等方面的功能。本論文在借鑒現(xiàn)有監(jiān)控技術的基礎上,設計并實現(xiàn)了一整套Linux服務器性能監(jiān)控與分析系統(tǒng)(Server Performance Monitor,文中簡稱SPM)。 本文首先對一系列傳統(tǒng)的服務器性能監(jiān)控技術以及數據分析方法進行了概述,然后詳細介紹了本系統(tǒng)中性能數據采集與傳輸模塊的設計與實現(xiàn),包括對不同的遠程數據傳輸方法進行了性能比較以及模塊程序的版本自動更新；針對產生的海量性能數據,本文在Hadoop數據處理框架上建立了一套性能數據存儲與查詢系統(tǒng),系統(tǒng)通過HDFS (Hadoop Distribute File System)對性能數據進行二進制存儲,同時利用MapReduce框架編寫后臺程序,實現(xiàn)了性能數據的并發(fā)式查詢。之后,利用系統(tǒng)查詢獲得的歷史性能數據,論文對異常性能數據進行了分析,通過觀察各類性能數據的變化曲線定義出突發(fā)式異常、分布式異常以及內存泄露式異常,根據異常特征提出了動態(tài)閾值法、函數模型法等檢測手段,并對異常出現(xiàn)的原因進行了簡要分析。本文最后對服務器性能監(jiān)控技術的研究成果進行了總結和展望。
【關鍵詞】：性能監(jiān)控 Linux系統(tǒng) 大數據處理 異常數據分析
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP368.5;TP273
【目錄】：

• 摘要4-5
• ABSTRACT5-11
• 第一章 緒論11-15
• 1.1 研究背景11-12
• 1.2 研究意義12-13
• 1.3 論文結構13-15
• 第二章 服務器性能監(jiān)控與分析方法綜述15-23
• 2.1 服務器性能數據15-18
• 2.1.1 服務器性能指標15-16
• 2.1.2 Linux性能監(jiān)測工具16-18
• 2.2 傳統(tǒng)性能監(jiān)控與分析方法18-20
• 2.2.1 基于SNMP的服務器性能監(jiān)控18-19
• 2.2.2 基于LDAP的網格監(jiān)控系統(tǒng)19-20
• 2.2.3 基于閾值曲線的性能數據分析20
• 2.3 海量性能數據處理20-23
• 第三章 性能數據采集與傳輸模塊的設計與實現(xiàn)23-33
• 3.1 性能數據采集模塊23-27
• 3.1.1 模塊主要功能23-24
• 3.1.2 模塊結構流程圖24
• 3.1.3 輸出文件格式說明24-27
• 3.2 性能數據傳輸模塊27-30
• 3.2.1 數據傳輸環(huán)境27-28
• 3.2.2 傳輸文件重命名28
• 3.2.3 數據傳輸過程28-29
• 3.2.4 遠程傳輸方法的比較29-30
• 3.3 模塊版本自動更新30-33
• 3.3.1 更新方案30-31
• 3.3.2 版本表31-33
• 第四章 海量性能數據分析系統(tǒng)的設計與實現(xiàn)33-61
• 4.1 系統(tǒng)的整體設計33-34
• 4.2 數據導入模塊34-44
• 4.2.1 模塊說明34-35
• 4.2.2 HDPF框架概述35-36
• 4.2.3 文件下載36-38
• 4.2.3.1 本地存儲路徑36-37
• 4.2.3.2 下載流程圖37
• 4.2.3.3 文件缺失檢查37
• 4.2.3.4 文件名檢查37-38
• 4.2.4 數據準備38-39
• 4.2.4.1 工作流程38-39
• 4.2.4.2 關鍵點設計39
• 4.2.5 數據清洗與整理39-44
• 4.2.5.1 工作流程40
• 4.2.5.2 不同話單類的UML類圖40-41
• 4.2.5.3 生成索引表41
• 4.2.5.4 生成硬件信息表41-42
• 4.2.5.5 查找缺失點42
• 4.2.5.6 生成每日狀態(tài)統(tǒng)計報告42
• 4.2.5.7 導入數據42-43
• 4.2.5.8 手動導入多天數據43-44
• 4.3 數據統(tǒng)計分析模塊44-54
• 4.3.1 模塊框架44-45
• 4.3.2 數據獲取功能45-47
• 4.3.2.1 輸入45
• 4.3.2.2 輸出45-46
• 4.3.2.3 程序設計46
• 4.3.2.4 實現(xiàn)方法46-47
• 4.3.3 數據統(tǒng)計功能47-50
• 4.3.3.1 輸入47-48
• 4.3.3.2 輸出48
• 4.3.3.3 程序設計48
• 4.3.3.4 實現(xiàn)方法48-50
• 4.3.4 進程信息查詢50-53
• 4.3.4.1 輸入50
• 4.3.4.2 輸出50
• 4.3.4.3 程序設計50-51
• 4.3.4.4 實現(xiàn)方法51-53
• 4.3.5 缺失記錄統(tǒng)計53-54
• 4.3.5.1 輸入53
• 4.3.5.2 輸出53
• 4.3.5.3 程序設計53
• 4.3.5.4 實現(xiàn)方法53-54
• 4.3.6 自定義InputFormat部件54
• 4.4 數據查詢界面54-57
• 4.4.1 操作員管理界面54
• 4.4.2 性能數據獲取界面54-56
• 4.4.2.1 服務器自動過濾實現(xiàn)55-56
• 4.4.2.2 字段按分類型多行顯示56
• 4.4.2.3 提交后彈出確認窗口56
• 4.4.2.4 顯示查詢進度56
• 4.4.3 性能數據統(tǒng)計界面56
• 4.4.4 進程信息查詢界面56
• 4.4.5 數據缺失記錄統(tǒng)計界面56-57
• 4.4.6 查詢歷史界面57
• 4.4.7 每日數據統(tǒng)計界面57
• 4.4.8 文件名檢查界面57
• 4.4.9 文件缺失檢查界面57
• 4.5 結果展示57-61
• 第五章 異常性能數據分析61-71
• 5.1 異常定義61-67
• 5.1.1 CPU性能數據分析61-64
• 5.1.2 內存性能數據分析64-66
• 5.1.3 磁盤性能數據分析66-67
• 5.2 異常檢測方法67-69
• 5.2.1 靜態(tài)閾值法67-68
• 5.2.2 動態(tài)閾值法68-69
• 5.2.3 函數模型法69
• 5.3 異常分析69-71
• 5.3.1 查看歷史操作記錄69-70
• 5.3.2 查詢進程信息70-71
• 第六章 總結與展望71-73
• 參考文獻73-75
• 致謝75-77
• 攻讀學位期間發(fā)表的學術論文目錄77

【參考文獻】

中國期刊全文數據庫 前5條

1 毋紅軍,劉章;統(tǒng)計數據的異常值檢驗[J];華北水利水電學院學報;2003年01期

2 查禮,徐志偉,林國璋,劉玉樹,劉東華,李偉;基于LDAP的網格監(jiān)控系統(tǒng)[J];計算機研究與發(fā)展;2002年08期

3 屈利娟;郭麗霞;賀天鶴;;基于SNMP的服務器性能監(jiān)控技術[J];計算機時代;2007年01期

4 張彤;吳世榮;;基于SNMP計算機網絡流量監(jiān)控系統(tǒng)研究[J];計算機技術與發(fā)展;2011年01期

5 閆新惠,童小念;基于Web/Java技術的SNMP網絡性能管理的研究[J];現(xiàn)代計算機(專業(yè)版);2003年09期

，

本文編號：913666