發(fā)布時(shí)間：2017-09-24 21:50

  本文關(guān)鍵詞：Linux服務(wù)器性能監(jiān)控與分析系統(tǒng)的研究與實(shí)現(xiàn)

  更多相關(guān)文章： 性能監(jiān)控 Linux系統(tǒng) 大數(shù)據(jù)處理 異常數(shù)據(jù)分析

【摘要】：隨著互聯(lián)網(wǎng)業(yè)務(wù)的迅猛發(fā)展,互聯(lián)網(wǎng)相關(guān)企業(yè)的服務(wù)器承受著越來越多的壓力,并且隨時(shí)有擴(kuò)容的需求。為確保服務(wù)器穩(wěn)定的運(yùn)行,對服務(wù)器的性能進(jìn)行監(jiān)控,對企業(yè)來說有著十分重要的實(shí)際意義。當(dāng)下的服務(wù)器性能監(jiān)控技術(shù)雖能提供實(shí)時(shí)的性能數(shù)據(jù),并在性能瓶頸時(shí)產(chǎn)生報(bào)警,但缺乏歷史數(shù)據(jù)的存儲與查詢以及性能數(shù)據(jù)分析等方面的功能。本論文在借鑒現(xiàn)有監(jiān)控技術(shù)的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一整套Linux服務(wù)器性能監(jiān)控與分析系統(tǒng)(Server Performance Monitor,文中簡稱SPM)。 本文首先對一系列傳統(tǒng)的服務(wù)器性能監(jiān)控技術(shù)以及數(shù)據(jù)分析方法進(jìn)行了概述,然后詳細(xì)介紹了本系統(tǒng)中性能數(shù)據(jù)采集與傳輸模塊的設(shè)計(jì)與實(shí)現(xiàn),包括對不同的遠(yuǎn)程數(shù)據(jù)傳輸方法進(jìn)行了性能比較以及模塊程序的版本自動更新；針對產(chǎn)生的海量性能數(shù)據(jù),本文在Hadoop數(shù)據(jù)處理框架上建立了一套性能數(shù)據(jù)存儲與查詢系統(tǒng),系統(tǒng)通過HDFS (Hadoop Distribute File System)對性能數(shù)據(jù)進(jìn)行二進(jìn)制存儲,同時(shí)利用MapReduce框架編寫后臺程序,實(shí)現(xiàn)了性能數(shù)據(jù)的并發(fā)式查詢。之后,利用系統(tǒng)查詢獲得的歷史性能數(shù)據(jù),論文對異常性能數(shù)據(jù)進(jìn)行了分析,通過觀察各類性能數(shù)據(jù)的變化曲線定義出突發(fā)式異常、分布式異常以及內(nèi)存泄露式異常,根據(jù)異常特征提出了動態(tài)閾值法、函數(shù)模型法等檢測手段,并對異常出現(xiàn)的原因進(jìn)行了簡要分析。本文最后對服務(wù)器性能監(jiān)控技術(shù)的研究成果進(jìn)行了總結(jié)和展望。
【關(guān)鍵詞】：性能監(jiān)控 Linux系統(tǒng) 大數(shù)據(jù)處理 異常數(shù)據(jù)分析
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP368.5;TP273
【目錄】：

• 摘要4-5
• ABSTRACT5-11
• 第一章 緒論11-15
• 1.1 研究背景11-12
• 1.2 研究意義12-13
• 1.3 論文結(jié)構(gòu)13-15
• 第二章 服務(wù)器性能監(jiān)控與分析方法綜述15-23
• 2.1 服務(wù)器性能數(shù)據(jù)15-18
• 2.1.1 服務(wù)器性能指標(biāo)15-16
• 2.1.2 Linux性能監(jiān)測工具16-18
• 2.2 傳統(tǒng)性能監(jiān)控與分析方法18-20
• 2.2.1 基于SNMP的服務(wù)器性能監(jiān)控18-19
• 2.2.2 基于LDAP的網(wǎng)格監(jiān)控系統(tǒng)19-20
• 2.2.3 基于閾值曲線的性能數(shù)據(jù)分析20
• 2.3 海量性能數(shù)據(jù)處理20-23
• 第三章 性能數(shù)據(jù)采集與傳輸模塊的設(shè)計(jì)與實(shí)現(xiàn)23-33
• 3.1 性能數(shù)據(jù)采集模塊23-27
• 3.1.1 模塊主要功能23-24
• 3.1.2 模塊結(jié)構(gòu)流程圖24
• 3.1.3 輸出文件格式說明24-27
• 3.2 性能數(shù)據(jù)傳輸模塊27-30
• 3.2.1 數(shù)據(jù)傳輸環(huán)境27-28
• 3.2.2 傳輸文件重命名28
• 3.2.3 數(shù)據(jù)傳輸過程28-29
• 3.2.4 遠(yuǎn)程傳輸方法的比較29-30
• 3.3 模塊版本自動更新30-33
• 3.3.1 更新方案30-31
• 3.3.2 版本表31-33
• 第四章 海量性能數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)33-61
• 4.1 系統(tǒng)的整體設(shè)計(jì)33-34
• 4.2 數(shù)據(jù)導(dǎo)入模塊34-44
• 4.2.1 模塊說明34-35
• 4.2.2 HDPF框架概述35-36
• 4.2.3 文件下載36-38
• 4.2.3.1 本地存儲路徑36-37
• 4.2.3.2 下載流程圖37
• 4.2.3.3 文件缺失檢查37
• 4.2.3.4 文件名檢查37-38
• 4.2.4 數(shù)據(jù)準(zhǔn)備38-39
• 4.2.4.1 工作流程38-39
• 4.2.4.2 關(guān)鍵點(diǎn)設(shè)計(jì)39
• 4.2.5 數(shù)據(jù)清洗與整理39-44
• 4.2.5.1 工作流程40
• 4.2.5.2 不同話單類的UML類圖40-41
• 4.2.5.3 生成索引表41
• 4.2.5.4 生成硬件信息表41-42
• 4.2.5.5 查找缺失點(diǎn)42
• 4.2.5.6 生成每日狀態(tài)統(tǒng)計(jì)報(bào)告42
• 4.2.5.7 導(dǎo)入數(shù)據(jù)42-43
• 4.2.5.8 手動導(dǎo)入多天數(shù)據(jù)43-44
• 4.3 數(shù)據(jù)統(tǒng)計(jì)分析模塊44-54
• 4.3.1 模塊框架44-45
• 4.3.2 數(shù)據(jù)獲取功能45-47
• 4.3.2.1 輸入45
• 4.3.2.2 輸出45-46
• 4.3.2.3 程序設(shè)計(jì)46
• 4.3.2.4 實(shí)現(xiàn)方法46-47
• 4.3.3 數(shù)據(jù)統(tǒng)計(jì)功能47-50
• 4.3.3.1 輸入47-48
• 4.3.3.2 輸出48
• 4.3.3.3 程序設(shè)計(jì)48
• 4.3.3.4 實(shí)現(xiàn)方法48-50
• 4.3.4 進(jìn)程信息查詢50-53
• 4.3.4.1 輸入50
• 4.3.4.2 輸出50
• 4.3.4.3 程序設(shè)計(jì)50-51
• 4.3.4.4 實(shí)現(xiàn)方法51-53
• 4.3.5 缺失記錄統(tǒng)計(jì)53-54
• 4.3.5.1 輸入53
• 4.3.5.2 輸出53
• 4.3.5.3 程序設(shè)計(jì)53
• 4.3.5.4 實(shí)現(xiàn)方法53-54
• 4.3.6 自定義InputFormat部件54
• 4.4 數(shù)據(jù)查詢界面54-57
• 4.4.1 操作員管理界面54
• 4.4.2 性能數(shù)據(jù)獲取界面54-56
• 4.4.2.1 服務(wù)器自動過濾實(shí)現(xiàn)55-56
• 4.4.2.2 字段按分類型多行顯示56
• 4.4.2.3 提交后彈出確認(rèn)窗口56
• 4.4.2.4 顯示查詢進(jìn)度56
• 4.4.3 性能數(shù)據(jù)統(tǒng)計(jì)界面56
• 4.4.4 進(jìn)程信息查詢界面56
• 4.4.5 數(shù)據(jù)缺失記錄統(tǒng)計(jì)界面56-57
• 4.4.6 查詢歷史界面57
• 4.4.7 每日數(shù)據(jù)統(tǒng)計(jì)界面57
• 4.4.8 文件名檢查界面57
• 4.4.9 文件缺失檢查界面57
• 4.5 結(jié)果展示57-61
• 第五章 異常性能數(shù)據(jù)分析61-71
• 5.1 異常定義61-67
• 5.1.1 CPU性能數(shù)據(jù)分析61-64
• 5.1.2 內(nèi)存性能數(shù)據(jù)分析64-66
• 5.1.3 磁盤性能數(shù)據(jù)分析66-67
• 5.2 異常檢測方法67-69
• 5.2.1 靜態(tài)閾值法67-68
• 5.2.2 動態(tài)閾值法68-69
• 5.2.3 函數(shù)模型法69
• 5.3 異常分析69-71
• 5.3.1 查看歷史操作記錄69-70
• 5.3.2 查詢進(jìn)程信息70-71
• 第六章 總結(jié)與展望71-73
• 參考文獻(xiàn)73-75
• 致謝75-77
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄77

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前5條

1 毋紅軍,劉章;統(tǒng)計(jì)數(shù)據(jù)的異常值檢驗(yàn)[J];華北水利水電學(xué)院學(xué)報(bào);2003年01期

2 查禮,徐志偉,林國璋,劉玉樹,劉東華,李偉;基于LDAP的網(wǎng)格監(jiān)控系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2002年08期

3 屈利娟;郭麗霞;賀天鶴;;基于SNMP的服務(wù)器性能監(jiān)控技術(shù)[J];計(jì)算機(jī)時(shí)代;2007年01期

4 張彤;吳世榮;;基于SNMP計(jì)算機(jī)網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2011年01期

5 閆新惠,童小念;基于Web/Java技術(shù)的SNMP網(wǎng)絡(luò)性能管理的研究[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2003年09期

，

本文編號：913666