基于XGBoost和LSTM的智能監(jiān)控系統(tǒng)的設計與實現(xiàn)
發(fā)布時間:2021-01-02 16:30
軟件質(zhì)量已經(jīng)影響到人們的日常工作和生活。監(jiān)控系統(tǒng)是軟件質(zhì)量保障的其中一種手段。當前監(jiān)控系統(tǒng)大多采用固定閾值報警的方式檢測異常,由于監(jiān)控指標之間的關聯(lián)性及不同服務器的差異性,采用固定閾值方式檢測異常容易產(chǎn)生大量誤報和漏報。監(jiān)控系統(tǒng)的趨勢預測功能還不成熟,運維人員不能及早發(fā)現(xiàn)系統(tǒng)問題和資源瓶頸,不能及時調(diào)度資源以保證系統(tǒng)穩(wěn)定運行。因此,采用機器學習技術進一步完善監(jiān)控系統(tǒng)對于軟件質(zhì)量保障具有重要的價值。本文結合工業(yè)場景分析系統(tǒng)需求,設計與實現(xiàn)了一個基于XGBoost和LSTM的智能監(jiān)控系統(tǒng)。XGBoost適合多維數(shù)據(jù)二分類問題,能夠挖掘監(jiān)控數(shù)據(jù)間的關聯(lián)。LSTM適合長時間序列趨勢預測,能夠?qū)哂袝r間特征的監(jiān)控數(shù)據(jù)進行準確的趨勢預測。本系統(tǒng)引入孤立森林算法完成數(shù)據(jù)標注預處理工作,從而減少運維人員數(shù)據(jù)標注工作量,進一步通過迭代更新數(shù)據(jù)標簽并重置模型的方式不斷提高異常檢測和趨勢預測準確率。本系統(tǒng)主要分為四個模塊。監(jiān)控模塊負責監(jiān)控數(shù)據(jù)的采集和存儲,當系統(tǒng)出現(xiàn)異常數(shù)據(jù)時能通過微信企業(yè)號和郵件通知相關用戶。數(shù)據(jù)處理模塊負責數(shù)據(jù)的處理和管理,為異常檢測模塊和趨勢預測模塊提供服務。異常檢測模塊提供實時數(shù)據(jù)異...
【文章來源】:南京大學江蘇省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:91 頁
【學位級別】:碩士
【部分圖文】:
圖2.1:?Zabbix架構圖??
????圖2.2:?LSTM算法結構圖??LSTM算法結構如圖2.2所示,LSTM算法中狀態(tài)保存十分重要,圖中??是狀態(tài),它用于長時間記憶需要保留的信息,LSTM算法的具體訓練流程如下。??14??
第三章智能監(jiān)控系統(tǒng)的需求分析與設計來趨勢走向。在滿足系統(tǒng)功能性需求的前提下,保證系統(tǒng)及時重要。因此本小節(jié)從系統(tǒng)使用者的視角分析本系統(tǒng)非功能性需求及時性。本系統(tǒng)應該及時對采集的數(shù)據(jù)進行異常檢測,如果有通知相關運維人員,以便運維人員及時掌握系統(tǒng)故障并處理。??擴展性。為方便后期系統(tǒng)加入更多的功能和業(yè)務,系統(tǒng)功能模盡可能小。對于基礎功能,系統(tǒng)應該預留接口,方便未來業(yè)務著監(jiān)控指標的增長、系統(tǒng)所需硬件資源和網(wǎng)絡資源應該能夠擴常檢測和趨勢預測需求。??可靠性。系統(tǒng)在模型訓練完成后應該將模型對象備份,如出現(xiàn)者重啟的情況時,系統(tǒng)能夠?qū)⒃心P蛯ο蠡謴鸵员WC實時數(shù)據(jù)趨勢預測的正確性,保證系統(tǒng)可靠穩(wěn)定運行。??系統(tǒng)用例描述??
【參考文獻】:
期刊論文
[1]基于Zabbix的分布式服務器監(jiān)控應用研究[J]. 郭曉慧,李潤知,張茜,王宗敏. 通信學報. 2013(S2)
[2]基于貝葉斯組合模型的短期交通量預測研究[J]. 鄭為中,史其信. 中國公路學報. 2005(01)
本文編號:2953252
【文章來源】:南京大學江蘇省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:91 頁
【學位級別】:碩士
【部分圖文】:
圖2.1:?Zabbix架構圖??
????圖2.2:?LSTM算法結構圖??LSTM算法結構如圖2.2所示,LSTM算法中狀態(tài)保存十分重要,圖中??是狀態(tài),它用于長時間記憶需要保留的信息,LSTM算法的具體訓練流程如下。??14??
第三章智能監(jiān)控系統(tǒng)的需求分析與設計來趨勢走向。在滿足系統(tǒng)功能性需求的前提下,保證系統(tǒng)及時重要。因此本小節(jié)從系統(tǒng)使用者的視角分析本系統(tǒng)非功能性需求及時性。本系統(tǒng)應該及時對采集的數(shù)據(jù)進行異常檢測,如果有通知相關運維人員,以便運維人員及時掌握系統(tǒng)故障并處理。??擴展性。為方便后期系統(tǒng)加入更多的功能和業(yè)務,系統(tǒng)功能模盡可能小。對于基礎功能,系統(tǒng)應該預留接口,方便未來業(yè)務著監(jiān)控指標的增長、系統(tǒng)所需硬件資源和網(wǎng)絡資源應該能夠擴常檢測和趨勢預測需求。??可靠性。系統(tǒng)在模型訓練完成后應該將模型對象備份,如出現(xiàn)者重啟的情況時,系統(tǒng)能夠?qū)⒃心P蛯ο蠡謴鸵员WC實時數(shù)據(jù)趨勢預測的正確性,保證系統(tǒng)可靠穩(wěn)定運行。??系統(tǒng)用例描述??
【參考文獻】:
期刊論文
[1]基于Zabbix的分布式服務器監(jiān)控應用研究[J]. 郭曉慧,李潤知,張茜,王宗敏. 通信學報. 2013(S2)
[2]基于貝葉斯組合模型的短期交通量預測研究[J]. 鄭為中,史其信. 中國公路學報. 2005(01)
本文編號:2953252
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/2953252.html
最近更新
教材專著