【摘要】：互聯(lián)網(wǎng)架構(gòu)從單主機、分層架構(gòu),再到后來的集群架構(gòu),經(jīng)歷了數(shù)次改變。架構(gòu)始終隨著不斷變化的業(yè)務(wù)應用需求等因素而變化,在這個變化的過程中出現(xiàn)了微服務(wù)架。微服務(wù)架構(gòu)突破傳統(tǒng)以虛擬機為基礎(chǔ)的集群架構(gòu)模式,按照一定的策略將傳統(tǒng)單體應用拆分為多個微服務(wù),以容器為載體,容器之間通過輕量級通信機制交互,有效地解決了應用與日俱增的系統(tǒng)性能需求,提高了研發(fā)效率。然而實際應用場景中的微服務(wù)粒度比傳統(tǒng)虛擬機更小,調(diào)度也更加復雜,同時隨著業(yè)務(wù)的發(fā)展,微服務(wù)的規(guī)模不斷擴大,微服務(wù)之間的關(guān)聯(lián)關(guān)系也愈加繁雜,使得無論是運維人員還是應用開發(fā)人員,對系統(tǒng)進行監(jiān)測管理的難度和成本都大大增加。本文正是基于以上特點和背景,研究基于日志的微服務(wù)監(jiān)測與故障預測關(guān)鍵技術(shù)問題。本文設(shè)計實現(xiàn)了一個基于日志的微服務(wù)監(jiān)測和故障預測系統(tǒng),主要由微服務(wù)日志采集、微服務(wù)監(jiān)測、微服務(wù)故障預測三個部分組成。首先基于Fluentd實現(xiàn)高可用、低延時的日志收集功能,并將收集得到的日志數(shù)據(jù)作為輸入,對其進行分析處理,實現(xiàn)對微服務(wù)的監(jiān)測和故障預測。微服務(wù)的監(jiān)測主要分為三個方面:(1)微服務(wù)概覽與性能指標信息。用于獲得微服務(wù)運行狀況信息,如微服務(wù)API(Application Programming Interface)功能集、微服務(wù)處理耗時等信息。(2)微服務(wù)調(diào)用鏈路跟蹤。利用Storm對微服務(wù)日志進行實時分析計算,根據(jù)計算結(jié)果集繪制出用戶調(diào)用所經(jīng)過的鏈路。該鏈路包含該次請求所經(jīng)歷的各個容器完整的路徑、請求網(wǎng)絡(luò)耗時、處理耗時、上下級調(diào)用異常與否等信息。(3)微服務(wù)故障追蹤與定位。通過本文所提出的基于加權(quán)的頻繁項關(guān)聯(lián)分析算法,對具體時間范圍內(nèi)的日志進行分析,有效幫助用戶進行故障定位和排查。微服務(wù)故障預測。對日志數(shù)據(jù)基于時間間隔單位進行劃分,從中提取特征并進行特征篩選,然后將篩選后的結(jié)果集輸入到分類預測算法并進行訓練學習,從而對微服務(wù)進行故障預測。通過該方法實現(xiàn)對未來一定時間段的故障進行預測。最后,從微服務(wù)監(jiān)測和微服務(wù)故障預測兩個方面對系統(tǒng)進行測試,測試結(jié)果表明本文中所實現(xiàn)的基于日志的微服務(wù)監(jiān)控與預測系統(tǒng)滿足設(shè)計要求,能夠?qū)崿F(xiàn)低時延、宿主資源占用率低、高性能等監(jiān)控需求;能基于對日志數(shù)據(jù)的分析,進行微服務(wù)監(jiān)控和系統(tǒng)故障的預測,為運維工作人員提供寶貴信息,將業(yè)務(wù)故障損失降到最小。
【圖文】：

圖 2-1 基于日志的微服務(wù)監(jiān)測與故障預測系統(tǒng)整體框架基于日志的微服務(wù)監(jiān)測與故障預測系統(tǒng)以各容器產(chǎn)生的日志數(shù)據(jù)為基礎(chǔ)，其實系統(tǒng)架構(gòu)如圖 2-1 所示，圖中展示了從容器產(chǎn)生日志信息開始到頁面展示所經(jīng)歷有處理流程。首先通過 Fluentd 的代理 td-Agent 對容器產(chǎn)生的日志信息進行收集，傳輸?shù)?Kafka 消息隊列中，寫入 Kafka 消息隊列中，進行消息緩沖，然后日志分塊和存儲檢索模塊從消息隊列中消費信息。前者主要對日志數(shù)據(jù)進行處理，實現(xiàn)服務(wù)監(jiān)測，有三個功能：（1）微服務(wù)的概覽與性能指標信息，如微服務(wù)請求耗時提供的 API 集等信息。（2）通過 Storm 實時數(shù)據(jù)分析構(gòu)造出調(diào)用鏈路信息并將結(jié)入 ElasticSearch 中供頁面調(diào)用。（3）故障追蹤，根據(jù)前端用戶傳入的參數(shù)lasticSearch 中獲取日志數(shù)據(jù)構(gòu)建故障樹，并返回給頁面，幫助用戶故障定位；后者用戶存儲日志分析結(jié)果、容器實時產(chǎn)生的日志數(shù)據(jù)，并提供對所存儲數(shù)據(jù)的檢索。各模塊之間交互，，共同實現(xiàn)系統(tǒng)功能。.4 系統(tǒng)功能模塊設(shè)計

蹤與定位模塊、存儲檢索模塊、UI 模塊，其中微服務(wù)調(diào)用鏈路跟蹤模塊、故障追蹤與定位模塊是系統(tǒng)實現(xiàn)的重點。3.1 日志收集模塊詳細設(shè)計與實現(xiàn)用戶發(fā)起一次請求，由容器之間相互調(diào)用處理共同完成。隨著容器數(shù)量規(guī)模的增大，容器故障的定位變得愈加復雜，為了掌握系統(tǒng)的運行情況，從日志處理的角度對系統(tǒng)進行監(jiān)測，實現(xiàn)故障定位并對其進行處理。首要任務(wù)便是將分散在各處的日志數(shù)據(jù)收集一起，以便進行處理分析，從而進行故障定位。當前有許多主流且開源的日志采集框架：Apache Flume、Fluentd、Logstash。它們因各自的運行環(huán)境、支持平臺、可支持數(shù)據(jù)源、性能消耗等特點應用于不同的日志收集場景。通過比較各框架的優(yōu)缺點和適用場景，在保證日志獲取效率以及日志信息完整性的基礎(chǔ)上，本節(jié)基于 Fluentd 實現(xiàn)日志收集模塊，為后續(xù)日志分析提供數(shù)據(jù)支持。3.1.1 日志收集實現(xiàn)方案微服務(wù)容器日志收集實現(xiàn)方案圖如 3-1 所示。
【學位授予單位】：西南交通大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP393.09

【相似文獻】

相關(guān)期刊論文 前10條

1 李莉;;日志易 利用人工智能從日志分析中尋求機會[J];創(chuàng)業(yè)邦;2018年01期

2 李靜;施勇;薛質(zhì);;基于蜜罐日志分析的主動防御研究[J];信息安全與通信保密;2009年03期

3 王二暖;康李;;Oracle中使用LogMiner進行日志分析[J];電腦開發(fā)與應用;2007年09期

4 朱欣怡;;基于大數(shù)據(jù)技術(shù)的日志分析體系結(jié)構(gòu)的研究[J];智庫時代;2019年15期

5 王逸兮;馮浩;劉芬;;大規(guī)模查詢?nèi)罩痉治瞿Ｐ蜆?gòu)建機制[J];數(shù)字通信世界;2017年11期

6 錢衛(wèi);袁瑞冬;;集中管理服務(wù)日志[J];網(wǎng)絡(luò)安全和信息化;2017年06期

7 胡沐創(chuàng);;大數(shù)據(jù)日志分析平臺應用探索與實踐[J];金融科技時代;2018年01期

8 王立柱;朱茜;;實時日志分析系統(tǒng)在河南氣象信息化中的應用[J];氣象水文海洋儀器;2018年03期

9 ;SITEVIEW DeepLOG深度日志分析[J];網(wǎng)絡(luò)安全和信息化;2016年05期

10 周航;畢永軍;;日志分析技術(shù)在IT運維管理中的應用[J];金融電子化;2017年03期

相關(guān)會議論文 前10條

1 周濤;;基于數(shù)據(jù)挖掘的入侵檢測日志分析技術(shù)研究[A];第二屆中國科學院博士后學術(shù)年會暨高新技術(shù)前沿與發(fā)展學術(shù)會議程序冊[C];2010年

2 耿濤;;Web日志分析在電子數(shù)據(jù)取證中的應用[A];第二十一次全國計算機安全學術(shù)交流會論文集[C];2006年

3 馬勇;趙學明;孫波;;基于Aprior算法的Web日志分析方法[A];第27次全國計算機安全學術(shù)交流會論文集[C];2012年

4 魏晨輝;張展;向琳;王書婷;左德承;;一種基于高端容錯計算機故障日志分析系統(tǒng)的設(shè)計與實現(xiàn)[A];第十四屆全國容錯計算學術(shù)會議(CFTC'2011)論文集[C];2011年

5 付偉;白永超;辛陽;;一種基于Hadoop和K-means的Web日志分析方案的設(shè)計[A];第十九屆全國青年通信學術(shù)年會論文集[C];2014年

6 朱金清;王建新;陳志泊;;基于APRIORI的層次化聚類算法及其在IDS日志分析中的應用[A];第二十四屆中國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2007年

7 徐小天;陳樂然;孫躍;高冉馨;;基于服務(wù)器日志分析的網(wǎng)絡(luò)攻擊事后檢測方法研究[A];第二屆智能電網(wǎng)會議論文集[C];2018年

8 胡雙雙;武斌;;基于攻擊圖的蜜網(wǎng)日志分析[A];第十九屆全國青年通信學術(shù)年會論文集[C];2014年

9 許丹青;劉奕群;岑榮偉;馬少平;茹立云;楊磊;;基于日志分析的中文輸入法用戶行為研究[A];第五屆全國青年計算語言學研討會論文集[C];2010年

10 陳晨;鄭康鋒;;一種基于支持向量機的蜜網(wǎng)系統(tǒng)日志分析方法[A];2011年通信與信息技術(shù)新進展——第八屆中國通信學會學術(shù)年會論文集[C];2011年

相關(guān)重要報紙文章 前10條

1 ;日志分析中的五個誤區(qū)[N];網(wǎng)絡(luò)世界;2004年

2 本報記者 趙明;新一代日志分析系統(tǒng)為企業(yè)運維減負[N];中國計算機報;2016年

3 中科院計算所 李洋;使用Webalizer進行網(wǎng)絡(luò)流量日志分析[N];計算機世界;2006年

4 陳代壽;網(wǎng)管的四兩撥千斤[N];中國計算機報;2004年

5 ;Docker支持更深人的容器日志分析[N];中國信息化周報;2016年

6 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;大數(shù)據(jù)日志分析借機器學習騰飛[N];網(wǎng)絡(luò)世界;2014年

7 王婷;IDC增值服務(wù)：網(wǎng)站日志分析[N];計算機世界;2001年

8 重慶 航行者;IIS的安全[N];電腦報;2002年

9 覃進文;在Windows 2000&&2003下快速安裝Webalizer[N];中國電腦教育報;2003年

10 記者 聞丹巖;Cisco與世紀互聯(lián)讓利用戶[N];中國計算機報;2001年

相關(guān)博士學位論文 前1條

1 李志強;基于網(wǎng)絡(luò)日志的用戶行為分析[D];北京理工大學;2016年

相關(guān)碩士學位論文 前10條

1 蔡波;云環(huán)境中用戶日志采集和處理算法的研究與實現(xiàn)[D];南京郵電大學;2019年

2 李娟;分布式應用軟件的日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D];東南大學;2018年

3 杜思忠;基于日志監(jiān)控的異常檢測技術(shù)與異常監(jiān)控系統(tǒng)[D];上海交通大學;2016年

4 王帥;基于日志的微服務(wù)化系統(tǒng)監(jiān)測與故障預測的研究與實現(xiàn)[D];西南交通大學;2019年

5 龔立航;基于海量日志的服務(wù)器故障分析技術(shù)研究[D];上海交通大學;2018年

6 孫書亞;日志誘導下的流程變化挖掘方法研究[D];安徽理工大學;2019年

7 魚有淵;音樂類移動應用的日志收集分析系統(tǒng)設(shè)計與實現(xiàn)[D];北京交通大學;2019年

8 周恒敏;基于ELASTICSEARCH在企業(yè)大數(shù)據(jù)中的應用[D];對外經(jīng)濟貿(mào)易大學;2019年

9 楊愷;基于大數(shù)據(jù)的日志采集分析系統(tǒng)的研究與實現(xiàn)[D];華北電力大學;2019年

10 李趙賢;基于流式處理技術(shù)的日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D];上海交通大學;2016年

本文編號：2654639