服務信息系統(tǒng)正在不斷地向網絡化信息的模式轉型,國產硬件設備也不斷地更新?lián)Q代,自主可控也成為了新信息時代的基本要求,隨著信息時代的發(fā)展和新時代自主可控的要求,越來越多的服務和應用也將被部署自主可控的云平臺上。部署在自主可控容器云平臺上的服務和應用在運行的過程中,我們需要獲取日志數據,來進行一系列的監(jiān)控、統(tǒng)計、分析以及預測工作。然而傳統(tǒng)日志采集和分析工具對于自主可控的容器云來說在技術上還存在著一些缺陷。本文的研究的目的是為自主可控容器云平臺搭建的,大數據日志分析系統(tǒng)。本文主要是采用的是以Spark和ELK Stack開源框架為核心的數據日志處理技術,實現了對于整個自主可控云平臺系統(tǒng)日志的大數據分析。將整個自主容器云平臺的日志分析系統(tǒng)分為了四個部分:日志采集模塊、日志存儲模塊、日志分析模塊、結果可視化模塊。為了適應自主可控容器云的特點,本文設計了自適應系統(tǒng)負載的日志采集算法,降低了日志采集對于容器,云平臺性能的影響,從而保證了自主可控容器云上所部署的服務高效可靠的運行,并且也保證了日志數據一定的全面性。為了高效的執(zhí)行日志分析的任務,本文對日志數據分析階段進行了詳細的研究和產品需求的規(guī)劃,詳細...

【文章頁數】：54 頁

【學位級別】：碩士

【部分圖文】：

圖3.5技術模塊規(guī)劃圖

?電子科學研究院碩士學位論文３．３．４數據可視化模塊??數據可視化模塊的主要功能是可視化分布式數據存儲模塊中的數據可視化模塊需要顯示的數據主要分為兩部分：其中一部分是對據可視化，這部分主要是為開發(fā)和運維工程師對自主容器云平臺后的支撐工作；第二部分是結果日志數據的可視化，這一部分主....

圖4.12分析結果日志可視化呈現

圖４．?１０?Ｉｐ分布圖??Ｄａｔｅ４Ｐ議旬最??１８００?＾?垂??ｍｍ?ｍｍ?１１嫩?ｕｍ?ｎｍ?２＾ｍ?ｂ：ｏｏ??圖４．?１１?Ｉｐ時間分布圖??４．４．２分析結果日志可視化呈現??而對于大數據日志分析系統(tǒng)分析的日志信息，Ｋｉｂａｎａ的圖形用戶界面?zhèn)鹘y(tǒng)用戶來說并不夠友好，....

圖4.13離線分析結果統(tǒng)計

?電子科學研宄院碩士學位論文為深度用戶，并且統(tǒng)計了一個月內新用戶的數目，以及用ＰＣ端使用自器云上服務的用戶數目。具體分析結果如圖４．１３所示。??

圖5.1日志數據采集算法流程

驗證??基于中國電子科技集團第十五研究所的太極云進行節(jié)點１個，網關節(jié)點一個，計算節(jié)點３個，均采用的了由中國電科第十五研究所自主研發(fā)的太極云，數據務器一臺。計算節(jié)點所產生的數據均采用網絡傳輸到數據采集節(jié)點的服務器上。實驗的拓撲圖如圖５．２ｍ?叼關節(jié)點??０?０?，３，＿??Ｉ?職?....

本文編號：3951608