發(fā)布時間：2022-01-17 20:49

　　當前,為網易游戲工作室提供線上業(yè)務服務的服務器數(shù)量不斷擴大,原有的服務器日志收集工具已經難以適應日常運維需求,迫切需要建立一套更加完善的服務器日志收集工具,收集服務器日志數(shù)據(jù),為進一步監(jiān)控系統(tǒng)運行狀態(tài)、快速發(fā)現(xiàn)系統(tǒng)運行故障提供日志數(shù)據(jù)基礎。本文闡述了項目背景,簡述該工具在業(yè)務運行中的重要作用,概述了國內外企業(yè)日志收集工具的應用情況。綜述了實現(xiàn)工具所采用的Django框架、Kafka消息隊列、MongoDB數(shù)據(jù)庫、Bootstrap框架和Echarts等相關技術。論文說明系統(tǒng)邊界,詳細分析了功能需求和性能需求,提煉了日志收集、數(shù)據(jù)預處理、日志查詢、模板管理、用戶信息服務五個功能,通過工作原理、架構設計、功能組成設計、部署設計等,對總體架構進行闡述,并且設計數(shù)據(jù)庫。論文通過類圖、順序圖等方法,對日志收集、數(shù)據(jù)預處理等五個模塊進行了詳細設計,給出具體實現(xiàn)細節(jié),并且進行系統(tǒng)測試。本工具已在項目組服務器集群中投入使用,使用效果良好,計劃推廣到全公司使用。 

【文章來源】：南京大學江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：97 頁

【學位級別】：碩士

【部分圖文】：

，日志收集模塊結構圖

ｐａｒｔｉｔｉｏｎ（分區(qū)）進行存儲，每條消息會以追加的方式寫入分區(qū)。一個Ｔｏｐｉｃ保存在??多個分區(qū)上，用戶可以對不同分區(qū)的數(shù)據(jù)并行讀寫，以此提高系統(tǒng)性能。Ｋａｆｋａ??消息分區(qū)示意圖如圖４．９所示。??Ｋａｆｋａ還提供備份機制保證消息隊列的可靠性與穩(wěn)定性，當集群中某些節(jié)點??４５??

ｄａｔａｐｏｉｎｔＬｉｓｔ．ａｐｐｅｎｄ（ｉｔｅｍ．ｔｏＪｓｏｎ〇）??ｒｅｔｕｒｎ?ｄａｔａｐｏｉｎｔＬｉｓｔ??圖４．２２日志數(shù)據(jù)查詢方法的具體實現(xiàn)??ｉｉ擇數(shù)麵??＠m(xù)勸Ｊｉ嫩??％?２?ｍｉｒｍｓ?｜??■??圖４．２３系統(tǒng)運行界面??４．３．３數(shù)據(jù)可視化的具體實現(xiàn)??數(shù)據(jù)可視化使用的Ｅｃｈａｒｔｓ提供的數(shù)據(jù)可視化工具�？梢暬^程首先需要在??Ｗｅｂ頁面中設置一張畫布，用于顯示可視化圖像。然后裝填顯示的數(shù)據(jù)集，需??要將數(shù)據(jù)封裝成Ｅｃｈａｒｔｓ指定的格式。最后配置可視化組件的參數(shù)

【參考文獻】：
期刊論文
[1]大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫高可用性研究[J]. 馮云,耿銘慈.  電子世界. 2018(02)
[2]基于Python的可視化數(shù)據(jù)分析平臺設計與實現(xiàn)[J]. 嚴婷,文欣秀,趙嘉豪,王家輝,杜傲,白瑞杰.  計算機時代. 2017(12)
[3]流計算與內存計算架構下的運營狀態(tài)監(jiān)測分析[J]. 趙永彬,陳碩,劉明,王佳楠,賁馳.  計算機應用. 2017(10)
[4]面向大數(shù)據(jù)分布式存儲的動態(tài)負載均衡算法[J]. 張栗粽,崔園,羅光春,陳愛國,盧國明,王曉雪.  計算機科學. 2017(05)
[5]基于Spark Streaming的實時數(shù)據(jù)分析系統(tǒng)及其應用[J]. 韓德志,陳旭光,雷雨馨,戴永濤,張肖.  計算機應用. 2017(05)
[6]基于AJAX異步傳輸技術與Echarts3技術的動態(tài)數(shù)據(jù)繪圖實現(xiàn)[J]. 鄭幸源,洪親,蔡堅勇,陳順凡,柯俊敏.  軟件導刊. 2017(03)
[7]大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)流處理關鍵技術探析[J]. 陳付梅,韓德志,畢坤,戴永濤.  計算機應用. 2017(03)
[8]基于SSH框架與jQuery技術的JavaWeb開發(fā)應用[J]. 楊利榮.  數(shù)碼世界. 2017(02)
[9]分布式數(shù)據(jù)流上的高性能分發(fā)策略[J]. 房俊華,王曉桐,張蓉,周傲英.  軟件學報. 2017(03)
[10]一種優(yōu)化的Kafka消費者/客戶端負載均衡算法[J]. 王鄭合,王鋒,鄧輝,柳翠寅,張曉麗.  計算機應用研究. 2017(08)

碩士論文
[1]高性能和高可用分布式鍵值存儲系統(tǒng)的研究與設計[D]. 廖巖.華南理工大學 2017



本文編號：3595414