在移動端設(shè)備與應用飛速發(fā)展的當下,各類互聯(lián)網(wǎng)服務大數(shù)據(jù)平臺繁榮發(fā)展,大數(shù)據(jù)平臺上的海量用戶會產(chǎn)生大量的日志數(shù)據(jù)。如何對系統(tǒng)端與終端分散的海量用戶日志數(shù)據(jù)進行采集與實時監(jiān)控,實時關(guān)注日志中的各項重要指標,成為大數(shù)據(jù)平臺企業(yè)所必須要解決的問題。通過對日志數(shù)據(jù)的監(jiān)控,可以即時了解企業(yè)大數(shù)據(jù)平臺的設(shè)備系統(tǒng)情況,對可能發(fā)生的故障進行檢測和排查,可以優(yōu)化業(yè)務流程,為平臺用戶提供更好的服務。目前大數(shù)據(jù)平臺在用戶日志處理方面面臨如下幾個主要的問題:（1）需要更符合企業(yè)實際業(yè)務需求,如保證高吞吐量、可靠數(shù)據(jù)傳輸?shù)忍匦缘南到y(tǒng),完成對日志的采集、清洗和存儲工作;（2）對實時日志數(shù)據(jù)的接入管理不便,難以對日志歷史數(shù)據(jù)進行簡易有效管理,從而影響到上層數(shù)據(jù)查詢和統(tǒng)計分析計算效率;（3）當前通用實時監(jiān)控告警業(yè)務開發(fā)聯(lián)調(diào)周期較長,需要一個系統(tǒng)工具來實現(xiàn)靈活、高效的日志數(shù)據(jù)監(jiān)控任務。本文首先闡述了日志采集與實時監(jiān)控系統(tǒng)在當前大數(shù)據(jù)環(huán)境中對于大數(shù)據(jù)平臺企業(yè)的意義與相關(guān)應用,然后從大數(shù)據(jù)平臺企業(yè)對用戶日志數(shù)據(jù)采集和有效監(jiān)控的需求出發(fā),探究分布式的日志采集與實時監(jiān)控系統(tǒng)架構(gòu)所必需的原則特性;接著設(shè)計了系統(tǒng)的功能架構(gòu)、技術(shù)架構(gòu)... 

【文章來源】：山東大學山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：79 頁

【學位級別】：碩士

【部分圖文】：

圖２－１系統(tǒng)業(yè)務流程圖??２．?３系統(tǒng)功能性需求分析??

ｓ＊＜＜?ｉｎｃｌｕｄｅ?＞?＞?＊?Ｖ－＾ｓｆ??／????＜＜?ｉｎｃｌｕｄｅ?－?＞???＾?５＜?ｉｎｃｌｕｄｅ＞?＞????？，？－乂Ｄｗ?瞻妾），？”?：？？：：?“ｉｎｃｌｕｄｅ”一?錢??ｘ５ｉ＞ｒｏｅ＞＾－＾?＾，Ｒｄｕａｅ？－＜ｇ＝＾￣??７＼＼．?，?＾?？＜＾ｒｆｌｏｖ＾￡）＜＾＜ｉｎｄｕｇｅ？?，?．：＾＾。、，磁命??幵?ＳＡ?員?＜＜ｍｃｌｕｑ？＞，??Ｗｎｃｌｕｄｅ＞＞?＜＜ｍｃｉｕｄｅ＞＞??．：／＾ｉｒｆｌ〇．－．ＷＴ？＼??圖２＿２連接管理用例圖??連接管理模塊是前臺管理和監(jiān)控系統(tǒng)各項功能實現(xiàn)的基矗對Ｋａｆｔａ消息隊??列的管理包括對Ｋａｆｋａ?Ｂｒｏｋｅｒ節(jié)點Ｈｏｓｔ地址的配置，系統(tǒng)需要該地址獲�。耍幔妫耄�??集群的Ｔｏｐ１Ｃ列表，以供日志數(shù)據(jù)從Ｋａｆｋａ的接入操作。對Ｄｒｍｄ集群的管理包??括對其Ｂｒｏｋｅｒ節(jié)點、Ｃｏｏｒｄｉｎａｔｏｒ節(jié)點以及Ｏｖｅｒｌｏｒｄ節(jié)點的Ｈｏｓｔ地址配置，系統(tǒng)??需要Ｄｒｕｉｄ集群的Ｃｏｏｒｄｉｎａｔｏｒ節(jié)點地址以獲取接入數(shù)據(jù)源的列表，需要Ｏｖｅｒｌｏｒｄ??節(jié)點地址獲取數(shù)據(jù)源的詳細信息，以及進行數(shù)據(jù)的攝入任務配置。對Ａｉｒｆｌｏｗ則??需要設(shè)置其平臺地址，來實現(xiàn)日志監(jiān)控腳本的自動部署需求。??除此之外，該模塊還提供其它必要配置選項以支持后續(xù)功能進行，包括監(jiān)控??腳本模板的地址的設(shè)置等。??２．?３．?３?Ｄｒｕｉｄ數(shù)據(jù)源配置需求分析??Ｄｒｕｉｄ數(shù)據(jù)源配置模塊主要功能包括兩個部分，創(chuàng)建任務實現(xiàn)Ｋａｆｋａ集群特??定Ｔｏｐｉｃ的日志數(shù)據(jù)接入至實時數(shù)據(jù)計算引擎Ｄｒｍｄ，以及對Ｄｒｕｉｄ集群中保存??的歷史日志數(shù)據(jù)進行管理，包括對數(shù)

＾ｐｂｃｘ＼＜?＜ｉｎｃ＾ｕｄｅ＞?＞?．ｊ＾＾ｏｍｐａｃｔ＾Ｎ??．？、?Ｔａｓｋ＾?Ｊ?＾ＶｊＴａｓｋａ＾Ｌ－＾??＾）＜ｍｄｕ????????＼＜＜ｉｎｃｌｕｄｅ＞＞??——一■??？ｉｎｄｕｄｅ＞，＜＜ｍｃｌｖｄｅ＞＞－Ｋｌ＾ｆｆＢＳ）??＼?＜＜ｉｎｃｌｕｄｅ＞＞??＾＾ｌｉｌ?ＴａｓＫ？＾＾＾?－－＾ＩｎｄｅｘＴａｓｋＳ＾）??＼?＜?＜?ｉｎｃｌｕｄｅ?＞＞?１—＂??？ｉｎｃｌｕｄｅ?？?＂＇＾＜ＫｍＴａｓｇａ）??ＩＴａ：Ｓ＾）??圖２－３?Ｄｒｕｉｄ數(shù)據(jù)源配置模塊用例圖??以通常方式完成Ｋａｆｋａ數(shù)據(jù)接入至Ｄｍｉｄ，需要編寫數(shù)據(jù)接入的ＪＳＯＮ配置??文件并通過命令發(fā)送至Ｄｒｕｉｄ集群對應接口。在該模塊中，使用者可通過添加頁??面選擇Ｋａｆｌａ集群名稱并選擇所需接入日志數(shù)據(jù)的Ｔｏｐｉｃ，填寫相關(guān)配置項完成??曰志數(shù)據(jù)的攝入工作，來簡化線上數(shù)據(jù)源的配置流程。用戶日志數(shù)據(jù)接入至Ｄｒｕｉｄ??后，可根據(jù)業(yè)務需求進行日志數(shù)據(jù)的計算以及監(jiān)控任務等操作。??除進行日志數(shù)據(jù)接入任務的創(chuàng)建外，該模塊還可實現(xiàn)對歷史日志數(shù)據(jù)的管理，??主要針對接入到Ｄｒｕｉｄ集群的數(shù)據(jù)源數(shù)據(jù)進行管理，包括日志數(shù)據(jù)的合并任務、??索引任務以及刪除任務等。其中合并任務主要是對數(shù)據(jù)源中的Ｓｅｇｍｅｎｔｓ進行合??并，減少存儲結(jié)構(gòu)中的Ｓｅｇｍｅｎｔｓ數(shù)量；索引任務對數(shù)據(jù)源中的歷史數(shù)據(jù)按指定??的時間區(qū)間進行合并，合并任務和索引任務都可優(yōu)化Ｄｒｕｉｄ存儲結(jié)構(gòu)，提升對于??日志數(shù)據(jù)的實時查詢與計算速度。刪除任務則對不再使用的數(shù)據(jù)源進行刪除，包??括保存在Ｄｒｕｉｄ中的元數(shù)據(jù)與ＨＤＦＳ中的歷史數(shù)據(jù)，擴展存儲空間。??

【參考文獻】：
期刊論文
[1]基于日志分析的智能化運維監(jiān)控管理工具的研究[J]. 李濟偉,董耀眾,宋瑞.  電子制作. 2020(01)
[2]一種改進的ELK日志采集與分析系統(tǒng)[J]. 鮮征征,葉嘉祥.  軟件導刊. 2019(08)
[3]分布式日志采集系統(tǒng)設(shè)計[J]. 代乾坤.  電腦知識與技術(shù). 2019(17)
[4]大數(shù)據(jù)技術(shù)進展與發(fā)展趨勢[J]. 張娜,馬燕,崔桓睿,劉逗逗.  通訊世界. 2019(02)
[5]利用Kafka實現(xiàn)大話務并發(fā)數(shù)據(jù)流的吞吐系統(tǒng)[J]. 唐穎淳.  電信科學. 2018(S2)
[6]基于kafka消息平臺的軟件系統(tǒng)設(shè)計[J]. 裴宏祥,于曉虹.  電子技術(shù)與軟件工程. 2018(18)
[7]基于大數(shù)據(jù)技術(shù)的日志分析體系結(jié)構(gòu)的研究[J]. 張建東.  現(xiàn)代計算機(專業(yè)版). 2018(09)
[8]基于Hadoop平臺的Web日志業(yè)務分析[J]. 張俊瑞,代洋.  山西電子技術(shù). 2017(06)
[9]應用軟件運行日志的收集與服務處理框架[J]. 張驍,應時,張韜.  計算機工程與應用. 2018(10)
[10]日志分析技術(shù)在IT運維管理中的應用[J]. 周航,畢永軍.  金融電子化. 2017(03)

碩士論文
[1]基于大數(shù)據(jù)的新聞日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 馮巖.北京郵電大學 2019
[2]企業(yè)級分布式數(shù)據(jù)集成平臺的設(shè)計與實現(xiàn)[D]. 何學平.西安電子科技大學 2019
[3]基于大數(shù)據(jù)的日志采集分析系統(tǒng)的研究與實現(xiàn)[D]. 楊愷.華北電力大學 2019
[4]基于Spark Streaming的實時日志分析與信息管理系統(tǒng)的設(shè)計與實現(xiàn)[D]. 王夢蕾.哈爾濱工業(yè)大學 2018



本文編號：3414815