在工業(yè)生產(chǎn)過程中,企業(yè)通常會遇到生產(chǎn)設(shè)備故障的問題,設(shè)備日志在分析設(shè)備故障原因以及了解設(shè)備損耗情況方面發(fā)揮著重要的作用,對設(shè)備日志的存儲和分析工作由工業(yè)日志系統(tǒng)完成。近年來,我國提出中國制造2025,這意味著對工業(yè)日志系統(tǒng)提出了更高的要求,然而,傳統(tǒng)的工業(yè)日志系統(tǒng)并不能滿足其需求,這體現(xiàn)在不能高并發(fā)處理日志存儲請求、缺乏對日志數(shù)據(jù)的實時分析以及對原始日志數(shù)據(jù)的處理方式較為簡陋。因此,設(shè)計實現(xiàn)一個分布式工業(yè)日志系統(tǒng)來解決上述問題具有重要意義。本文以A公司的日志系統(tǒng)需求為背景,針對傳統(tǒng)工業(yè)日志系統(tǒng)的不足,設(shè)計實現(xiàn)了基于ELK和kafka的分布式工業(yè)日志系統(tǒng),采用分層設(shè)計的思想,將該日志系統(tǒng)分為收集層、緩沖層以及檢索層,主要完成的工作包括:（1）針對傳統(tǒng)工業(yè)日志系統(tǒng)無法高并發(fā)處理日志請求的問題,本文設(shè)計實現(xiàn)了一個日志收集服務(wù)子系統(tǒng),該子系統(tǒng)采用Reactor事件驅(qū)動模式和線程池技術(shù)實現(xiàn)了高并發(fā)處理日志請求,設(shè)計實現(xiàn)了環(huán)形內(nèi)存緩沖降低了日志文件磁盤I/O對服務(wù)器性能的影響。（2）針對傳統(tǒng)工業(yè)日志系統(tǒng)缺乏對日志數(shù)據(jù)的實時分析的問題,本文設(shè)計實現(xiàn)了一個日志計算中心,日志計算中心基于Elastics... 

【文章來源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：92 頁

【學(xué)位級別】：碩士

【部分圖文】：

Chukwa架構(gòu)圖

圖2-1分布式工業(yè)日志系統(tǒng)架構(gòu)圖

子系統(tǒng)概要設(shè)計計的分布式工業(yè)日志系統(tǒng)分為三層，每一層都有一個核心子系。日志收集服務(wù)子系統(tǒng)收集設(shè)備日志數(shù)據(jù)，將日志數(shù)據(jù)上報到志緩存服務(wù)子系統(tǒng)接受收集層的設(shè)備日志，對原始的設(shè)備日志加入到緩存隊列，等待日志計算中心的消費，日志計算中心提務(wù)，并提供數(shù)據(jù)的可視化檢索界面。本文主要闡述各層的核心節(jié)闡述對每一層的核心子系統(tǒng)進行概要設(shè)計。志收集服務(wù)子系統(tǒng)集服務(wù)子系統(tǒng)是日志收集層的核心子系統(tǒng)，負責實現(xiàn)低延遲響志存儲請求，將日志數(shù)據(jù)上報到日志緩沖層。日志收集層可以集服務(wù)子系統(tǒng)節(jié)點來提升收集層的負載能力，具有高可擴展性功能模塊圖如圖 2-2 所示。

【參考文獻】：
期刊論文
[1]基于Hadoop MapReduce作業(yè)調(diào)度方法研究[J]. 王玉芹.  電腦知識與技術(shù). 2018(27)
[2]Redis內(nèi)存數(shù)據(jù)庫在智慧消防系統(tǒng)設(shè)計中的應(yīng)用[J]. 孫超.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2018(08)
[3]工業(yè)互聯(lián)網(wǎng)平臺:發(fā)展趨勢與挑戰(zhàn)[J]. 王晨,宋亮,李少昆.  中國工程科學(xué). 2018(02)
[4]基于Gossip協(xié)議的拜占庭共識算法[J]. 張仕將,柴晶,陳澤華,賀海武.  計算機科學(xué). 2018(02)
[5]著力打通二三產(chǎn)“連接通道” 助推中國工業(yè)自動化智能化[J]. 文宗瑜.  發(fā)展研究. 2018(01)
[6]線程池技術(shù)在網(wǎng)絡(luò)服務(wù)器中的應(yīng)用[J]. 吉利,潘林云,劉姚.  計算機技術(shù)與發(fā)展. 2017(08)
[7]“中國制造2025”與“工業(yè)4.0”的比較及推進路徑研究[J]. 邵安菊.  上海市經(jīng)濟管理干部學(xué)院學(xué)報. 2017(02)
[8]基于Apache Flume的大數(shù)據(jù)日志收集系統(tǒng)[J]. 于秦.  中國新通信. 2016(18)
[9]ELK日志分析平臺在電子商務(wù)系統(tǒng)監(jiān)控服務(wù)中的應(yīng)用[J]. 周映,韓曉霞.  信息技術(shù)與標準化. 2016(07)
[10]基于Linux系統(tǒng)的構(gòu)建高性能服務(wù)器的研究[J]. 喬平安,顏景善,周敏.  計算機與數(shù)字工程. 2016(04)

碩士論文
[1]統(tǒng)一日志系統(tǒng)中的日志獲取模塊與日志檢索模塊的設(shè)計與實現(xiàn)[D]. 鄭榮.南京大學(xué) 2018
[2]基于ELK Stack的實時日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 王裕辰.北京郵電大學(xué) 2018
[3]適配電商平臺的分布式日志采集系統(tǒng)關(guān)鍵技術(shù)研究和系統(tǒng)實現(xiàn)[D]. 黃振豪.華南理工大學(xué) 2017
[4]面向RPC服務(wù)監(jiān)控的集群監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D]. 林志勇.華南理工大學(xué) 2017
[5]基于Elasticsearch的新聞實時詞云系統(tǒng)設(shè)計與實現(xiàn)[D]. 劉召明.華中科技大學(xué) 2016
[6]基于HBase的工業(yè)日志系統(tǒng)設(shè)計與實現(xiàn)[D]. 王普剛.大連理工大學(xué) 2016
[7]基于Reactor模式的Muduo網(wǎng)絡(luò)框架技術(shù)研究[D]. 肖凱.武漢郵電科學(xué)研究院 2016
[8]面向超市電子貨架標簽的高并發(fā)服務(wù)器系統(tǒng)[D]. 黃志龍.華南理工大學(xué) 2015
[9]基于ZooKeeper的集群應(yīng)用配置管理的設(shè)計與實現(xiàn)[D]. 袁子淇.內(nèi)蒙古大學(xué) 2015
[10]基于Nutch的分布式搜索引擎的研究與實現(xiàn)[D]. 鄒康.湖北工業(yè)大學(xué) 2015



本文編號：3566649