傳統(tǒng)的數(shù)據(jù)管理通常用關(guān)系數(shù)據(jù)庫來進(jìn)行搭建,在數(shù)據(jù)量相當(dāng)大時(shí)檢索效率較為低下,且這種關(guān)系型數(shù)據(jù)庫中進(jìn)行查詢時(shí)需要明確指定列名,而ELK技術(shù)可支持全文檢索,并且在大數(shù)據(jù)查詢時(shí)的響應(yīng)速度快,幾乎都是毫秒級(jí)的。針對(duì)海量的應(yīng)用日志、系統(tǒng)日志、錯(cuò)誤日志等分散存儲(chǔ)在不同設(shè)備里而面臨異常監(jiān)控發(fā)現(xiàn)不及時(shí)、日志分析效率低下、統(tǒng)計(jì)檢索繁瑣等問題,基于ELK,結(jié)合角色訪問控制,可對(duì)大數(shù)據(jù)進(jìn)行日志分析,直觀展示分析結(jié)果以及運(yùn)維管理效果。本文主要做了以下兩方面的工作:（1）基于ELK技術(shù),搭建了一個(gè)實(shí)時(shí)大數(shù)據(jù)日志搜索與分析平臺(tái),該平臺(tái)由四個(gè)子模塊構(gòu)成,分別為日志采集模塊、Kafka消息發(fā)布與訂閱模塊、日志處理與索引模塊以及日志分析與可視化模塊。該平臺(tái)可充分利用Kafka的限流、有序作用,保證了海量數(shù)據(jù)的穩(wěn)定性,從而降低了源源不斷的海量數(shù)據(jù)對(duì)Elasticsearch搜索引擎造成的巨大壓力。實(shí)驗(yàn)表明,該平臺(tái)具有一定的實(shí)用價(jià)值。（2）提出基于日志分析平臺(tái)的系統(tǒng)運(yùn)維解決方案。在實(shí)際運(yùn)維工作中,可能存在任何用戶都可以訪問集群應(yīng)用運(yùn)行日志的全部索引,然而,在多個(gè)業(yè)務(wù)使用同一個(gè)集群時(shí),可能某個(gè)業(yè)務(wù)的數(shù)據(jù)不希望被其他人看到,也... 

【文章來源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：76 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

倒排索引原理示意圖

西安電子科技大學(xué)碩士學(xué)位論文8件的處理后，直接輸入到Elasticsearch中，可能會(huì)對(duì)搜索引擎造成較大的壓力。最后通過Kibana進(jìn)行展示。但這種架構(gòu)較為簡(jiǎn)單，使用場(chǎng)景較為有限，適合單機(jī)版的測(cè)試搭建[28]。在生產(chǎn)環(huán)境中，日志以PB級(jí)增長(zhǎng)，單機(jī)部署顯然無法滿足海量日志的實(shí)時(shí)處理。圖2.2ELK單機(jī)部署架構(gòu)示意圖[56]圖2.3的架構(gòu)改進(jìn)了單機(jī)部署的缺陷所在，并采用了分布式的日志采集思想，該架構(gòu)與之間單機(jī)部署最大的不同在于采用了多個(gè)Logstash節(jié)點(diǎn)并將其分別部署在不同的集群節(jié)點(diǎn)中，然后通過統(tǒng)一的日志匯總工具將各個(gè)節(jié)點(diǎn)上的日志數(shù)據(jù)匯總起來作為原始數(shù)據(jù)源，然后再通過一個(gè)Logstash協(xié)調(diào)節(jié)點(diǎn)對(duì)采集到的數(shù)據(jù)進(jìn)行過濾分析，并存儲(chǔ)在各自對(duì)應(yīng)的服務(wù)器節(jié)點(diǎn)上，最后通過Web端的Kibana服務(wù)器進(jìn)行數(shù)據(jù)可視化以及系統(tǒng)監(jiān)控[29]。但該架構(gòu)的缺點(diǎn)是在各個(gè)日志采集節(jié)點(diǎn)內(nèi)，由于Logstash本身消耗大量的系統(tǒng)資源，如果集群節(jié)點(diǎn)很多，那么在每一個(gè)遠(yuǎn)程服務(wù)器中都部署一個(gè)Logstash節(jié)點(diǎn)，會(huì)造成系統(tǒng)運(yùn)行效率變低，且對(duì)Logstash協(xié)調(diào)節(jié)點(diǎn)造成巨大的管理壓力，最終造成服務(wù)器無法提供服務(wù)，影響系統(tǒng)的正常運(yùn)行。采集端基于Logstash實(shí)現(xiàn)的agent平臺(tái)類別受限，無法支持AIX、HP_UNIX等Unix操作系統(tǒng)，同時(shí)通用的開源產(chǎn)品Flume功能比較單一，無法滿足常規(guī)的日志收集需求[30]。圖2.3ELK分布式部署架構(gòu)示意圖[56]第三種架構(gòu)引入了Logstash-forwarder，如圖2.4所示。與之前在服務(wù)器節(jié)點(diǎn)直接采用Logstash進(jìn)行日志匯總不同，這里采用了更為輕量級(jí)的Logstash-forwarder工具。它代替了Logstash對(duì)分散在不同服務(wù)器上的日志信息進(jìn)行搜集，并在匯總完成后發(fā)

西安電子科技大學(xué)碩士學(xué)位論文8件的處理后，直接輸入到Elasticsearch中，可能會(huì)對(duì)搜索引擎造成較大的壓力。最后通過Kibana進(jìn)行展示。但這種架構(gòu)較為簡(jiǎn)單，使用場(chǎng)景較為有限，適合單機(jī)版的測(cè)試搭建[28]。在生產(chǎn)環(huán)境中，日志以PB級(jí)增長(zhǎng)，單機(jī)部署顯然無法滿足海量日志的實(shí)時(shí)處理。圖2.2ELK單機(jī)部署架構(gòu)示意圖[56]圖2.3的架構(gòu)改進(jìn)了單機(jī)部署的缺陷所在，并采用了分布式的日志采集思想，該架構(gòu)與之間單機(jī)部署最大的不同在于采用了多個(gè)Logstash節(jié)點(diǎn)并將其分別部署在不同的集群節(jié)點(diǎn)中，然后通過統(tǒng)一的日志匯總工具將各個(gè)節(jié)點(diǎn)上的日志數(shù)據(jù)匯總起來作為原始數(shù)據(jù)源，然后再通過一個(gè)Logstash協(xié)調(diào)節(jié)點(diǎn)對(duì)采集到的數(shù)據(jù)進(jìn)行過濾分析，并存儲(chǔ)在各自對(duì)應(yīng)的服務(wù)器節(jié)點(diǎn)上，最后通過Web端的Kibana服務(wù)器進(jìn)行數(shù)據(jù)可視化以及系統(tǒng)監(jiān)控[29]。但該架構(gòu)的缺點(diǎn)是在各個(gè)日志采集節(jié)點(diǎn)內(nèi)，由于Logstash本身消耗大量的系統(tǒng)資源，如果集群節(jié)點(diǎn)很多，那么在每一個(gè)遠(yuǎn)程服務(wù)器中都部署一個(gè)Logstash節(jié)點(diǎn)，會(huì)造成系統(tǒng)運(yùn)行效率變低，且對(duì)Logstash協(xié)調(diào)節(jié)點(diǎn)造成巨大的管理壓力，最終造成服務(wù)器無法提供服務(wù)，影響系統(tǒng)的正常運(yùn)行。采集端基于Logstash實(shí)現(xiàn)的agent平臺(tái)類別受限，無法支持AIX、HP_UNIX等Unix操作系統(tǒng)，同時(shí)通用的開源產(chǎn)品Flume功能比較單一，無法滿足常規(guī)的日志收集需求[30]。圖2.3ELK分布式部署架構(gòu)示意圖[56]第三種架構(gòu)引入了Logstash-forwarder，如圖2.4所示。與之前在服務(wù)器節(jié)點(diǎn)直接采用Logstash進(jìn)行日志匯總不同，這里采用了更為輕量級(jí)的Logstash-forwarder工具。它代替了Logstash對(duì)分散在不同服務(wù)器上的日志信息進(jìn)行搜集，并在匯總完成后發(fā)

【參考文獻(xiàn)】：
期刊論文
[1]基于ElasticSearch的車型搜索引擎在保險(xiǎn)系統(tǒng)中的設(shè)計(jì)和實(shí)現(xiàn)[J]. 劉曉強(qiáng).  電腦與電信. 2019(05)
[2]基于Elasticsearch的校內(nèi)全文搜索平臺(tái)的研究與實(shí)現(xiàn)[J]. 欽蔣承,沈宏良.  現(xiàn)代計(jì)算機(jī)(專業(yè)版). 2018(34)
[3]基于社交網(wǎng)絡(luò)分析和XGBoost算法的互聯(lián)網(wǎng)客戶流失預(yù)測(cè)研究[J]. 王重仁,韓冬梅.  微型機(jī)與應(yīng)用. 2017(23)
[4]基于大數(shù)據(jù)環(huán)境下智能日志分析平臺(tái)運(yùn)維方案研究[J]. 竇繼濤,代飛.  九江職業(yè)技術(shù)學(xué)院學(xué)報(bào). 2017(04)
[5]ELK-Stack在業(yè)務(wù)監(jiān)控系統(tǒng)中的應(yīng)用[J]. 龔萍.  電腦與電信. 2017(10)
[6]Big Data and Data Science:Opportunities and Challenges of iSchools[J]. Il-Yeol Song,Yongjun Zhu.  Journal of Data and Information Science. 2017(03)
[7]基于kafka消息隊(duì)列的文本處理技術(shù)研究[J]. 王仲生.  軟件導(dǎo)刊(教育技術(shù)). 2016(12)
[8]基于Flume的分布式日志采集分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 陳飛,艾中良.  軟件. 2016(12)
[9]基于Lucene的地名數(shù)據(jù)庫快速檢索系統(tǒng)[J]. 張文元,周世宇,談國(guó)新.  計(jì)算機(jī)應(yīng)用研究. 2017(06)
[10]基于Elasticsearch的實(shí)時(shí)集群日志采集和分析系統(tǒng)實(shí)現(xiàn)[J]. 胡慶寶,姜曉巍,石京燕,程耀東,梁翠萍.  科研信息化技術(shù)與應(yīng)用. 2016(03)

碩士論文
[1]基于ELK的Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 羅學(xué)貫.華南理工大學(xué) 2018
[2]基于ELK和Spark的日志分析系統(tǒng)的研究與實(shí)現(xiàn)[D]. 袁華.南昌大學(xué) 2018
[3]基于ELK Stack的實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 王裕辰.北京郵電大學(xué) 2018
[4]日志數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 許長(zhǎng)福.北京交通大學(xué) 2017
[5]基于Web應(yīng)用的日志采集與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 于靜.北京交通大學(xué) 2016



本文編號(hào)：3566295