本文選題：日志管理　切入點(diǎn)：SolrCloud　出處：《中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院)》2017年碩士論文　論文類(lèi)型：學(xué)位論文

【摘要】：信息化時(shí)代的發(fā)展隨之而來(lái)的是數(shù)據(jù)的爆炸性增長(zhǎng),各種大數(shù)據(jù)計(jì)算框架在這樣的環(huán)境下應(yīng)運(yùn)而生(如Hadoop,Spark,Strom等)。與此同時(shí),大數(shù)據(jù)集群由于其服務(wù)器規(guī)模大,生態(tài)圈復(fù)雜等原因,給集群的運(yùn)維管理帶來(lái)很大挑戰(zhàn),日志管理系統(tǒng)作為集群運(yùn)維管理,用戶行為審計(jì)的重要輔助工具,就變得尤為重要。本文完成的主要工作包括:(1)針對(duì)大數(shù)據(jù)平臺(tái)下組件多樣,日志結(jié)構(gòu)多樣,整體結(jié)構(gòu)分散,設(shè)計(jì)了一個(gè)集中化采集管理,統(tǒng)一存儲(chǔ),并且提供多種查詢方式,以精確定位系統(tǒng)問(wèn)題,快速了解系統(tǒng)運(yùn)行情況;(2)采用Solr搜索引擎的分布式模式SolrCloud,來(lái)分擔(dān)集群的索引壓力,查詢壓力,采用HDFS分布式存儲(chǔ)來(lái)分擔(dān)存儲(chǔ)壓力;(3)使用spring boot設(shè)計(jì)系統(tǒng)業(yè)務(wù)的邏輯,做到維護(hù)簡(jiǎn)潔,部署方便;(4)本文本著人機(jī)友好的原則設(shè)計(jì)了日志查詢,查詢結(jié)果反饋,用戶行為審計(jì)等用戶界面,方便用戶快速上手。本文設(shè)計(jì)并實(shí)現(xiàn)了基于SolrCloud的大數(shù)據(jù)平臺(tái)上的日志管理系統(tǒng),現(xiàn)已在多個(gè)廠家投入生產(chǎn)并使用。解決了大數(shù)據(jù)平臺(tái)日志分散,類(lèi)型多樣,難以集中化管理的問(wèn)題,并且實(shí)現(xiàn)多種查詢方式以達(dá)到快速精確定位日志的目的,也提供了用戶行為統(tǒng)計(jì)分析作為審計(jì)依據(jù),降低了運(yùn)維的難度。
[Abstract]:With the development of information age, the explosive growth of data comes into being, and various big data computing frameworks come into being in such an environment (such as Hadoop Sparkor Strom etc.) at the same time, due to the size of its servers and the complexity of the ecological circle, so on. Log management system, as an important auxiliary tool of cluster operation and maintenance management and user behavior audit, becomes particularly important. The main work accomplished in this paper includes: 1) aiming at the diversity of components under big data platform, log management system is a very important tool for cluster operation and maintenance management. The log structure is diverse and the whole structure is scattered. A centralized collection management, unified storage, and various query methods are designed to accurately locate the system problems. We use the distributed model of Solr search engine, Solr Cloud, to share the index pressure and query pressure of cluster, and use HDFS distributed storage to share storage pressure. We use spring boot to design the logic of system business. In this paper, the user interface such as log query, query result feedback, user behavior audit and so on are designed based on human-computer friendly principle. This paper designs and implements a log management system based on big data platform based on SolrCloud, which has been put into production and used in many manufacturers. It is difficult to centralize the management, and many query methods are implemented to locate the log quickly and accurately. The statistical analysis of user behavior is also provided as the audit basis, and the difficulty of operation and maintenance is reduced.
【學(xué)位授予單位】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 雷軍紅,張曉輝;系統(tǒng)管理中的一種權(quán)限和日志管理方案及實(shí)現(xiàn)[J];指揮技術(shù)學(xué)院學(xué)報(bào);2000年03期

2 胡雪梅;數(shù)據(jù)庫(kù)的日志管理[J];數(shù)字通信;2000年08期

3 曉輝;;世界第一家日志管理設(shè)備廠商首次進(jìn)入中國(guó)[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2005年12期

4 陳賽娉;;大型企業(yè)日志管理平臺(tái)方案設(shè)計(jì)[J];大眾科技;2006年08期

5 ;日志管理要過(guò)三道“檻”[J];信息安全與通信保密;2007年09期

6 陳晶晶;;學(xué)習(xí)日志管理系統(tǒng)在網(wǎng)絡(luò)課堂中的應(yīng)用開(kāi)發(fā)[J];軟件導(dǎo)刊(教育技術(shù));2008年03期

7 朱宏;孫嘉良;高文晶;;天津市地震局值班日志管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];科技視界;2014年04期

8 毛玉華,姜麗紅;合同管理軟件中日志管理的應(yīng)用[J];計(jì)算機(jī)工程;2004年S1期

9 陳兀;程耕國(guó);;基于Struts+Spring+log4j框架的日志管理[J];軟件導(dǎo)刊;2010年05期

10 薛凌云;;設(shè)計(jì)模式在通用故障日志管理系統(tǒng)中的應(yīng)用[J];邵陽(yáng)學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年03期

相關(guān)會(huì)議論文 前2條

1 廖國(guó)瓊;劉云生;肖迎元;;日志驅(qū)動(dòng)主從弱一致性實(shí)時(shí)復(fù)制策略[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

2 沈軍;田華;吳強(qiáng);張延華;;基于NANDFlash的日志存儲(chǔ)與查詢功能設(shè)計(jì)[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集（上）[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 沈建苗;日志管理迎接法規(guī)遵從時(shí)代[N];計(jì)算機(jī)世界;2007年

2 趙曉濤;安全日志管理漸成主流[N];網(wǎng)絡(luò)世界;2008年

3 記者 吳曉偉;日志管理設(shè)備廠商進(jìn)入中國(guó)[N];計(jì)算機(jī)世界;2005年

4 ;日志管理先進(jìn)技術(shù)服務(wù)企業(yè)網(wǎng)絡(luò)[N];人民郵電;2005年

5 張克興;淮陽(yáng)推行工作日志管理[N];中國(guó)醫(yī)藥報(bào);2006年

6 侯志勇邋崔文海;電子日志讓工作情況一目了然[N];中國(guó)稅務(wù)報(bào);2007年

7 本報(bào)記者 何建紅;小日志寫(xiě)出干部管理大文章[N];中國(guó)財(cái)經(jīng)報(bào);2009年

8 羅才旺;石勘院將實(shí)施工作日志管理[N];中國(guó)石化報(bào);2009年

9 鄒錚　編譯;大數(shù)據(jù)帶來(lái)大困惑[N];網(wǎng)絡(luò)世界;2012年

10 本報(bào)記者 谷艷麗;有效日志管理 提升網(wǎng)絡(luò)安全[N];中國(guó)計(jì)算機(jī)報(bào);2011年

相關(guān)碩士學(xué)位論文 前10條

1 鄭立明;濟(jì)寧移動(dòng)公司電子運(yùn)維值班管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2014年

2 李靖;企業(yè)人事/日志管理信息系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

3 王國(guó)林;基于日志的安全監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

4 牟肖蓬;基于大數(shù)據(jù)的日志管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2014年

5 張晨東;可擴(kuò)展事務(wù)處理系統(tǒng)中的日志同步策略[D];華東師范大學(xué);2016年

6 黃金鑾;基于MAS分布式ETL系統(tǒng)容錯(cuò)的研究與實(shí)現(xiàn)[D];福州大學(xué);2013年

7 曹進(jìn);貝得數(shù)據(jù)固定資產(chǎn)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2016年

8 李瓔;基于網(wǎng)絡(luò)側(cè)精準(zhǔn)營(yíng)銷(xiāo)日志管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2016年

9 邱宇芳;基于SolrCloud大數(shù)據(jù)平臺(tái)日志管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院);2017年

10 孫健;基于安全芯片的可信存儲(chǔ)審計(jì)日志的研究[D];北京工業(yè)大學(xué);2014年

，

本文編號(hào)：1569894