本文選題：日志收集 + 實(shí)時(shí)流數(shù)據(jù)��； 參考：《中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院)》2017年碩士論文

【摘要】：在大數(shù)據(jù)時(shí)代,如果把數(shù)據(jù)的價(jià)值比作黃金,記錄用戶行為、系統(tǒng)運(yùn)行狀態(tài)的日志無(wú)疑是提煉寶藏的礦石。除此之外,日志也是開發(fā)、測(cè)試和運(yùn)維人員問題調(diào)查、系統(tǒng)診斷的主要參考來(lái)源。然而隨著業(yè)務(wù)發(fā)展,系統(tǒng)規(guī)模不斷擴(kuò)大,各種服務(wù)也越來(lái)越復(fù)雜,日志收集這個(gè)看似簡(jiǎn)單的任務(wù)也變得越來(lái)越具有挑戰(zhàn)性。在傳統(tǒng)的企業(yè)應(yīng)用系統(tǒng)中,日志數(shù)據(jù)都是按文件分散存儲(chǔ)。這樣的日志已經(jīng)無(wú)法滿足實(shí)時(shí)的日志監(jiān)測(cè)和全量的數(shù)據(jù)挖掘需求。所以,當(dāng)前需要開發(fā)一個(gè)日志服務(wù)平臺(tái)來(lái)對(duì)日志數(shù)據(jù)進(jìn)行統(tǒng)一的實(shí)時(shí)收集、集中存儲(chǔ)以及分析。本文完成的主要內(nèi)容包括:(1)結(jié)合企業(yè)的實(shí)際情況,充分考慮使用便捷性、可靠性以及高效性的基礎(chǔ)上確定了系統(tǒng)架構(gòu),規(guī)劃了日志服務(wù)平臺(tái)的框架,設(shè)計(jì)了系統(tǒng)功能功能模塊,存儲(chǔ)結(jié)構(gòu)和用戶交互界面;(2)基于Kafka消息隊(duì)列,完成了日志的統(tǒng)一存儲(chǔ),實(shí)現(xiàn)了日志實(shí)時(shí)消費(fèi)和日志投遞模塊,對(duì)存儲(chǔ)方式進(jìn)行了優(yōu)化,提高存儲(chǔ)資源的利用率;(3)合理設(shè)計(jì)了日志接入服務(wù),提供了高吞吐量的日志傳輸管道,支持了海量的實(shí)時(shí)日志寫入;(4)搭建了海量日志服務(wù)管理平臺(tái),方便用戶對(duì)日志進(jìn)行維護(hù)和管理。海量日志服務(wù)服務(wù)平臺(tái)是針對(duì)日志類數(shù)據(jù)的一站式服務(wù)系統(tǒng),用戶無(wú)需開發(fā)就能快捷的完成數(shù)據(jù)采集、消費(fèi)、投遞及查詢分析等功能,幫助提升公司運(yùn)維和運(yùn)營(yíng)效率,賦能大數(shù)據(jù)時(shí)代的海量日志處理能力。
[Abstract]:In the era of big data, if the data value to gold, record the user behavior, the running state of the system log is undoubtedly treasure ore refining. In addition, the log is to investigate the problem of development, testing and maintenance personnel, the main source of reference for system diagnosis. However, with the development of business, the system continues to expand the scale of services the log collection is more and more complex, this seemingly simple task has become increasingly challenging. In the traditional enterprise application system, log data are stored by file. This log log data has been unable to meet the real-time monitoring and total demand of mining. Therefore, the need to develop a real-time collection the log service platform for unified log data, centralized storage and analysis. The main work of this paper include: (1) according to the actual situation of enterprises, fully consider the use of Convenience, reliability and efficiency based on system architecture determines the planning framework log service platform, the design of the system function module, storage structure and user interface; (2) Kafka message queue based on the complete unified storage log, realizes real-time log consumption and log delivery module for storage the way was optimized to improve the utilization of storage resources; (3) to design a reasonable log access service, provides a log transmission pipeline of high throughput, support real-time log massive write; (4) to build a massive log service management platform, convenient maintenance and management of the massive log. The log service platform is the one-stop service system log data, users can quickly complete without the development of data acquisition, consumption, delivery of query and other functions, help enhance the company's operation and maintenance Efficiency, the ability to deal with massive log processing in the big data age.

【學(xué)位授予單位】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 文娟,薛永生,段江嬌,王勁波;基于關(guān)聯(lián)規(guī)則的日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];廈門大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年S1期

2 張曉剛;潘久輝;;MS SQL Server 2000日志分析方法的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年19期

3 李春林;周根鴻;張文體;;重視日志審計(jì)確保數(shù)據(jù)安全[J];醫(yī)學(xué)信息;2007年10期

4 梁曉雪;王鋒;;基于聚類的日志分析技術(shù)綜述與展望[J];云南大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年S1期

5 黃海隆;陳賽娉;;計(jì)算機(jī)日志分析與管理方法的研究[J];大眾科技;2006年07期

6 鄭毅;;基于日志分析的網(wǎng)絡(luò)IDS研究[J];襄樊學(xué)院學(xué)報(bào);2008年11期

7 陳庭平;沈麗娟;曾鵬;;日志服務(wù)器建設(shè)和應(yīng)用[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年09期

8 鄒先霞;賈維嘉;潘久輝;;基于數(shù)據(jù)庫(kù)日志的變化數(shù)據(jù)捕獲研究[J];小型微型計(jì)算機(jī)系統(tǒng);2012年03期

9 羅新;;防火墻日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)時(shí)代;2012年02期

10 姜良華;崔建明;;Serv-U FTP服務(wù)器日志分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2010年28期

相關(guān)會(huì)議論文 前10條

1 馬辰;武斌;;一種基于攻擊事件圖的蜜網(wǎng)日志分析方法[A];虛擬運(yùn)營(yíng)與云計(jì)算——第十八屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2013年

2 周濤;;基于數(shù)據(jù)挖掘的入侵檢測(cè)日志分析技術(shù)研究[A];第二屆中國(guó)科學(xué)院博士后學(xué)術(shù)年會(huì)暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會(huì)議程序冊(cè)[C];2010年

3 陳晨;鄭康鋒;;一種基于支持向量機(jī)的蜜網(wǎng)系統(tǒng)日志分析方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

4 劉莉;;基于多協(xié)議技術(shù)的日志集中管理安全方案[A];2008年中國(guó)通信學(xué)會(huì)無(wú)線及移動(dòng)通信委員會(huì)學(xué)術(shù)年會(huì)論文集[C];2008年

5 耿濤;;Web日志分析在電子數(shù)據(jù)取證中的應(yīng)用[A];第二十一次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2006年

6 閆龍川;王懷宇;李楓;毛一凡;;基于Hadoop的郵件日志分析與研究[A];2012電力行業(yè)信息化年會(huì)論文集[C];2012年

7 陳慶章;王磊;毛科技;戴國(guó)勇;;基于防火墻日志的在線攻擊偵查系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)(英文)[A];全國(guó)第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2008年

8 王振亞;武斌;;基于MFI-WT算法的蜜網(wǎng)日志分析方法[A];第十七屆全國(guó)青年通信學(xué)術(shù)年會(huì)論文集[C];2012年

9 金松昌;方濱興;楊樹強(qiáng);賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

10 朱金清;王建新;陳志泊;;基于APRIORI的層次化聚類算法及其在IDS日志分析中的應(yīng)用[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 中航工業(yè)南方航空工業(yè)集團(tuán)(有限)公司科技與信息部 鄒滬湘;分析日志識(shí)別暴力破解[N];計(jì)算機(jī)世界;2013年

2 ;日志分析中的五個(gè)誤區(qū)[N];網(wǎng)絡(luò)世界;2004年

3 陳代壽;網(wǎng)管的四兩撥千斤[N];中國(guó)計(jì)算機(jī)報(bào);2004年

4 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;大數(shù)據(jù)日志分析借機(jī)器學(xué)習(xí)騰飛[N];網(wǎng)絡(luò)世界;2014年

5 《網(wǎng)絡(luò)世界》評(píng)測(cè)實(shí)驗(yàn)室 于洋;用好Web日志[N];網(wǎng)絡(luò)世界;2004年

6 重慶 航行者;IIS的安全[N];電腦報(bào);2002年

7 河南工業(yè)職業(yè)技術(shù)學(xué)院 邱建新;監(jiān)測(cè)Squid日志的五種方法[N];計(jì)算機(jī)世界;2005年

8 shotgun;入侵檢測(cè)初步（上）[N];電腦報(bào);2001年

9 朱閔;淺談企業(yè)核心應(yīng)用的安全審計(jì)(下)[N];網(wǎng)絡(luò)世界;2008年

10 覃進(jìn)文;在Windows 2000&&2003下快速安裝Webalizer[N];中國(guó)電腦教育報(bào);2003年

相關(guān)博士學(xué)位論文 前3條

1 饒翔;基于日志的大規(guī)模分布式軟件系統(tǒng)可信保障技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

2 曹志波;基于日志的任務(wù)建模及調(diào)度優(yōu)化的研究[D];華南理工大學(xué);2014年

3 胡蓉;WEB日志和子空間聚類挖掘算法研究[D];華中科技大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 張?zhí)焐?日志采集與分析在Web網(wǎng)站中的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

2 周海靖;日志大數(shù)據(jù)分析平臺(tái)技術(shù)研究[D];山東大學(xué);2015年

3 賴特;網(wǎng)絡(luò)安全設(shè)備日志融合技術(shù)研究[D];電子科技大學(xué);2015年

4 董妍妍;基于Hadoop的Teradata數(shù)據(jù)倉(cāng)庫(kù)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

5 李名弈;IPTVQOS日志分析方法研究[D];復(fù)旦大學(xué);2013年

6 劉季函(Liu,Chi Han);基于Spark的網(wǎng)絡(luò)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

7 李榮榮;基于Hadoop平臺(tái)的日志分析系統(tǒng)[D];復(fù)旦大學(xué);2013年

8 周云斌;基于主機(jī)的日志大數(shù)椐分析及安全性檢查[D];大連理工大學(xué);2015年

9 張迪;基于NoSQL的大規(guī)模Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2013年

10 潘宇軒;基于Django的日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

，

本文編號(hào)：1742716