本文關(guān)鍵詞：基于Django的日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 日志分析系統(tǒng) Django框架 Logstash 分布式存儲(chǔ)

【摘要】：在信息化飛速的發(fā)展今天,電子商務(wù)因?yàn)槠浞奖�、快捷受到越來越多人的喜愛。eBay (www.ebay.com)就是其中之一的購物網(wǎng)站。由于eBay在全球有著大量的用戶,用戶的每一次訪問,每一次操作都會(huì)有日志進(jìn)行記錄,因此網(wǎng)站后臺(tái)系統(tǒng)每天會(huì)產(chǎn)生大量的日志,約1GB/天。這些日志對(duì)公司來說是非常珍貴的數(shù)據(jù),從中可以提取出豐富的有用信息。然而對(duì)日志包含的信息進(jìn)行提取、篩選、統(tǒng)計(jì)是一個(gè)十分復(fù)雜的過程,這通常需要大量的存儲(chǔ)空間和運(yùn)行開銷。而如何將分析出的結(jié)果展現(xiàn)給用戶也是一個(gè)復(fù)雜的問題。因此為了對(duì)日志進(jìn)行快速分析并獲得數(shù)據(jù),并將統(tǒng)計(jì)結(jié)果友好地展現(xiàn)給用戶,我們開發(fā)了一個(gè)供公司內(nèi)部使用的日志分析系統(tǒng)一—Logstash。Logstash日志分析系統(tǒng)基于B/S模式,用戶通過瀏覽器獲得想要的數(shù)據(jù),方便快捷。同時(shí)使用了基于MVC模式的Django框架,使系統(tǒng)的職能分工明確,降低了模塊間的耦合度。在存儲(chǔ)部分,該項(xiàng)目采用了分布式存儲(chǔ),很好地解決了數(shù)據(jù)量大的問題,提供了高性能、高可靠、可擴(kuò)展的后臺(tái)存儲(chǔ)功能。在搜索部分,該項(xiàng)目使用了Elasticsaerch開源分布式搜索引擎,從而實(shí)現(xiàn)了搜索的實(shí)時(shí)性、穩(wěn)定、可靠和易于使用。在前端展現(xiàn)部分,采用了開源的Bootstrap前端框架,使頁面布局合理清晰,同時(shí)使用了Ajax、jQuery等先進(jìn)的前端技術(shù)進(jìn)行圖表的展現(xiàn),實(shí)現(xiàn)了很好的人機(jī)交互。公司的日志分為很多種類,涵蓋的不同的領(lǐng)域,每種類型的日志都有其獨(dú)特的格式。因此,Logstash日志分析系統(tǒng)提供了可擴(kuò)展的通用接口,方便用戶對(duì)日志的種類和日志查詢的條目進(jìn)行添加和修改。并且將數(shù)據(jù)進(jìn)行一定的統(tǒng)計(jì),通過友好的圖表界面展現(xiàn)給公司內(nèi)部用戶,方便用戶進(jìn)行數(shù)據(jù)分析和故障查詢。
【關(guān)鍵詞】：日志分析系統(tǒng) Django框架 Logstash 分布式存儲(chǔ)
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP311.52
【目錄】：

• 摘要5-6
• Abstract6-11
• 第一章 引言11-15
• 1.1 項(xiàng)目背景11-12
• 1.2 國內(nèi)外日志分析系統(tǒng)的發(fā)展概況12-13
• 1.3 本文主要研究的工作13-14
• 1.4 本文的組織結(jié)構(gòu)14-15
• 第二章 技術(shù)綜述15-25
• 2.1 MVC模式15
• 2.2 Django框架15-17
• 2.3 Python語言17-18
• 2.4 分布式存儲(chǔ)技術(shù)818-20
• 2.5 Redis數(shù)據(jù)庫20
• 2.6 Elasticsearch技術(shù)20-21
• 2.7 Ajax技術(shù)21-22
• 2.8 jQuery技術(shù)22-23
• 2.9 Bootstrap技術(shù)23-24
• 2.10 本章小結(jié)24-25
• 第三章 Logstash日志分析系統(tǒng)的分析與設(shè)計(jì)25-44
• 3.1 項(xiàng)目總體規(guī)劃25-27
• 3.1.1 系統(tǒng)組成25-26
• 3.1.2 系統(tǒng)主流程26-27
• 3.2 系統(tǒng)需求分析27-32
• 3.2.1 前端DNS模塊功能需求分析27-29
• 3.2.2 前端Mail模塊功能需求分析29-30
• 3.2.3 前端General模塊功能需求分析30-31
• 3.2.4 日志查詢模塊功能需求分析31
• 3.2.5 Logsash系統(tǒng)非功能需求分析31-32
• 3.3 系統(tǒng)總體設(shè)計(jì)32-34
• 3.4 日志查詢模塊設(shè)計(jì)34-39
• 3.4.1 Elasticsearch查詢接口封裝設(shè)計(jì)35-37
• 3.4.2 Elasticsearch查詢調(diào)用方法設(shè)計(jì)37-39
• 3.5 前端展現(xiàn)模塊設(shè)計(jì)39-43
• 3.5.1 DNS模塊設(shè)計(jì)39-41
• 3.5.2 Mail模塊設(shè)計(jì)41-42
• 3.5.3 General模塊設(shè)計(jì)42-43
• 3.6 本章小結(jié)43-44
• 第四章 Logstash日志分析系統(tǒng)的實(shí)現(xiàn)44-59
• 4.1 日志查詢模塊的實(shí)現(xiàn)44-48
• 4.1.1 Elasticsearch查詢接口封裝的實(shí)現(xiàn)44-46
• 4.1.2 Elasticsearch查詢調(diào)用方法實(shí)現(xiàn)46-48
• 4.2 前端展現(xiàn)模塊的實(shí)現(xiàn)48-58
• 4.2.1 DNS模塊前端實(shí)現(xiàn)48-52
• 4.2.2 Mail模塊前端實(shí)現(xiàn)52-56
• 4.2.3 General模塊前端實(shí)現(xiàn)56-58
• 4.3 本章小結(jié)58-59
• 第五章 總結(jié)與展望59-61
• 5.1 總結(jié)59
• 5.2 進(jìn)一步工作展望59-61
• 參考文獻(xiàn)61-63
• 致謝63-65

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 柯昌正;黃厚寬;;Ajax技術(shù)的原理與應(yīng)用[J];鐵路計(jì)算機(jī)應(yīng)用;2007年01期

，

本文編號(hào)：711435