本文關(guān)鍵詞：基于Storm的實時日志分析系統(tǒng)的設(shè)計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：海量實時計算作為大數(shù)據(jù)計算的重要組成部分,實時日志數(shù)據(jù)分析正在逐漸成為各個公司或互聯(lián)網(wǎng)產(chǎn)品依賴的重要需求。實時海量日志數(shù)據(jù)計算正應(yīng)用在實時分析統(tǒng)計,實時推薦,實時風控,實時監(jiān)控和個性化推薦服務(wù)等應(yīng)用場景中。根據(jù)用戶對海量日志數(shù)據(jù)的實時性處理需求,本文設(shè)計并實現(xiàn)了一個基于Storm的實時日志分析系統(tǒng)。本文的工作主要包括：1)詳細介紹本系統(tǒng)的研究背景、所涉及到的技術(shù)。同時詳細說明了系統(tǒng)的設(shè)計和功能需求,系統(tǒng)整體架構(gòu)以及相關(guān)模塊架構(gòu),重點包括了系統(tǒng)前后端的詳細實現(xiàn)。2)分布式收集模塊采用Flume技術(shù)實現(xiàn)多源異構(gòu)的日志數(shù)據(jù)收集、分發(fā)和存儲功能,該技術(shù)具有分布式、可擴展、容錯、高性能的優(yōu)點。3)異步通信模塊采用Kafka技術(shù)實現(xiàn)收集模塊和處理模塊之間的解耦作用,該技術(shù)最大的優(yōu)點是高性能,吞吐量大。4)實時數(shù)據(jù)分析模塊采用的是Storm技術(shù),Storm以數(shù)據(jù)流的形式流式處理,能夠高性能實時處理源源不斷地數(shù)據(jù)。本系統(tǒng)解決了分布式收集異源日志數(shù)據(jù),實時計算,數(shù)據(jù)處理復雜和分析結(jié)果展示等問題,實現(xiàn)了海量異源日志數(shù)據(jù)的收集功能、數(shù)據(jù)異步通信功能、實時處理日志數(shù)據(jù)功能和實時查詢結(jié)果數(shù)據(jù)功能,提供一套穩(wěn)定的、易擴展的,分布式的,高性能海量日志數(shù)據(jù)實時分析系統(tǒng)。
【關(guān)鍵詞】：Storm 海量日志數(shù)據(jù) 實時分析 Kafka
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.52
【目錄】：

• 摘要5-6
• Abstract6-13
• 第一章 緒論13-18
• 1.1 項目背景與意義13-14
• 1.2 國內(nèi)外研究現(xiàn)狀14-16
• 1.3 本文主要研究的工作16-17
• 1.4 本文的組織結(jié)構(gòu)17-18
• 第二章 相關(guān)技術(shù)綜述18-32
• 2.1 大數(shù)據(jù)處理概述18-21
• 2.1.1 批處理技術(shù)概述18-19
• 2.1.2 實時處理技術(shù)概述19-21
• 2.2 Storm實時處理技術(shù)21-26
• 2.2.1 Storm計算框架介紹21-24
• 2.2.2 Storm技術(shù)處理模型24-26
• 2.3 Kafka技術(shù)介紹26-28
• 2.4 SpringMVC框架介紹28-29
• 2.5 Zookeeper分布式管理介紹29-31
• 2.6 本章小結(jié)31-32
• 第三章 實時日志分析系統(tǒng)總體設(shè)計32-45
• 3.1 系統(tǒng)功能需求和分析32-34
• 3.2 系統(tǒng)總體設(shè)計與模塊設(shè)計34-40
• 3.2.1 總體結(jié)構(gòu)34-35
• 3.2.2 分布式日志收集模塊35-36
• 3.2.3 異步通信模塊36-37
• 3.2.4 日志分析計算模塊37-38
• 3.2.5 結(jié)果數(shù)據(jù)存儲模塊38
• 3.2.6 結(jié)果展示模塊38-39
• 3.2.7 緩存模塊39-40
• 3.3 系統(tǒng)數(shù)據(jù)表設(shè)計40-42
• 3.3.1 日志源表設(shè)計40
• 3.3.2 異常表設(shè)計40-41
• 3.3.3 異常數(shù)據(jù)表設(shè)計41-42
• 3.3.4 Nginx_access表設(shè)計42
• 3.4 系統(tǒng)關(guān)鍵流程42-44
• 3.5 本章小結(jié)44-45
• 第四章 實時日志分析系統(tǒng)后端模塊45-55
• 4.1 Storm計算模塊的整體架構(gòu)45-47
• 4.1.1 問題分析45-46
• 4.1.2 系統(tǒng)后端模塊整體架構(gòu)46-47
• 4.2 系統(tǒng)后端模塊數(shù)據(jù)處理流程47-48
• 4.3 Storm實時計算模塊代碼實現(xiàn)與設(shè)計48-54
• 4.3.1 Topology計算拓撲任務(wù)的提交48-49
• 4.3.2 Spout節(jié)點實現(xiàn)49-51
• 4.3.3 解析日志的Bolt節(jié)點實現(xiàn)51-52
• 4.3.4 過濾日志的Bolt節(jié)點實現(xiàn)52-53
• 4.3.5 分析日志的Bolt節(jié)點實現(xiàn)53-54
• 4.4 本章小結(jié)54-55
• 第五章 實時日志分析系統(tǒng)Web模塊55-68
• 5.1 分析結(jié)果的展示模塊整體架構(gòu)55-56
• 5.1.1 問題分析55-56
• 5.1.2 系統(tǒng)前端模塊整體架構(gòu)56
• 5.2 系統(tǒng)前端模塊用戶請求處理流程56-59
• 5.3 系統(tǒng)Web模塊代碼實現(xiàn)與設(shè)計59-63
• 5.3.1 Controller層代碼的實現(xiàn)59-60
• 5.3.2 Service層代碼的實現(xiàn)60-61
• 5.3.3 DAO層代碼的實現(xiàn)61-63
• 5.4 系統(tǒng)使用示例與性能分析63-67
• 5.4.1 系統(tǒng)使用示例63-66
• 5.4.2 系統(tǒng)性能分析66-67
• 5.5 本章小結(jié)67-68
• 第六章 總結(jié)與展望68-70
• 6.1 論文總結(jié)68
• 6.2 進一步工作展望68-70
• 參考文獻70-72
• 致謝72-74

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 白亞魯;;云計算環(huán)境下大規(guī)模數(shù)據(jù)處理的研究[J];軟件;2013年05期

2 王潤華;;基于Hadoop集群的分布式日志分析系統(tǒng)研究[J];科技信息;2009年15期

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 曾明宇;一種基于Storm和Mongodb的分布式實時日志數(shù)據(jù)存儲與處理系統(tǒng)的設(shè)計與實現(xiàn)及應(yīng)用[D];浙江大學;2015年

  本文關(guān)鍵詞：基于Storm的實時日志分析系統(tǒng)的設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：291159