本文關(guān)鍵詞：實(shí)時(shí)分布式Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 分布式計(jì)算 日志分析 Hadoop Map Reduce

【摘要】：Web日志是由Web服務(wù)器產(chǎn)生的數(shù)據(jù)記錄,包含著網(wǎng)站運(yùn)行的重要信息。通過(guò)日志分析,我們可以獲取網(wǎng)站頁(yè)面的訪問(wèn)量、分析用戶行為、計(jì)算用戶搜索的關(guān)鍵詞排行等,從而實(shí)現(xiàn)企業(yè)的數(shù)據(jù)化運(yùn)營(yíng)。通常單日訪問(wèn)量在10萬(wàn)以上的中小型網(wǎng)站每天會(huì)產(chǎn)生1GB以上的日志文件,對(duì)于更大型的網(wǎng)站,可能每小時(shí)都會(huì)產(chǎn)生10GB以上的日志文件。當(dāng)日志數(shù)據(jù)以每天10GB、100GB的速度增長(zhǎng)的時(shí)候,使用單臺(tái)主機(jī)已無(wú)法滿足對(duì)數(shù)據(jù)的計(jì)算和存儲(chǔ)性能需求。因此,采用分布式計(jì)算和存儲(chǔ)技術(shù)來(lái)完成對(duì)Web日志的分析處理已成為必然的發(fā)展趨勢(shì)。目前較為流行的分布式計(jì)算框架是Hadoop,已被廣泛應(yīng)用于日志分析、數(shù)據(jù)挖掘等領(lǐng)域。Hadoop的核心是通過(guò)Map Reduce并行計(jì)算模型和分布式存儲(chǔ)系統(tǒng)(HDFS)實(shí)現(xiàn)對(duì)程序、內(nèi)存、存儲(chǔ)資源的管理。其本質(zhì)是一種后計(jì)算流的過(guò)程,已足夠應(yīng)對(duì)海量數(shù)據(jù)計(jì)算,但在性能方面仍存在一定的缺陷:(1)日志元數(shù)據(jù)首先會(huì)存入到HDFS中,在計(jì)算時(shí)才重新讀取,這其中必定引起一定的計(jì)算延遲,時(shí)效性得不到保證;(2)HDFS會(huì)保存大量的原始日志數(shù)據(jù),考慮到冗余備份,會(huì)對(duì)機(jī)器的資源造成極大的浪費(fèi)。(3)用戶必須實(shí)現(xiàn)復(fù)雜并且難以重用和維護(hù)的Map Reduce程序,不具備良好的通用性。因此,針對(duì)Hadoop計(jì)算的不足,本文提出了一種全新的計(jì)算流方案,并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)可視化的Web日志分析系統(tǒng),具體內(nèi)容包括:第一,針對(duì)日志分析的應(yīng)用場(chǎng)景,定義系統(tǒng)需求,將系統(tǒng)分為數(shù)據(jù)采集和存儲(chǔ)、后臺(tái)計(jì)算、前端展現(xiàn)三個(gè)部分。用戶通過(guò)系統(tǒng)界面完成日志模型配置,然后系統(tǒng)根據(jù)用戶規(guī)則生成計(jì)算任務(wù),并將每分鐘的數(shù)據(jù)統(tǒng)計(jì)結(jié)果以報(bào)表的形式返回給用戶。第二,設(shè)計(jì)系統(tǒng)架構(gòu)及功能模塊,優(yōu)化系統(tǒng)的計(jì)算和存儲(chǔ)性能。本文基于Map Reduce并行計(jì)算模型,設(shè)計(jì)了一種更能滿足實(shí)時(shí)性、周期性需求的計(jì)算流,降低了計(jì)算過(guò)程中的延時(shí),提高了數(shù)據(jù)的齊全度和系統(tǒng)的故障恢復(fù)能力。并根據(jù)數(shù)據(jù)結(jié)果的周期性,設(shè)計(jì)了一套優(yōu)化的存儲(chǔ)方案,降低了存儲(chǔ)系統(tǒng)的次級(jí)索引負(fù)擔(dān),提高數(shù)據(jù)檢索效率。第三,根據(jù)系統(tǒng)各模塊處理流程,實(shí)現(xiàn)系統(tǒng)功能,包括日志模型管理、數(shù)據(jù)計(jì)算、數(shù)據(jù)存儲(chǔ)、前端展現(xiàn)。其中描述了各模塊間的交互數(shù)據(jù)格式和通信流程,并詳細(xì)闡述了任務(wù)的調(diào)度策略和執(zhí)行過(guò)程。第四,設(shè)計(jì)三個(gè)實(shí)驗(yàn)場(chǎng)景,驗(yàn)證本日志分析系統(tǒng)的功能及性能。首先通過(guò)對(duì)某電商網(wǎng)站訪問(wèn)量的統(tǒng)計(jì),分析系統(tǒng)運(yùn)行情況,然后對(duì)比分析了單臺(tái)主機(jī)處理、并行處理、Hadoop計(jì)算處理的耗時(shí)。測(cè)試結(jié)果表明分布式計(jì)算比單機(jī)運(yùn)算的效率更高,本系統(tǒng)的計(jì)算模型比Hadoop的實(shí)時(shí)性更高。本系統(tǒng)通過(guò)分布式計(jì)算和存儲(chǔ)方案解決了海量日志分析過(guò)程中的實(shí)時(shí)性和數(shù)據(jù)可靠性問(wèn)題,并通過(guò)配置化的用戶界面完成日志分析過(guò)程的規(guī)范化管理,有效的提高了日志分析的效率,在大數(shù)據(jù)時(shí)代具有一定的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。
【關(guān)鍵詞】：分布式計(jì)算 日志分析 Hadoop Map Reduce
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.09
【目錄】：

• 摘要5-7
• ABSTRACT7-16
• 第一章 緒論16-22
• 1.1 研究背景與意義16-18
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀與發(fā)展趨勢(shì)18-19
• 1.3 研究?jī)?nèi)容19-20
• 1.4 論文結(jié)構(gòu)與內(nèi)容安排20-22
• 第二章 分布式計(jì)算平臺(tái)技術(shù)現(xiàn)狀22-32
• 2.1 分布式系統(tǒng)概述22-27
• 2.1.1 分布式系統(tǒng)定義22-23
• 2.1.2 分布式系統(tǒng)體系結(jié)構(gòu)23-26
• 2.1.3 分布式系統(tǒng)通信模型26-27
• 2.2 Hadoop基本結(jié)構(gòu)27-30
• 2.2.1 Map Reduce計(jì)算模型27-30
• 2.2.2 HDFS架構(gòu)30
• 2.3 本章小結(jié)30-32
• 第三章 日志分析系統(tǒng)需求分析32-36
• 3.1 設(shè)計(jì)目標(biāo)32
• 3.2 系統(tǒng)需求分析32-35
• 3.2.1 功能性需求32-34
• 3.2.2 非功能性需求34-35
• 3.3 本章小結(jié)35-36
• 第四章 日志分析系統(tǒng)的設(shè)計(jì)36-52
• 4.1 系統(tǒng)架構(gòu)設(shè)計(jì)36-37
• 4.2 系統(tǒng)功能模塊設(shè)計(jì)37-48
• 4.2.1 日志模型管理模塊設(shè)計(jì)37-38
• 4.2.2 日志采集模塊設(shè)計(jì)38-39
• 4.2.3 配置管理模塊設(shè)計(jì)39-41
• 4.2.4 計(jì)算模塊設(shè)計(jì)41-44
• 4.2.5 Key-Value存儲(chǔ)模塊設(shè)計(jì)44-46
• 4.2.6 Web展現(xiàn)設(shè)計(jì)46-48
• 4.3 數(shù)據(jù)處理流程設(shè)計(jì)48-51
• 4.3.2 配置流48-49
• 4.3.3 計(jì)算流49-50
• 4.3.4 查詢流50-51
• 4.4 本章小結(jié)51-52
• 第五章 日志分析系統(tǒng)的實(shí)現(xiàn)52-76
• 5.1 日志模型管理模塊實(shí)現(xiàn)52-53
• 5.2 日志采集模塊的實(shí)現(xiàn)53-56
• 5.3 日志計(jì)算模塊的實(shí)現(xiàn)56-70
• 5.3.1 Job Manager任務(wù)調(diào)度中心57-60
• 5.3.2 Reduce任務(wù)執(zhí)行層60-66
• 5.3.3 Map任務(wù)執(zhí)行層66-70
• 5.4 Key-Value存儲(chǔ)模塊的實(shí)現(xiàn)70-73
• 5.5 Web展示模塊的實(shí)現(xiàn)73-75
• 5.6 本章小結(jié)75-76
• 第六章 系統(tǒng)測(cè)試與分析76-88
• 6.1 測(cè)試環(huán)境配置76-77
• 6.2 實(shí)驗(yàn)場(chǎng)景設(shè)計(jì)77-82
• 6.2.1 網(wǎng)站首頁(yè)訪問(wèn)量統(tǒng)計(jì)77-80
• 6.2.2 日志分析耗時(shí)80-82
• 6.3 測(cè)試結(jié)果與分析82-87
• 6.3.1 網(wǎng)站首頁(yè)訪問(wèn)量82-85
• 6.3.2 Mapper并行度分析85-86
• 6.3.3 日志分析耗時(shí)對(duì)比86-87
• 6.4 本章小結(jié)87-88
• 第七章 結(jié)束語(yǔ)88-90
• 7.1 全文總結(jié)及主要貢獻(xiàn)88
• 7.2 下一步工作建議88-90
• 致謝90-91
• 參考文獻(xiàn)91-95
• 個(gè)人簡(jiǎn)歷95-96
• 攻碩期間取得的研究成果96-97
• 學(xué)位論文評(píng)審后修改說(shuō)明表97-98

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前3條

1 房鼎益,周興社,康繼昌;分布式系統(tǒng)研究進(jìn)展[J];微電子學(xué)與計(jì)算機(jī);2000年06期

2 彭國(guó)金;劉Z阪，

本文編號(hào)：1076161