【摘要】：在信息化發(fā)展迅速的今天,通過(guò)上網(wǎng)產(chǎn)生的網(wǎng)絡(luò)日志數(shù)據(jù)量也隨之快速的增長(zhǎng)。如今,網(wǎng)絡(luò)日志已成為海量數(shù)據(jù)的一個(gè)典型的代表。面對(duì)海量的網(wǎng)絡(luò)日志,傳統(tǒng)的單一節(jié)點(diǎn)的分析方法已經(jīng)顯得乏力甚至無(wú)法應(yīng)對(duì)。如何處理這些海量的數(shù)據(jù),并加以利用,是我們面對(duì)的一個(gè)問(wèn)題。論文研究了 Hadoop的相關(guān)背景和意義,對(duì)目前流行的大數(shù)據(jù)技術(shù)進(jìn)行了深入的學(xué)習(xí)和研究,將大數(shù)據(jù)技術(shù)和校園無(wú)線網(wǎng)絡(luò)日志分析相結(jié)合。論文首先采用Flume技術(shù)對(duì)日志文件數(shù)據(jù)進(jìn)行采集,通過(guò)分布式文件系統(tǒng)HDFS對(duì)采集到的日志數(shù)據(jù)文件進(jìn)行分布式存儲(chǔ),再利用MapReduce技術(shù)對(duì)采集到的數(shù)據(jù)進(jìn)行清洗和處理。然后使用Hive工具對(duì)數(shù)據(jù)進(jìn)行分析,并通過(guò)相關(guān)技術(shù)將分析結(jié)果導(dǎo)入到MySQL等關(guān)系型數(shù)據(jù)庫(kù)中。最后通過(guò)web界面進(jìn)行分析結(jié)果的展示。論文通過(guò)以上技術(shù),建立了一個(gè)基于Hadoop的校園網(wǎng)絡(luò)日志分析平臺(tái)。文章意在通過(guò)網(wǎng)絡(luò)日志大數(shù)據(jù)分析平臺(tái)將校園網(wǎng)絡(luò)日志中的數(shù)據(jù)進(jìn)行采集分析并將分析結(jié)果利用起來(lái),希望能借此對(duì)學(xué)校的管理帶來(lái)一定的幫助。
[Abstract]:With the rapid development of information technology today, the amount of network log data generated through the Internet also increases rapidly. Nowadays, web log has become a typical representative of mass data. In the face of massive network logs, the traditional single node analysis method has become weak or even unable to deal with. How to deal with these huge amounts of data and make use of them is a problem we face. In this paper, the background and significance of Hadoop are studied, the popular big data technology is deeply studied and studied, and the big data technology is combined with the analysis of campus wireless network log. Firstly, the Flume technology is used to collect the log file data, the distributed file system (HDFS) is used to store the collected log data file, and then the MapReduce technology is used to clean and process the collected data. Then we use Hive tool to analyze the data and import the results into relational database such as MySQL. Finally, the analysis results are displayed through the web interface. Through the above technology, this paper establishes a campus network log analysis platform based on Hadoop. The purpose of this paper is to collect and analyze the data in the campus web log through big data analysis platform, hoping to bring some help to the management of the school.
【學(xué)位授予單位】：內(nèi)蒙古農(nóng)業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周平;馬斌;韓冰;蘇宇晨;;基于大數(shù)據(jù)平臺(tái)的日志分析預(yù)警技術(shù)研究[J];電腦知識(shí)與技術(shù);2016年32期

2 何雅琴;李濤;;網(wǎng)絡(luò)訪問(wèn)日志實(shí)時(shí)分析系統(tǒng)在Storm平臺(tái)上的實(shí)現(xiàn)[J];信息化研究;2016年04期

3 潘威華;;跨平臺(tái)網(wǎng)絡(luò)設(shè)備日志整理與分析系統(tǒng)研究[J];江蘇科技信息;2016年05期

4 詹義;方媛;;基于Spark技術(shù)的網(wǎng)絡(luò)大數(shù)據(jù)分析平臺(tái)搭建與應(yīng)用[J];互聯(lián)網(wǎng)天地;2016年02期

5 任凱;鄧武;俞琰;;基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J];現(xiàn)代電子技術(shù);2016年02期

6 王相偉;史玉良;張建林;梁波;程翠萍;;基于Hadoop的用電信息大數(shù)據(jù)計(jì)算服務(wù)及應(yīng)用[J];電網(wǎng)技術(shù);2015年11期

7 付生;;基于網(wǎng)絡(luò)日志挖掘技術(shù)數(shù)據(jù)信息分析的研究[J];科技與創(chuàng)新;2015年06期

8 宋杰;劉雪冰;朱志良;李甜甜;趙大哲;于戈;;一種能效優(yōu)化的MapReduce資源比模型[J];計(jì)算機(jī)學(xué)報(bào);2015年01期

9 楊鋒英;劉會(huì)超;;基于Hadoop的在線網(wǎng)絡(luò)日志分析系統(tǒng)研究[J];計(jì)算機(jī)應(yīng)用與軟件;2014年08期

10 鄧賓;;網(wǎng)絡(luò)安全日志數(shù)據(jù)分析系統(tǒng)的探究[J];電子測(cè)試;2014年03期

相關(guān)碩士學(xué)位論文 前10條

1 周亮彪;IT運(yùn)維大數(shù)據(jù)平臺(tái)日志分析系統(tǒng)研究[D];中南林業(yè)科技大學(xué);2016年

2 周海靖;日志大數(shù)據(jù)分析平臺(tái)技術(shù)研究[D];山東大學(xué);2015年

3 陳超;基于分布式計(jì)算的海量日志數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

4 付偉;基于Hadoop的Web日志的分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

5 謝樹(shù)銘;基于大數(shù)據(jù)處理技術(shù)Hadoop的論壇日志分析[D];江西農(nóng)業(yè)大學(xué);2014年

6 李榮榮;基于Hadoop平臺(tái)的日志分析系統(tǒng)[D];復(fù)旦大學(xué);2013年

7 章偉星;基于Hadoop的海量廣告日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2013年

8 趙龍;基于hadoop的海量搜索日志分析平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[D];大連理工大學(xué);2013年

9 胡鋼;網(wǎng)絡(luò)安全日志數(shù)據(jù)可視分析系統(tǒng)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

10 王維鐸;基于日志數(shù)據(jù)的網(wǎng)絡(luò)輿情分析與研究[D];北京郵電大學(xué);2011年

，

本文編號(hào)：2456758