發(fā)布時(shí)間：2019-01-24 13:48

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)不斷快速深入發(fā)展,許多大型企業(yè)、機(jī)構(gòu)及政府部門(mén)持續(xù)獲得了各種海量Web日志數(shù)據(jù),而Web日志中記錄了用戶(hù)的行為及具體的消費(fèi)情況,對(duì)網(wǎng)站的建設(shè)及特定商品的推廣并提供精確的服務(wù)具有非常重要的指導(dǎo)意義。當(dāng)今對(duì)Web日志分析的要求是持續(xù)變化和增加的,同時(shí)在分析Web日志時(shí)也要求具有一定的快捷性和準(zhǔn)確性,然而如何預(yù)處理海量日志,如何存儲(chǔ)海量數(shù)據(jù),如何獲取有效的信息成為學(xué)術(shù)界和商業(yè)界重點(diǎn)研究的內(nèi)容。現(xiàn)今,人們的生活離不開(kāi)網(wǎng)絡(luò),而生活中的各種需求基本上都是通過(guò)訪問(wèn)網(wǎng)站來(lái)實(shí)現(xiàn),因此各個(gè)企業(yè)為了獲得用戶(hù)的顯性需求和隱性需求,深入挖掘用戶(hù)的網(wǎng)絡(luò)行為習(xí)慣已形成一門(mén)重點(diǎn)關(guān)注的學(xué)科。因?yàn)樵L問(wèn)網(wǎng)站的用戶(hù)越來(lái)越多,所產(chǎn)生的數(shù)據(jù)也迅速增長(zhǎng),如何預(yù)處理和存儲(chǔ)海量數(shù)據(jù),并從中獲取有效的數(shù)據(jù)成為了另一個(gè)挑戰(zhàn)。根據(jù)人們的研究成果,目前基于Hadoop的相關(guān)技術(shù)是解決大數(shù)據(jù)問(wèn)題最適合的方法和工具。原始Web日志中的數(shù)據(jù)是不一致的、缺陷的、含有大量臟數(shù)據(jù)和噪聲,假如不通過(guò)數(shù)據(jù)采集和預(yù)處理過(guò)程對(duì)其進(jìn)行過(guò)濾和篩選,會(huì)使數(shù)據(jù)分析階段的工作量增大,甚至可能造成錯(cuò)誤的結(jié)果。所以,在對(duì)數(shù)據(jù)進(jìn)行分析之前應(yīng)先對(duì)Web日志實(shí)行采集和預(yù)處理操作。每天電信系統(tǒng)都會(huì)產(chǎn)生海量的Web日志數(shù)據(jù),單節(jié)點(diǎn)數(shù)據(jù)處理和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已不能滿(mǎn)足其需求,對(duì)于怎樣存儲(chǔ)海量電信數(shù)據(jù)成為必要的研究課題。Web日志的挖掘需要通過(guò)算法來(lái)實(shí)現(xiàn),因此算法的選取和設(shè)計(jì)也是關(guān)鍵之處。本文對(duì)基于電信系統(tǒng)的Web日志進(jìn)行研究,其內(nèi)容主要包含以下幾點(diǎn):1)Web日志的采集預(yù)處理Web日志采集和預(yù)處理是Web日志挖掘的前提條件,其作用是為后續(xù)數(shù)據(jù)分析提供準(zhǔn)確的日志文件。而原有的Web日志中存在大量噪聲和不一致的信息,因此對(duì)其進(jìn)行采集和預(yù)處理操作是很有必要的。然而,隨著用戶(hù)訪問(wèn)數(shù)量的急劇增長(zhǎng),大量高并發(fā)的數(shù)據(jù)給Web預(yù)處理操作帶來(lái)了巨大的挑戰(zhàn)。本文提出了一種基于MapReduce的Web日志預(yù)處理機(jī)制,能更好的提高日志數(shù)據(jù)采集預(yù)處理階段的效率,并最大限度的利用計(jì)算機(jī)硬件資源,從而降低不必要的資源浪費(fèi)。2)Web日志的數(shù)據(jù)存儲(chǔ)由于電信用戶(hù)和網(wǎng)站的訪問(wèn)量在不斷增加,Web日志也在每日劇增,傳統(tǒng)的數(shù)據(jù)存儲(chǔ)技術(shù)存在成本高、運(yùn)行繁雜、擴(kuò)展性極低等諸多不足。本文將采用HDFS和Hbase的組合來(lái)實(shí)現(xiàn),并充分利用Hadoop集群的分布式存儲(chǔ)優(yōu)勢(shì)。3)電信系統(tǒng)日志挖掘及聚類(lèi)算法的改進(jìn)數(shù)據(jù)挖掘作為大數(shù)據(jù)技術(shù)的核心問(wèn)題之一,面臨著計(jì)算復(fù)雜度高和計(jì)算能力不足等問(wèn)題,本系統(tǒng)中應(yīng)用了一種基于Hadoop的分布式改進(jìn)聚類(lèi)算法即CFK-means聚類(lèi)算法。本算法是對(duì)K-means聚類(lèi)算法的一種改進(jìn),本文通過(guò)實(shí)驗(yàn)結(jié)果闡明該聚類(lèi)算法具有良好的可移植性和準(zhǔn)確性。本文通過(guò)搭建一個(gè)模擬電信系統(tǒng)日志分析大數(shù)據(jù)平臺(tái),驗(yàn)證MapReduce并行化在Web日志采集和預(yù)處理階段的高效性,HDFS和Hbase組合在數(shù)據(jù)存儲(chǔ)中的高擴(kuò)展性,通過(guò)多次對(duì)比實(shí)驗(yàn)結(jié)果分析,驗(yàn)證本文中CFK-means聚類(lèi)算法的準(zhǔn)確性和快捷性。本文通過(guò)對(duì)電信系統(tǒng)的日志分析,挖掘出用戶(hù)的行為信息,通過(guò)分析用戶(hù)訪問(wèn)網(wǎng)站的行為特點(diǎn),幫助電信運(yùn)營(yíng)商制定合理的套餐和推薦信息。
[Abstract]:......
【學(xué)位授予單位】：成都理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：F626;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周潤(rùn)物;李智勇;陳少淼;陳京;李仁發(fā);;面向大數(shù)據(jù)處理的并行優(yōu)化抽樣聚類(lèi)K-means算法[J];計(jì)算機(jī)應(yīng)用;2016年02期

2 吳韶鴻;;信息通信領(lǐng)先廠商多管齊下發(fā)展大數(shù)據(jù)[J];世界電信;2014年Z1期

3 毛嚴(yán)奇;彭沛夫;;基于MapReduce的Web日志挖掘預(yù)處理[J];計(jì)算機(jī)與現(xiàn)代化;2013年09期

4 周峰;李龍澍;;結(jié)合蟻群聚類(lèi)算法的模糊C均值聚類(lèi)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2012年07期

5 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

6 劉永增;張曉景;李先毅;;基于Hadoop/Hive的web日志分析系統(tǒng)的設(shè)計(jì)[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年S1期

7 仝雪姣;孟凡榮;王志曉;;對(duì)k-means初始聚類(lèi)中心的優(yōu)化[J];計(jì)算機(jī)工程與設(shè)計(jì);2011年08期

8 李喬;鄭嘯;;云計(jì)算研究現(xiàn)狀綜述[J];計(jì)算機(jī)科學(xué);2011年04期

9 張建勛;古志民;鄭超;;云計(jì)算研究進(jìn)展綜述[J];計(jì)算機(jī)應(yīng)用研究;2010年02期

10 吳海燕;朱靖君;程志銳;戚麗;;Web日志集中管理系統(tǒng)的研究與實(shí)現(xiàn)[J];實(shí)驗(yàn)技術(shù)與管理;2008年07期

相關(guān)碩士學(xué)位論文 前6條

1 宋園園;基于Hadoop的Web日志存儲(chǔ)及預(yù)處理優(yōu)化研究[D];河北工程大學(xué);2016年

2 周海靖;日志大數(shù)據(jù)分析平臺(tái)技術(shù)研究[D];山東大學(xué);2015年

3 婁乾;用電計(jì)量裝置在線(xiàn)監(jiān)測(cè)與診斷系統(tǒng)的研究與開(kāi)發(fā)[D];華北電力大學(xué);2015年

4 肖俊良;基于云計(jì)算的WEB日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 李榮榮;基于Hadoop平臺(tái)的日志分析系統(tǒng)[D];復(fù)旦大學(xué);2013年

6 孫寅林;基于分布式計(jì)算平臺(tái)的海量日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2012年

，

本文編號(hào)：2414534