發(fā)布時(shí)間：2019-04-14 20:27

【摘要】：隨著傳統(tǒng)行業(yè)中的企業(yè)日志數(shù)據(jù)急劇增加,企業(yè)挖掘日志價(jià)值的需求也日益增長(zhǎng)。傳統(tǒng)的日志處理技術(shù)在日志的收集、分析、存儲(chǔ)環(huán)節(jié)面臨越來越多的困難,無法滿足對(duì)海量日志的靈活收集、快速讀寫以及多維分析等需求,也無法有效地為企業(yè)的營(yíng)銷活動(dòng)進(jìn)行輔助決策。企業(yè)需要借助更為先進(jìn)的技術(shù)和方法進(jìn)行日志大數(shù)據(jù)分析與營(yíng)銷輔助決策,從而提升市場(chǎng)競(jìng)爭(zhēng)力。本文針對(duì)目前企業(yè)日志分析系統(tǒng)的現(xiàn)狀和不足,基于大型連鎖購(gòu)物中心營(yíng)業(yè)日志處理的應(yīng)用場(chǎng)景,從日志處理的不同環(huán)節(jié)和模塊入手,進(jìn)行了營(yíng)業(yè)日志大數(shù)據(jù)分析關(guān)鍵技術(shù)的研究,分析對(duì)比了在該應(yīng)用場(chǎng)景下不同技術(shù)方案的優(yōu)劣情況。從客戶人群消費(fèi)類別、商場(chǎng)實(shí)時(shí)交易數(shù)量、特殊日期交易情況三個(gè)角度提出了不同的企業(yè)市場(chǎng)細(xì)分營(yíng)銷輔助決策算法原理和具體流程。設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)全流程一體化的分布式營(yíng)業(yè)日志大數(shù)據(jù)分析系統(tǒng)。該系統(tǒng)包含了基于開源日志服務(wù)技術(shù)Flume實(shí)現(xiàn)的日志收集模塊;基于消息隊(duì)列技術(shù)Kafka、分布式計(jì)算框架Spark、數(shù)據(jù)庫(kù)中間件技術(shù)Phoenix實(shí)現(xiàn)的日志分析模塊;利用HBase作為數(shù)據(jù)存儲(chǔ)并通過Phoenix進(jìn)行接口轉(zhuǎn)換的日志存儲(chǔ)模塊。該系統(tǒng)可滿足企業(yè)對(duì)日志數(shù)據(jù)靈活高效收集的需求,進(jìn)行實(shí)時(shí)分析、離線分析、聯(lián)機(jī)分析的需求,高速存取數(shù)據(jù)并且接口統(tǒng)的需求,可從多個(gè)角度為企業(yè)市場(chǎng)細(xì)分營(yíng)銷進(jìn)行輔助決策。利用實(shí)驗(yàn)數(shù)據(jù),本文測(cè)試并對(duì)比了該系統(tǒng)與其他技術(shù)在不同數(shù)據(jù)規(guī)模下的日志處理性能,基于該系統(tǒng)的離線分析模塊、實(shí)時(shí)分析模塊、聯(lián)機(jī)分析模塊,從三個(gè)方面完成了企業(yè)營(yíng)業(yè)日志大數(shù)據(jù)分析與企業(yè)市場(chǎng)細(xì)分營(yíng)銷的輔助決策實(shí)驗(yàn),驗(yàn)證了系統(tǒng)和算法流程的正確有效,證明了其實(shí)際的應(yīng)用價(jià)值。
[Abstract]:......
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：F274;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 張川;鄧珍榮;鄧星;黃文明;;基于Chukwa的大規(guī)模日志智能監(jiān)測(cè)收集方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年09期

2 廖曉輝;;Presto實(shí)現(xiàn)解析[J];程序員;2014年02期

3 姚仁捷;;Kafka在唯品會(huì)的應(yīng)用實(shí)踐[J];程序員;2014年01期

4 申德榮;于戈;王習(xí)特;聶鐵錚;寇月;;支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J];軟件學(xué)報(bào);2013年08期

5 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

6 李國(guó)杰;程學(xué)旗;;大數(shù)據(jù)研究:未來科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J];中國(guó)科學(xué)院院刊;2012年06期

7 吳勇毅;;深度數(shù)據(jù)挖掘——企業(yè)信息化成功的主軸[J];信息與電腦;2009年05期

8 楊善林;李永森;胡笑旋;潘若愚;;K-MEANS算法中的K值優(yōu)化問題研究[J];系統(tǒng)工程理論與實(shí)踐;2006年02期

相關(guān)碩士學(xué)位論文 前4條

1 陳含;基于Hadoop的海量數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];武漢理工大學(xué);2014年

2 魏彬;基于分布式日志系統(tǒng)的數(shù)據(jù)云服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2013年

3 孫寅林;基于分布式計(jì)算平臺(tái)的海量日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2012年

4 王宏斌;消息中間件技術(shù)的研究和實(shí)踐[D];浙江大學(xué);2004年

，

本文編號(hào)：2458094