本文關(guān)鍵詞： Hadoop Elasticsearch 數(shù)據(jù)處理 電商流量　出處：《浙江工業(yè)大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

【摘要】：計算機(jī)技術(shù)的發(fā)展和互聯(lián)網(wǎng)的日益普及,使得電子商務(wù)飛速發(fā)展,電商企業(yè)不斷涌現(xiàn),用戶數(shù)量成倍增加,導(dǎo)致電商網(wǎng)站的多源流量數(shù)據(jù)也隨之快速攀升。傳統(tǒng)的電商流量數(shù)據(jù)處理方式存儲數(shù)據(jù)量有限,支持的數(shù)據(jù)源格式少,亟需引入現(xiàn)代化的電商流量大數(shù)據(jù)處理系統(tǒng),以滿足企業(yè)流量數(shù)據(jù)處理的需求。論文基于Hadoop技術(shù)和Elasticsearch技術(shù),設(shè)計并開發(fā)電商流量大數(shù)據(jù)處理系統(tǒng),實現(xiàn)海量電商流量原始數(shù)據(jù)的快速提取、轉(zhuǎn)化、加載和管理,最終計算得到電商網(wǎng)站的頁面點(diǎn)擊量、獨(dú)立訪客數(shù)、頁面轉(zhuǎn)化率、頁面跳出率、頁面導(dǎo)出率等流量指標(biāo)。論文主要工作如下:1.在文獻(xiàn)查閱的基礎(chǔ)上,綜述了論文研究背景與意義,以及電商流量數(shù)據(jù)處理的國內(nèi)外現(xiàn)狀,詳細(xì)介紹Elasticsearch中的搜索引擎Lucene和分布式存儲技術(shù)、ETL技術(shù)中的分布式文件存儲系統(tǒng)HDFS和編程模型MapReduce以及開源框架SpringMVC、Spring和Mybatis技術(shù)。2.從市場需求、社會經(jīng)濟(jì)效益、功能需求等方面對系統(tǒng)進(jìn)行總體分析,基于原始數(shù)據(jù)ETL模塊和流量統(tǒng)計服務(wù)模塊的詳細(xì)需求分析,設(shè)計系統(tǒng)的數(shù)據(jù)導(dǎo)入、數(shù)據(jù)ETL、數(shù)據(jù)管理和參數(shù)統(tǒng)計四個功能模塊,并詳細(xì)介紹了各個模塊的功能。3.原始數(shù)據(jù)ETL系統(tǒng)采用Hadoop集群中的分布式文件系統(tǒng)HDFS存儲數(shù)據(jù),采用MapReduce編程模型處理流量數(shù)據(jù),同時支持Oracle、MySql和PostgreSql等關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)接口以及其它類型的原始數(shù)據(jù)源的處理。4.流量統(tǒng)計服務(wù)系統(tǒng)采用Elasticsearch集群作為流量數(shù)據(jù)源,可根據(jù)需要進(jìn)行集群擴(kuò)容,采用Oracle數(shù)據(jù)庫存儲系統(tǒng)常規(guī)數(shù)據(jù),采用SSM框架搭建系統(tǒng)后臺,采用Bootstrap、Jquery和Ajax等技術(shù)進(jìn)行前端開發(fā)。5.原始數(shù)據(jù)ETL系統(tǒng)實現(xiàn)原始流量數(shù)據(jù)的提取、處理和管理,以及將處理后的流量數(shù)據(jù)導(dǎo)入到Elasticsearch集群中;流量統(tǒng)計服務(wù)系統(tǒng)基于Elasticsearch集群中的流量數(shù)據(jù)和Oracle數(shù)據(jù)庫中的常規(guī)數(shù)據(jù)實現(xiàn)了多種流量參數(shù)的統(tǒng)計,同時實現(xiàn)了人員管理、流量報警和定時郵件等常用功能。目前,電商流量大數(shù)據(jù)處理系統(tǒng)已經(jīng)在國內(nèi)某著名大型電商企業(yè)投入運(yùn)營,系統(tǒng)運(yùn)行穩(wěn)定、反應(yīng)良好。
[Abstract]:With the development of computer technology and the increasing popularity of the Internet, e-commerce has developed rapidly, e-commerce enterprises have been emerging, and the number of users has multiplied. As a result, the multi-source traffic data of e-commerce websites is also rising rapidly. Traditional e-commerce traffic data processing methods have limited storage data and less data source formats, so it is urgent to introduce a modern e-commerce traffic big data processing system. In order to meet the demand of enterprise traffic data processing, based on Hadoop technology and Elasticsearch technology, this paper designs and develops an e-commerce traffic big data processing system, which can quickly extract, transform, load and manage the raw data of mass e-commerce traffic. Finally, we calculate the number of page hits, number of independent visitors, page conversion rate, page jump rate, page export rate, etc. The main work of this paper is as follows: 1. On the basis of literature review, the main work of this paper is as follows: 1. This paper summarizes the research background and significance of the paper, as well as the domestic and foreign status of e-commerce traffic data processing. This paper introduces in detail the search engine Lucene in Elasticsearch, the distributed file storage system HDFS and programming model MapReduce in distributed storage technology, and the open source framework Spring Lucene and Mybatis technology. 2. Based on the detailed requirement analysis of the original data ETL module and the flow statistics service module, the design of the system data import, data ETL, data management and parameter statistics four functional modules, The function of each module is introduced in detail. The original data ETL system uses HDFS, a distributed file system in Hadoop cluster to store data, uses MapReduce programming model to process traffic data, and supports relational databases such as Oracle SQL and PostgreSql. Data interface and other types of original data source processing .4.The traffic statistics service system uses Elasticsearch cluster as the traffic data source, can expand the capacity of the cluster according to the need, and uses the Oracle database to store the conventional data of the system. SSM framework is used to build the background of the system, and Bootstrapper Jquery and Ajax are used to develop the front-end. 5.The raw data ETL system can extract, process and manage the original traffic data, and import the processed traffic data into the Elasticsearch cluster. The traffic statistics service system realizes the statistics of various traffic parameters based on the traffic data in the Elasticsearch cluster and the regular data in the Oracle database. At the same time, it realizes the common functions such as personnel management, traffic alarm and regular mail. The e-commerce flow big data processing system has been put into operation in a famous domestic e-commerce enterprise. The system runs stably and responds well.
【學(xué)位授予單位】：浙江工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13;TP274

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊則正;生產(chǎn)數(shù)據(jù)處理系統(tǒng)的可供選擇方案[J];管理科學(xué)文摘;1996年11期

2 任倉鈺;尹和平;;測繪數(shù)據(jù)處理系統(tǒng)介紹[J];工程地質(zhì)計算機(jī)應(yīng)用;2000年02期

3 張建文,湯軍社,李險峰;爐溫均勻性測試數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)[J];機(jī)械與電子;2004年09期

4 夏小群;陳國定;王建磊;徐凱;;基于商業(yè)軟件連接的數(shù)據(jù)處理系統(tǒng)研究[J];機(jī)械設(shè)計與制造;2005年12期

5 陳金剛;舒攀;;高校網(wǎng)上錄取數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)[J];廣西工學(xué)院學(xué)報;2007年02期

6 李春;何洪林;劉敏;蘇文;伏玉玲;張雷明;溫學(xué)發(fā);于貴瑞;;ChinaFLUX CO_2通量數(shù)據(jù)處理系統(tǒng)與應(yīng)用[J];地球信息科學(xué);2008年05期

7 馬輝;;招生數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)[J];安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報;2009年04期

8 潘龍翔;;航空數(shù)據(jù)處理系統(tǒng)現(xiàn)狀綜述[J];火控技術(shù);1985年01期

9 劉育剛;;機(jī)關(guān)事務(wù)數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)[J];哈爾濱船舶工程學(xué)院學(xué)報;1986年S1期

10 王樹棠;;用微機(jī)實現(xiàn)數(shù)據(jù)處理系統(tǒng)的途徑[J];強(qiáng)度與環(huán)境;1986年01期

相關(guān)會議論文 前10條

1 牟其鐸;張雁如;陳強(qiáng);劉淳;黃俊秋;;地震報告數(shù)據(jù)處理系統(tǒng)[A];1991年中國地球物理學(xué)會第七屆學(xué)術(shù)年會論文集[C];1991年

2 朱新河;嚴(yán)新平;蕭漢梁;;計算機(jī)輔助油液監(jiān)測數(shù)據(jù)處理系統(tǒng)[A];第二屆全國青年摩擦學(xué)學(xué)術(shù)會議論文專輯[C];1993年

3 郭豐宇;;數(shù)據(jù)處理系統(tǒng)的測試與安全性問題[A];第三次全國計算機(jī)安全技術(shù)交流會論文集[C];1988年

4 張增珧;俞君;岳健;楊曉萍;;低成本高性能的NMR數(shù)據(jù)處理系統(tǒng)的開發(fā)研究[A];第七屆全國波譜學(xué)學(xué)術(shù)會議論文摘要集[C];1992年

5 劉云生;代一塵;鄧華鋒;;流數(shù)據(jù)處理系統(tǒng)自適應(yīng)機(jī)制研究[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2006年

6 安艷輝;謝飛;付洪波;;基于CAD平臺的城市部件普查數(shù)據(jù)處理系統(tǒng)研究[A];地理信息與物聯(lián)網(wǎng)論壇暨江蘇省測繪學(xué)會2010年學(xué)術(shù)年會論文集[C];2010年

7 彭宇;鄒向榮;楊悅;;招生數(shù)據(jù)處理系統(tǒng)的研究與實現(xiàn)[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

8 左煒;王殊;劉富明;;分布式光纖傳感器中的數(shù)據(jù)處理系統(tǒng)[A];四川省通信學(xué)會2005年學(xué)術(shù)年會論文集[C];2005年

9 程東;嚴(yán)志軍;朱新河;王宏志;;船舶機(jī)械油液檢測數(shù)據(jù)處理系統(tǒng)分析及設(shè)計[A];中國航海學(xué)會船舶機(jī)電專業(yè)委員會2000年度學(xué)術(shù)報告會論文集[C];2000年

10 甄剛;史光平;;天津VTS新開發(fā)的船舶數(shù)據(jù)處理系統(tǒng)(SDPS)[A];中國航海學(xué)會航標(biāo)專業(yè)委員會第七屆大會論文集[C];2003年

相關(guān)重要報紙文章 前5條

1 周谷風(fēng);德國海量數(shù)據(jù)處理系統(tǒng)創(chuàng)低能耗紀(jì)錄[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2010年

2 鄺寧華;普查系統(tǒng)用過不再扔掉[N];中國計算機(jī)報;2006年

3 黃勇 楊曉萍;大型橋梁有了健康檔案[N];中華建筑報;2002年

4 見習(xí)記者 童超;自主可控 國產(chǎn)廠商特色化服務(wù)受青睞[N];政府采購信息報;2014年

5 魏杰;錄井?dāng)?shù)據(jù)處理系統(tǒng)軟件通過專家評審[N];中國石油報;2004年

相關(guān)碩士學(xué)位論文 前10條

1 安云鳳;基于云計算的氋鐵數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)[D];西南交通大學(xué);2015年

2 郭永剛;海洋環(huán)境監(jiān)測數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 柳春;視頻會議客戶端數(shù)據(jù)處理系統(tǒng)設(shè)計與實現(xiàn)[D];中國科學(xué)院研究生院（沈陽計算技術(shù)研究所）;2015年

4 沈海石;雅科公司振動測試與數(shù)據(jù)處理系統(tǒng)設(shè)計與實現(xiàn)[D];大連理工大學(xué);2015年

5 劉寶軍;基于虛擬儀器的被動水聲跟蹤數(shù)據(jù)處理系統(tǒng)[D];電子科技大學(xué);2015年

6 邱奕煒;桂林市自動氣象站數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2015年

7 丁鐵凡;基于云計算的醫(yī)療數(shù)據(jù)處理系統(tǒng)的關(guān)鍵技術(shù)研究[D];華北理工大學(xué);2015年

8 周圣添;商業(yè)銀行審計信息數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)[D];山東大學(xué);2015年

9 暴春;基于IDL語言的海表溫度船測數(shù)據(jù)處理系統(tǒng)設(shè)計與實現(xiàn)[D];中國海洋大學(xué);2015年

10 程轍;基于任務(wù)的海量保險數(shù)據(jù)處理系統(tǒng)設(shè)計與實現(xiàn)[D];南京大學(xué);2016年

，

本文編號：1532177