本文關(guān)鍵詞：SEM廣告數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： SEM olap Hadoop Elastic search

【摘要】：SEM (Search Engine Marketing,搜索引擎營(yíng)銷)是在用戶使用搜索引擎進(jìn)行搜索時(shí),將希望傳遞的信息顯示給目標(biāo)用戶的一種推廣方式。推廣方在搜索引擎平臺(tái)對(duì)不同的關(guān)鍵詞進(jìn)行投放,使推廣的頁(yè)面有更高頻率和概率顯示到搜索用戶面前,使用戶發(fā)現(xiàn)并通過(guò)點(diǎn)擊進(jìn)入相應(yīng)的頁(yè)面。京東商城每天都有上億的流量訪問(wèn),商城獲取流量的方式多種多樣,其中SEM是其極其重要的流量來(lái)源。京東商城有大量商品分類和具體商品頁(yè)面信息,不同商品分類、不同的商品、不同的促銷都有不同的推廣的需求。國(guó)內(nèi)有百度、搜狗、360搜索、神馬搜索幾家主要搜索引擎廠商,運(yùn)營(yíng)人員每天要維護(hù)不同搜索引擎平臺(tái)上推廣賬戶的SEM投放信息,并需要分析各個(gè)賬戶的投放效果,以便更新關(guān)鍵詞的投放比例,投放價(jià)格,業(yè)務(wù)邏輯復(fù)雜、數(shù)據(jù)維度多、數(shù)據(jù)量龐大。論文依據(jù)京東商城的實(shí)際需求,設(shè)計(jì)和實(shí)現(xiàn)了SEM廣告數(shù)據(jù)分析系統(tǒng)。該系統(tǒng)維護(hù)京東商城在各家搜索引擎上的所有SEM投放賬號(hào),自動(dòng)獲取和存儲(chǔ)各個(gè)賬號(hào)在不同平臺(tái)的投放效果數(shù)據(jù),分析并產(chǎn)出投放報(bào)表,同時(shí)提供統(tǒng)一的有效提高投放效果和投放效率的投放操作。系統(tǒng)主要功能包括數(shù)據(jù)報(bào)表和實(shí)時(shí)投放。系統(tǒng)實(shí)現(xiàn)技術(shù)包括hadoop, hive, pig, oozie, druid, elastic search, node.js, shell, python等,完成數(shù)據(jù)的拉取、聚合、查詢、修改和媒體端交互等功能。系統(tǒng)設(shè)計(jì)將系統(tǒng)分為fetcher, druid_data_generator, olap_data_loader, ui, savees, query_es,upload幾個(gè)主要模塊。fetcher模塊主要負(fù)責(zé)從各家搜索引擎的提供的差異化的API,以統(tǒng)一的方式,定時(shí)調(diào)度獲取并經(jīng)格式處理存儲(chǔ)到hive中：druid_data_generator模塊負(fù)責(zé)將拉取的數(shù)據(jù)與商城后臺(tái)的數(shù)據(jù)進(jìn)行各個(gè)維度的聚合；olap_data_loader負(fù)責(zé)將聚合后的數(shù)據(jù)從Hive上傳到druid; ui負(fù)責(zé)從druid查詢各個(gè)維度的數(shù)據(jù)并顯示:save_es負(fù)責(zé)投放操作的數(shù)據(jù)保存與修改,用于與投放媒體端交互同步數(shù)據(jù);uploader負(fù)責(zé)與媒體端交互,將修改的操作實(shí)時(shí)的上傳到媒體端實(shí)現(xiàn)投放數(shù)據(jù)的實(shí)際修改。本人參與了系統(tǒng)需求分析、設(shè)計(jì)和實(shí)現(xiàn)的全過(guò)程。獨(dú)立設(shè)計(jì)和實(shí)現(xiàn)了fetcher模塊、druid_data_loader和save_es的部分功能,實(shí)現(xiàn)了數(shù)據(jù)源的穩(wěn)定抓取、數(shù)據(jù)轉(zhuǎn)化聚合,并完成elasic search數(shù)據(jù)的存儲(chǔ)和性能優(yōu)化。論文實(shí)現(xiàn)的SEM廣告數(shù)據(jù)分析系統(tǒng)系統(tǒng)最終已經(jīng)上線并穩(wěn)定運(yùn)行。有效提高了京東商城的SEM廣告投放效果,提升了運(yùn)營(yíng)人員實(shí)際效率。
【關(guān)鍵詞】：SEM olap Hadoop Elastic search
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.52
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-12
• 1 引言12-16
• 1.1 論文背景12-13
• 1.2 項(xiàng)目目標(biāo)13-14
• 1.3 關(guān)鍵問(wèn)題和技術(shù)難度14-15
• 1.4 論文主要工作和組織15
• 1.5 小結(jié)15-16
• 2 相關(guān)技術(shù)16-22
• 2.1 HADOOP16-17
• 2.2 HDFS17
• 2.3 HIVE17-18
• 2.4 OOZIE18-19
• 2.5 PIG19
• 2.6 ELASTICSEARCH19
• 2.7 NODEJS19-20
• 2.8 小結(jié)20-22
• 3 SEM廣告數(shù)據(jù)分析系統(tǒng)需求分析22-34
• 3.1 功能需求22-29
• 3.1.1 后臺(tái)管理22-24
• 3.1.2 報(bào)表中心24-28
• 3.1.3 物料中心28-29
• 3.1.4 同步媒體29
• 3.2 可行性分析29-30
• 3.2.1 技術(shù)可行性30
• 3.2.2 資源可行性30
• 3.3 非功能性需求30-31
• 3.3.1 運(yùn)行環(huán)境需求31
• 3.3.2 性能需求31
• 3.3.3 系統(tǒng)結(jié)構(gòu)需求31
• 3.5 小結(jié)31-34
• 4 SEM廣告數(shù)據(jù)分析系統(tǒng)概要設(shè)計(jì)34-50
• 4.1 架構(gòu)設(shè)計(jì)34-35
• 4.2 數(shù)據(jù)流程設(shè)計(jì)35-37
• 4.3 系統(tǒng)功能模塊設(shè)計(jì)如37-43
• 4.3.1 數(shù)據(jù)拉取模塊(fetcher)38-39
• 4.3.2 數(shù)據(jù)聚合模塊(druid_data_generator)39
• 4.3.3 Hive導(dǎo)出druid模塊(olap_data_loader)39-40
• 4.3.4 物料存儲(chǔ)模塊(save-es)40-41
• 4.3.5 物料查詢模塊(query-es)41-42
• 4.3.6 同步模塊(uploader)42
• 4.3.7 ui數(shù)據(jù)訪問(wèn)接口(api-master)42-43
• 4.4 HIVE表設(shè)計(jì)43-48
• 4.4.1 關(guān)鍵詞表43-44
• 4.4.2 返點(diǎn)表44-45
• 4.4.3 賬戶結(jié)構(gòu)表45
• 4.4.4 推廣組表45-46
• 4.4.5 創(chuàng)意表46
• 4.4.6 附加創(chuàng)意表46-47
• 4.4.7 投放地域表47
• 4.4.8 投放計(jì)劃表47-48
• 4.5 小結(jié)48-50
• 5 系統(tǒng)功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)50-70
• 5.1 數(shù)據(jù)拉取(FETCHER)功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)50-55
• 5.1.1 數(shù)據(jù)拉取模塊類圖50-54
• 5.1.2 數(shù)據(jù)拉取模塊時(shí)序圖54-55
• 5.2 數(shù)據(jù)聚合功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)55-56
• 5.2.1 聚合邏輯55-56
• 5.3 HIVE上傳DRUID模塊功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)56-58
• 5.3.1 Hive上傳Druid腳本介紹57-58
• 5.4 物料存儲(chǔ)模塊(SAVE-ES)功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)58-62
• 5.4.1 物料存儲(chǔ)模塊類圖58-59
• 5.4.2 數(shù)據(jù)拉取模塊類具體介紹59-61
• 5.4.3 物料存儲(chǔ)部分時(shí)序圖61-62
• 5.5 物料查詢模塊(QUERY-ES)功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)62-65
• 5.5.1 物料查詢模塊類設(shè)計(jì)62-64
• 5.5.2 時(shí)序圖64-65
• 5.6 UI接口(API-MASTER)65-68
• 5.6.1 UI接口類設(shè)計(jì)65-68
• 5.7 小結(jié)68-70
• 6 系統(tǒng)測(cè)試70-74
• 6.1 測(cè)試概述70
• 6.2 測(cè)試用例70-72
• 6.3 驗(yàn)證性結(jié)果分析72
• 6.4 小結(jié)72-74
• 7 總結(jié)74-76
• 7.1 結(jié)論74
• 7.2 展望74-76
• 參考文獻(xiàn)76-78
• 作者簡(jiǎn)歷及攻讀碩士/博士學(xué)位期間取得的研究成果78-80
• 學(xué)位論文數(shù)據(jù)集80

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李磊;;黑龍江郵政數(shù)據(jù)分析系統(tǒng)研究[J];林業(yè)科技情報(bào);2011年04期

2 陳起榕;陳新亮;曹世彪;;一種新的數(shù)據(jù)分析系統(tǒng)前端展示方案[J];郵電設(shè)計(jì)技術(shù);2012年10期

3 孟慶超;李永亮;;智能數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿(mào)工業(yè);2008年11期

4 郭靜;;鋼鐵企業(yè)能源數(shù)據(jù)分析系統(tǒng)的構(gòu)建[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2009年05期

5 哈文雷;;基于云計(jì)算的油田數(shù)據(jù)分析系統(tǒng)[J];中國(guó)新技術(shù)新產(chǎn)品;2013年17期

6 黃麗麗;陳華輝;;博客數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];寧波大學(xué)學(xué)報(bào)(理工版);2008年03期

7 田月潔;焦波;謝金洲;;中藥不良反應(yīng)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與應(yīng)用[J];中國(guó)藥物警戒;2007年04期

8 毛蘭斌;;基于機(jī)電結(jié)構(gòu)檢測(cè)的可靠性數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)[J];中國(guó)高新技術(shù)企業(yè);2008年08期

9 毛羽芳;王銳明;;天津市工商行政管理局?jǐn)?shù)據(jù)分析系統(tǒng)的建設(shè)[J];信息系統(tǒng)工程;2010年07期

10 章璐;;人民幣跨境結(jié)算業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];中國(guó)金融電腦;2013年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 顧紅生;;淺談汽車行業(yè)競(jìng)品數(shù)據(jù)分析系統(tǒng)解決方案[A];第八屆中國(guó)汽車設(shè)計(jì)與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽(yáng);;數(shù)據(jù)分析系統(tǒng)中的自定義量度方案設(shè)計(jì)實(shí)現(xiàn)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

3 尚屹;朱琦;;國(guó)家持久性有機(jī)污染物數(shù)據(jù)分析系統(tǒng)研究[A];2008中國(guó)環(huán)境科學(xué)學(xué)會(huì)學(xué)術(shù)年會(huì)優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產(chǎn)數(shù)據(jù)分析系統(tǒng)及其現(xiàn)場(chǎng)應(yīng)用[A];中國(guó)水力發(fā)電工程學(xué)會(huì)信息化專委會(huì)2010年學(xué)術(shù)交流會(huì)論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測(cè)算法的交通數(shù)據(jù)分析系統(tǒng)[A];2008全國(guó)第十三屆自動(dòng)化應(yīng)用技術(shù)學(xué)術(shù)交流會(huì)論文集[C];2008年

6 王治國(guó);王薇;訾凱;任鵬;;臨床檢驗(yàn)方法確認(rèn)與性能驗(yàn)證數(shù)據(jù)分析系統(tǒng)(MVS)的開發(fā)與應(yīng)用[A];中華醫(yī)學(xué)會(huì)第九次全國(guó)檢驗(yàn)醫(yī)學(xué)學(xué)術(shù)會(huì)議暨中國(guó)醫(yī)院協(xié)會(huì)臨床檢驗(yàn)管理專業(yè)委員會(huì)第六屆全國(guó)臨床檢驗(yàn)實(shí)驗(yàn)室管理學(xué)術(shù)會(huì)議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數(shù)據(jù)分析系統(tǒng)[A];自動(dòng)化技術(shù)與冶金流程節(jié)能減排——全國(guó)冶金自動(dòng)化信息網(wǎng)2008年會(huì)論文集[C];2008年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前8條

1 記者 劉慧敏;開發(fā)區(qū)一企業(yè)研發(fā)成功“消費(fèi)行為數(shù)據(jù)分析系統(tǒng)”[N];寧波日?qǐng)?bào);2009年

2 別志銘;基于云的大數(shù)據(jù)分析系統(tǒng)[N];網(wǎng)絡(luò)世界;2013年

3 袁毅;蘇州：數(shù)據(jù)分析系統(tǒng)精準(zhǔn)問(wèn)診城市交通[N];人民公安報(bào)·交通安全周刊;2011年

4 紹興職業(yè)技術(shù)學(xué)院 沈華峰 寧波大學(xué)信息科學(xué)與工程學(xué)院 朱雙東;基于可縮放矢量圖形數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[N];中國(guó)計(jì)算機(jī)報(bào);2010年

5 記者 董科;轉(zhuǎn)型客戶服務(wù) 打造全新競(jìng)爭(zhēng)力[N];期貨日?qǐng)?bào);2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應(yīng)完善稅收數(shù)據(jù)分析系統(tǒng)提升使用效能[N];中國(guó)稅務(wù)報(bào);2013年

7 陶利軍;路橋當(dāng)好企業(yè)經(jīng)濟(jì)分析師[N];中國(guó)工商報(bào);2007年

8 本報(bào)記者 鞏國(guó)強(qiáng);汛潮的“賣點(diǎn)”[N];山西經(jīng)濟(jì)日?qǐng)?bào);2004年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 馬寶全;新疆車牌信息數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2016年

2 李全偉;移動(dòng)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2016年

3 陳盛力;SEM廣告數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2016年

4 段凌軒;基于HTTP協(xié)議的網(wǎng)絡(luò)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2016年

5 馮偉;基于云計(jì)算的海量數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2012年

6 王浩;內(nèi)蒙聯(lián)通公司基礎(chǔ)數(shù)字?jǐn)?shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與開發(fā)[D];復(fù)旦大學(xué);2011年

7 周曉敏;鋼鐵企業(yè)化驗(yàn)報(bào)告數(shù)據(jù)分析系統(tǒng)[D];電子科技大學(xué);2011年

8 田野;基于相似性挖掘的金融數(shù)據(jù)分析系統(tǒng)的研究與應(yīng)用[D];上海交通大學(xué);2012年

9 解曉松;沈陽(yáng)地稅數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2012年

10 徐，

本文編號(hào)：970980