本文關(guān)鍵詞：SEM廣告數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： SEM olap Hadoop Elastic search

【摘要】：SEM (Search Engine Marketing,搜索引擎營銷)是在用戶使用搜索引擎進(jìn)行搜索時,將希望傳遞的信息顯示給目標(biāo)用戶的一種推廣方式。推廣方在搜索引擎平臺對不同的關(guān)鍵詞進(jìn)行投放,使推廣的頁面有更高頻率和概率顯示到搜索用戶面前,使用戶發(fā)現(xiàn)并通過點(diǎn)擊進(jìn)入相應(yīng)的頁面。京東商城每天都有上億的流量訪問,商城獲取流量的方式多種多樣,其中SEM是其極其重要的流量來源。京東商城有大量商品分類和具體商品頁面信息,不同商品分類、不同的商品、不同的促銷都有不同的推廣的需求。國內(nèi)有百度、搜狗、360搜索、神馬搜索幾家主要搜索引擎廠商,運(yùn)營人員每天要維護(hù)不同搜索引擎平臺上推廣賬戶的SEM投放信息,并需要分析各個賬戶的投放效果,以便更新關(guān)鍵詞的投放比例,投放價(jià)格,業(yè)務(wù)邏輯復(fù)雜、數(shù)據(jù)維度多、數(shù)據(jù)量龐大。論文依據(jù)京東商城的實(shí)際需求,設(shè)計(jì)和實(shí)現(xiàn)了SEM廣告數(shù)據(jù)分析系統(tǒng)。該系統(tǒng)維護(hù)京東商城在各家搜索引擎上的所有SEM投放賬號,自動獲取和存儲各個賬號在不同平臺的投放效果數(shù)據(jù),分析并產(chǎn)出投放報(bào)表,同時提供統(tǒng)一的有效提高投放效果和投放效率的投放操作。系統(tǒng)主要功能包括數(shù)據(jù)報(bào)表和實(shí)時投放。系統(tǒng)實(shí)現(xiàn)技術(shù)包括hadoop, hive, pig, oozie, druid, elastic search, node.js, shell, python等,完成數(shù)據(jù)的拉取、聚合、查詢、修改和媒體端交互等功能。系統(tǒng)設(shè)計(jì)將系統(tǒng)分為fetcher, druid_data_generator, olap_data_loader, ui, savees, query_es,upload幾個主要模塊。fetcher模塊主要負(fù)責(zé)從各家搜索引擎的提供的差異化的API,以統(tǒng)一的方式,定時調(diào)度獲取并經(jīng)格式處理存儲到hive中：druid_data_generator模塊負(fù)責(zé)將拉取的數(shù)據(jù)與商城后臺的數(shù)據(jù)進(jìn)行各個維度的聚合；olap_data_loader負(fù)責(zé)將聚合后的數(shù)據(jù)從Hive上傳到druid; ui負(fù)責(zé)從druid查詢各個維度的數(shù)據(jù)并顯示:save_es負(fù)責(zé)投放操作的數(shù)據(jù)保存與修改,用于與投放媒體端交互同步數(shù)據(jù);uploader負(fù)責(zé)與媒體端交互,將修改的操作實(shí)時的上傳到媒體端實(shí)現(xiàn)投放數(shù)據(jù)的實(shí)際修改。本人參與了系統(tǒng)需求分析、設(shè)計(jì)和實(shí)現(xiàn)的全過程。獨(dú)立設(shè)計(jì)和實(shí)現(xiàn)了fetcher模塊、druid_data_loader和save_es的部分功能,實(shí)現(xiàn)了數(shù)據(jù)源的穩(wěn)定抓取、數(shù)據(jù)轉(zhuǎn)化聚合,并完成elasic search數(shù)據(jù)的存儲和性能優(yōu)化。論文實(shí)現(xiàn)的SEM廣告數(shù)據(jù)分析系統(tǒng)系統(tǒng)最終已經(jīng)上線并穩(wěn)定運(yùn)行。有效提高了京東商城的SEM廣告投放效果,提升了運(yùn)營人員實(shí)際效率。
【關(guān)鍵詞】：SEM olap Hadoop Elastic search
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.52
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-12
• 1 引言12-16
• 1.1 論文背景12-13
• 1.2 項(xiàng)目目標(biāo)13-14
• 1.3 關(guān)鍵問題和技術(shù)難度14-15
• 1.4 論文主要工作和組織15
• 1.5 小結(jié)15-16
• 2 相關(guān)技術(shù)16-22
• 2.1 HADOOP16-17
• 2.2 HDFS17
• 2.3 HIVE17-18
• 2.4 OOZIE18-19
• 2.5 PIG19
• 2.6 ELASTICSEARCH19
• 2.7 NODEJS19-20
• 2.8 小結(jié)20-22
• 3 SEM廣告數(shù)據(jù)分析系統(tǒng)需求分析22-34
• 3.1 功能需求22-29
• 3.1.1 后臺管理22-24
• 3.1.2 報(bào)表中心24-28
• 3.1.3 物料中心28-29
• 3.1.4 同步媒體29
• 3.2 可行性分析29-30
• 3.2.1 技術(shù)可行性30
• 3.2.2 資源可行性30
• 3.3 非功能性需求30-31
• 3.3.1 運(yùn)行環(huán)境需求31
• 3.3.2 性能需求31
• 3.3.3 系統(tǒng)結(jié)構(gòu)需求31
• 3.5 小結(jié)31-34
• 4 SEM廣告數(shù)據(jù)分析系統(tǒng)概要設(shè)計(jì)34-50
• 4.1 架構(gòu)設(shè)計(jì)34-35
• 4.2 數(shù)據(jù)流程設(shè)計(jì)35-37
• 4.3 系統(tǒng)功能模塊設(shè)計(jì)如37-43
• 4.3.1 數(shù)據(jù)拉取模塊(fetcher)38-39
• 4.3.2 數(shù)據(jù)聚合模塊(druid_data_generator)39
• 4.3.3 Hive導(dǎo)出druid模塊(olap_data_loader)39-40
• 4.3.4 物料存儲模塊(save-es)40-41
• 4.3.5 物料查詢模塊(query-es)41-42
• 4.3.6 同步模塊(uploader)42
• 4.3.7 ui數(shù)據(jù)訪問接口(api-master)42-43
• 4.4 HIVE表設(shè)計(jì)43-48
• 4.4.1 關(guān)鍵詞表43-44
• 4.4.2 返點(diǎn)表44-45
• 4.4.3 賬戶結(jié)構(gòu)表45
• 4.4.4 推廣組表45-46
• 4.4.5 創(chuàng)意表46
• 4.4.6 附加創(chuàng)意表46-47
• 4.4.7 投放地域表47
• 4.4.8 投放計(jì)劃表47-48
• 4.5 小結(jié)48-50
• 5 系統(tǒng)功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)50-70
• 5.1 數(shù)據(jù)拉取(FETCHER)功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)50-55
• 5.1.1 數(shù)據(jù)拉取模塊類圖50-54
• 5.1.2 數(shù)據(jù)拉取模塊時序圖54-55
• 5.2 數(shù)據(jù)聚合功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)55-56
• 5.2.1 聚合邏輯55-56
• 5.3 HIVE上傳DRUID模塊功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)56-58
• 5.3.1 Hive上傳Druid腳本介紹57-58
• 5.4 物料存儲模塊(SAVE-ES)功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)58-62
• 5.4.1 物料存儲模塊類圖58-59
• 5.4.2 數(shù)據(jù)拉取模塊類具體介紹59-61
• 5.4.3 物料存儲部分時序圖61-62
• 5.5 物料查詢模塊(QUERY-ES)功能詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)62-65
• 5.5.1 物料查詢模塊類設(shè)計(jì)62-64
• 5.5.2 時序圖64-65
• 5.6 UI接口(API-MASTER)65-68
• 5.6.1 UI接口類設(shè)計(jì)65-68
• 5.7 小結(jié)68-70
• 6 系統(tǒng)測試70-74
• 6.1 測試概述70
• 6.2 測試用例70-72
• 6.3 驗(yàn)證性結(jié)果分析72
• 6.4 小結(jié)72-74
• 7 總結(jié)74-76
• 7.1 結(jié)論74
• 7.2 展望74-76
• 參考文獻(xiàn)76-78
• 作者簡歷及攻讀碩士/博士學(xué)位期間取得的研究成果78-80
• 學(xué)位論文數(shù)據(jù)集80

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李磊;;黑龍江郵政數(shù)據(jù)分析系統(tǒng)研究[J];林業(yè)科技情報(bào);2011年04期

2 陳起榕;陳新亮;曹世彪;;一種新的數(shù)據(jù)分析系統(tǒng)前端展示方案[J];郵電設(shè)計(jì)技術(shù);2012年10期

3 孟慶超;李永亮;;智能數(shù)據(jù)分析系統(tǒng)研究[J];現(xiàn)代商貿(mào)工業(yè);2008年11期

4 郭靜;;鋼鐵企業(yè)能源數(shù)據(jù)分析系統(tǒng)的構(gòu)建[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2009年05期

5 哈文雷;;基于云計(jì)算的油田數(shù)據(jù)分析系統(tǒng)[J];中國新技術(shù)新產(chǎn)品;2013年17期

6 黃麗麗;陳華輝;;博客數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];寧波大學(xué)學(xué)報(bào)(理工版);2008年03期

7 田月潔;焦波;謝金洲;;中藥不良反應(yīng)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與應(yīng)用[J];中國藥物警戒;2007年04期

8 毛蘭斌;;基于機(jī)電結(jié)構(gòu)檢測的可靠性數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)[J];中國高新技術(shù)企業(yè);2008年08期

9 毛羽芳;王銳明;;天津市工商行政管理局?jǐn)?shù)據(jù)分析系統(tǒng)的建設(shè)[J];信息系統(tǒng)工程;2010年07期

10 章璐;;人民幣跨境結(jié)算業(yè)務(wù)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];中國金融電腦;2013年01期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 顧紅生;;淺談汽車行業(yè)競品數(shù)據(jù)分析系統(tǒng)解決方案[A];第八屆中國汽車設(shè)計(jì)與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽;;數(shù)據(jù)分析系統(tǒng)中的自定義量度方案設(shè)計(jì)實(shí)現(xiàn)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

3 尚屹;朱琦;;國家持久性有機(jī)污染物數(shù)據(jù)分析系統(tǒng)研究[A];2008中國環(huán)境科學(xué)學(xué)會學(xué)術(shù)年會優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產(chǎn)數(shù)據(jù)分析系統(tǒng)及其現(xiàn)場應(yīng)用[A];中國水力發(fā)電工程學(xué)會信息化專委會2010年學(xué)術(shù)交流會論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測算法的交通數(shù)據(jù)分析系統(tǒng)[A];2008全國第十三屆自動化應(yīng)用技術(shù)學(xué)術(shù)交流會論文集[C];2008年

6 王治國;王薇;訾凱;任鵬;;臨床檢驗(yàn)方法確認(rèn)與性能驗(yàn)證數(shù)據(jù)分析系統(tǒng)(MVS)的開發(fā)與應(yīng)用[A];中華醫(yī)學(xué)會第九次全國檢驗(yàn)醫(yī)學(xué)學(xué)術(shù)會議暨中國醫(yī)院協(xié)會臨床檢驗(yàn)管理專業(yè)委員會第六屆全國臨床檢驗(yàn)實(shí)驗(yàn)室管理學(xué)術(shù)會議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數(shù)據(jù)分析系統(tǒng)[A];自動化技術(shù)與冶金流程節(jié)能減排——全國冶金自動化信息網(wǎng)2008年會論文集[C];2008年

中國重要報(bào)紙全文數(shù)據(jù)庫 前8條

1 記者 劉慧敏;開發(fā)區(qū)一企業(yè)研發(fā)成功“消費(fèi)行為數(shù)據(jù)分析系統(tǒng)”[N];寧波日報(bào);2009年

2 別志銘;基于云的大數(shù)據(jù)分析系統(tǒng)[N];網(wǎng)絡(luò)世界;2013年

3 袁毅;蘇州：數(shù)據(jù)分析系統(tǒng)精準(zhǔn)問診城市交通[N];人民公安報(bào)·交通安全周刊;2011年

4 紹興職業(yè)技術(shù)學(xué)院 沈華峰 寧波大學(xué)信息科學(xué)與工程學(xué)院 朱雙東;基于可縮放矢量圖形數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[N];中國計(jì)算機(jī)報(bào);2010年

5 記者 董科;轉(zhuǎn)型客戶服務(wù) 打造全新競爭力[N];期貨日報(bào);2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應(yīng)完善稅收數(shù)據(jù)分析系統(tǒng)提升使用效能[N];中國稅務(wù)報(bào);2013年

7 陶利軍;路橋當(dāng)好企業(yè)經(jīng)濟(jì)分析師[N];中國工商報(bào);2007年

8 本報(bào)記者 鞏國強(qiáng);汛潮的“賣點(diǎn)”[N];山西經(jīng)濟(jì)日報(bào);2004年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 馬寶全;新疆車牌信息數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2016年

2 李全偉;移動數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2016年

3 陳盛力;SEM廣告數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2016年

4 段凌軒;基于HTTP協(xié)議的網(wǎng)絡(luò)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2016年

5 馮偉;基于云計(jì)算的海量數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D];上海交通大學(xué);2012年

6 王浩;內(nèi)蒙聯(lián)通公司基礎(chǔ)數(shù)字?jǐn)?shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與開發(fā)[D];復(fù)旦大學(xué);2011年

7 周曉敏;鋼鐵企業(yè)化驗(yàn)報(bào)告數(shù)據(jù)分析系統(tǒng)[D];電子科技大學(xué);2011年

8 田野;基于相似性挖掘的金融數(shù)據(jù)分析系統(tǒng)的研究與應(yīng)用[D];上海交通大學(xué);2012年

9 解曉松;沈陽地稅數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2012年

10 徐，

本文編號：970980