本文關(guān)鍵詞：廣告投放數(shù)據(jù)管理平臺的設(shè)計與實現(xiàn)

  更多相關(guān)文章： 廣告數(shù)據(jù)管理平臺 Spark Hadoop Spark SQL Hive JavaEE

【摘要】：在互聯(lián)網(wǎng)廣告產(chǎn)業(yè),大數(shù)據(jù)對廣告企業(yè)的影響越來越大。數(shù)據(jù)管理平臺是互聯(lián)網(wǎng)廣告體系中非常重要的一部分,營銷者通過大數(shù)據(jù)分析消費者的采購行為,可以將廣告更有針對性地傳達(dá)給“剛需客戶”。網(wǎng)站管理者能弄清網(wǎng)站用戶的訪問行為和喜好,將內(nèi)容更有針對性地推送給用戶,提高用戶訪問的粘性,增大網(wǎng)站的流量。此外,數(shù)據(jù)管理平臺提供了多維度的查詢接口,讓廣告主和運營人員能夠?qū)崟r的查看數(shù)據(jù)效果展示。 論文選題來源于亞信科技有限公司大數(shù)據(jù)部門的實際應(yīng)用,設(shè)計和實現(xiàn)了廣告投放數(shù)據(jù)管理平臺。本文根據(jù)現(xiàn)有的業(yè)務(wù)狀況對平臺進(jìn)行了詳細(xì)的需求分析,包括功能點的劃分、功能性和非功能性需求分析；從平臺架構(gòu),平臺拓?fù)浜推脚_構(gòu)建三個角度進(jìn)行了概要設(shè)計,詳細(xì)說明了平臺本身的三層架構(gòu)和對其他服務(wù)的依賴情況以及線上的服務(wù)器部署情況;針對各個功能模塊進(jìn)行詳細(xì)設(shè)計,對其中重要的模塊做了流程說明和類設(shè)計,并明確了各個功能點在實現(xiàn)中方法的調(diào)用關(guān)系；為了提供更好的靈活性和可維護(hù)性,平臺采用了商業(yè)系統(tǒng)傳統(tǒng)的B/S架構(gòu),并使用JavaEE進(jìn)行開發(fā)；數(shù)據(jù)庫使用了MySQL數(shù)據(jù)庫：前端使用了j Query框架進(jìn)行開發(fā)。為了支持海量日志的快速收集和統(tǒng)計,平臺采用了Hadoop、Spark等分布式并行計算框架。為了提高查詢效率,平臺大量的使用了Hive、Spark SQL和緩存等方式提高性能。本人在項目中完成了從需求分析到設(shè)計開發(fā),再到項目部署上線的全過程,其中主要工作包括：多種任務(wù)調(diào)度、日志收集、日志處理、數(shù)據(jù)查詢展示、人群管理、人群洞察、動態(tài)素材各個模塊的功能設(shè)計、開發(fā),以及性能的優(yōu)化。 數(shù)據(jù)管理平臺采用敏捷開發(fā)的方式,已經(jīng)開發(fā)并上線了八個版本,數(shù)據(jù)管理平臺的現(xiàn)階段需求提出的所有功能均已經(jīng)上線。在這八個版本中除了功能的增加,性能方面也逐步的提高,最新版本目前已經(jīng)穩(wěn)定運行了近兩個月,為進(jìn)行廣告投放的需求方平臺提供了重要的數(shù)據(jù)支持。從數(shù)據(jù)角度來看,通過數(shù)據(jù)管理平臺,需求方平臺的廣告投放的效果得到增強(qiáng),并通過直觀的數(shù)據(jù)展示,也讓更多的廣告主認(rèn)可了廣告投放平臺,通過數(shù)據(jù)的應(yīng)用為廣告主和公司創(chuàng)造了收益。
【關(guān)鍵詞】：廣告數(shù)據(jù)管理平臺 Spark Hadoop Spark SQL Hive JavaEE
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP311.52
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-9
• 序言9-10
• 目錄10-12
• 1 引言12-18
• 1.1 論文背景12-14
• 1.2 項目來源14-15
• 1.3 論文主要工作15-16
• 1.4 論文組織結(jié)構(gòu)16
• 1.5 本章小結(jié)16-18
• 2 關(guān)鍵技術(shù)18-22
• 2.1 Spring框架18-19
• 2.2 Hadoop19
• 2.3 Spark19-21
• 2.4 Redis21
• 2.5 本章小結(jié)21-22
• 3 廣告投放數(shù)據(jù)管理平臺需求分析22-40
• 3.1 系統(tǒng)背景業(yè)務(wù)分析22-24
• 3.2 系統(tǒng)角色分析24
• 3.3 數(shù)據(jù)管理平臺功能需求24-38
• 3.3.1 人群洞察模塊26-29
• 3.3.2 人群管理模塊29-32
• 3.3.3 任務(wù)調(diào)度模塊32-35
• 3.3.4 日志統(tǒng)計模塊35-37
• 3.3.5 日志收集服務(wù)模塊37
• 3.3.6 廣告代碼服務(wù)模塊37-38
• 3.4 廣告投放數(shù)據(jù)管理平臺非功能需求38
• 3.5 可行性分析38-39
• 3.6 本章小結(jié)39-40
• 4 廣告投放數(shù)據(jù)管理平臺總體設(shè)計與實現(xiàn)40-72
• 4.1 廣告投放數(shù)據(jù)管理平臺概要設(shè)計40-44
• 4.2 數(shù)據(jù)管理平臺詳細(xì)設(shè)計和實現(xiàn)44-63
• 4.2.1 人群洞察模塊44-48
• 4.2.2 人群管理模塊48-51
• 4.2.3 任務(wù)調(diào)度模塊51-59
• 4.2.4 日志統(tǒng)計模塊59-62
• 4.2.5 日志收集服務(wù)模塊62-63
• 4.3 數(shù)據(jù)管理平臺數(shù)據(jù)庫設(shè)計63-69
• 4.3.1 人群管理業(yè)務(wù)相關(guān)表64-65
• 4.3.2 權(quán)限相關(guān)相關(guān)表65-66
• 4.3.3 報表相關(guān)相關(guān)表66-67
• 4.3.4 Hive庫相關(guān)表67-69
• 4.4 數(shù)據(jù)管理平臺性能優(yōu)化設(shè)計69-71
• 4.4.1 前端優(yōu)化69-70
• 4.4.2 數(shù)據(jù)存儲層優(yōu)化70-71
• 4.5 系統(tǒng)部署71
• 4.6 本章小結(jié)71-72
• 5 數(shù)據(jù)管理平臺質(zhì)量保證72-80
• 5.1 代碼版本控制72-73
• 5.2 代碼評審73-74
• 5.3 功能測試74-77
• 5.3.1 DMP控制臺功能性測試75-76
• 5.3.2 日志統(tǒng)計相關(guān)模塊功能性測試76-77
• 5.4 非功能測試77-79
• 5.5 本章小結(jié)79-80
• 6 結(jié)論80-81
• 參考文獻(xiàn)81-83
• 作者簡歷及攻讀碩士學(xué)位期間取得的研究成果83-85
• 學(xué)位論文數(shù)據(jù)集85

【引證文獻(xiàn)】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 劉鵬;基于Spark的數(shù)據(jù)管理平臺的設(shè)計與實現(xiàn)[D];浙江大學(xué);2016年

，

本文編號：816004