互聯(lián)網(wǎng)廣告經(jīng)過多年的發(fā)展,已經(jīng)取得了非常顯著的成績�；ヂ�(lián)網(wǎng)廣告可以幫助廣告主收集廣告投放的效果,比如潛在客戶群體和用戶實(shí)際參與行為。伴隨著手機(jī)端App的迅猛發(fā)展和迅速推進(jìn),傳統(tǒng)的PC端互聯(lián)網(wǎng)廣告,比如百度搜索廣告以及一些網(wǎng)站媒體的合約廣告等,逐漸被移動(dòng)端互聯(lián)網(wǎng)廣告所取代。由于網(wǎng)易新聞客戶端每天都會(huì)產(chǎn)生海量的廣告日志數(shù)據(jù),這為廣告數(shù)據(jù)的分析帶來巨大的挑戰(zhàn),僅靠現(xiàn)有借助文本去分析和處理數(shù)據(jù),分析過程耗時(shí)且分析不全面是常見的問題。因此需要設(shè)計(jì)一款廣告數(shù)據(jù)分析系統(tǒng)來對現(xiàn)有的信息流廣告日志進(jìn)行分析和處理,以支持日趨增長的廣告業(yè)務(wù)需求,并為廣告投放提供可參考的數(shù)據(jù)依據(jù)。本文通過對移動(dòng)互聯(lián)網(wǎng)廣告手機(jī)應(yīng)用的發(fā)展進(jìn)行分析,并結(jié)合網(wǎng)易新聞信息流廣告業(yè)務(wù)的背景,得出了廣告數(shù)據(jù)分析系統(tǒng)的功能和非功能需求。廣告數(shù)據(jù)分析系統(tǒng)的功能需求主要包含日志管理,數(shù)據(jù)信息處理和數(shù)據(jù)統(tǒng)計(jì)分析,功能需求分析主要是通過用例圖來對廣告數(shù)據(jù)分析系統(tǒng)進(jìn)行需求建模。非功能需求包含系統(tǒng)的安全性和性能要求,廣告數(shù)據(jù)分析系統(tǒng)很重要的一個(gè)性能要求是實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)和快速查詢,Druid作為大數(shù)據(jù)查詢引擎的典型代表,其對原始數(shù)據(jù)采用高度壓縮和預(yù)聚合的... 

【文章來源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：76 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語對照表
第一章 緒論
    1.1 項(xiàng)目背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 國內(nèi)互聯(lián)網(wǎng)廣告的發(fā)展現(xiàn)狀
        1.2.2 國外互聯(lián)網(wǎng)廣告的發(fā)展現(xiàn)狀
    1.3 本文主要內(nèi)容
    1.4 本文組織結(jié)構(gòu)
第二章 相關(guān)技術(shù)和理論
    2.1 數(shù)據(jù)處理技術(shù)
        2.1.1 Hadoop數(shù)據(jù)處理平臺(tái)
        2.1.2 Spark Streaming實(shí)時(shí)計(jì)算框架
        2.1.3 Kafka消息隊(duì)列
        2.1.4 數(shù)據(jù)倉庫Apache Hive
    2.2 分布式組件
        2.2.1 日志采集組件Logstash
        2.2.2 數(shù)據(jù)查詢引擎Druid
        2.2.3 任務(wù)調(diào)度系統(tǒng)Apache Airflow
    2.3 后端輕量級(jí)框架Node.js
    2.4 互聯(lián)網(wǎng)在線廣告
        2.4.1 在線廣告的組成
        2.4.2 在線廣告競價(jià)機(jī)制與廣告交易平臺(tái)
    2.5 本章小結(jié)
第三章 廣告數(shù)據(jù)分析系統(tǒng)的需求分析
    3.1 廣告數(shù)據(jù)分析系統(tǒng)的概述
    3.2 系統(tǒng)功能需求分析
        3.2.1 廣告日志管理需求
        3.2.2 數(shù)據(jù)信息處理需求
        3.2.3 數(shù)據(jù)統(tǒng)計(jì)分析需求
    3.3 系統(tǒng)非功能需求分析
    3.4 本章小結(jié)
第四章 廣告數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
    4.1 架構(gòu)設(shè)計(jì)
        4.1.1 總體設(shè)計(jì)
        4.1.2 系統(tǒng)功能模塊設(shè)計(jì)
    4.2 數(shù)據(jù)庫設(shè)計(jì)
        4.2.1 數(shù)據(jù)庫整體設(shè)計(jì)
        4.2.2 數(shù)據(jù)庫詳細(xì)設(shè)計(jì)
    4.3 廣告日志管理模塊設(shè)計(jì)與實(shí)現(xiàn)
        4.3.1 廣告日志采集模塊設(shè)計(jì)與實(shí)現(xiàn)
        4.3.2 廣告數(shù)據(jù)質(zhì)量監(jiān)控模塊設(shè)計(jì)與實(shí)現(xiàn)
    4.4 數(shù)據(jù)信息處理模塊設(shè)計(jì)與實(shí)現(xiàn)
        4.4.1 廣告離線計(jì)算模塊設(shè)計(jì)與實(shí)現(xiàn)
        4.4.2 廣告實(shí)時(shí)計(jì)算模塊設(shè)計(jì)與實(shí)現(xiàn)
    4.5 數(shù)據(jù)統(tǒng)計(jì)分析模塊設(shè)計(jì)與實(shí)現(xiàn)
        4.5.1 廣告數(shù)據(jù)加載模塊設(shè)計(jì)與實(shí)現(xiàn)
        4.5.2 廣告在線分析模塊設(shè)計(jì)與實(shí)現(xiàn)
    4.6 本章小結(jié)
第五章 基于Druid的廣告數(shù)據(jù)分析系統(tǒng)的測試
    5.1 測試工具與測試環(huán)境
    5.2 廣告日志管理功能測試
        5.2.1 廣告日志采集測試
        5.2.2 廣告數(shù)據(jù)質(zhì)量監(jiān)控測試
    5.3 數(shù)據(jù)信息處理功能測試
        5.3.1 廣告離線計(jì)算測試
        5.3.2 廣告實(shí)時(shí)計(jì)算測試
    5.4 數(shù)據(jù)統(tǒng)計(jì)分析功能測試
        5.4.1 廣告數(shù)據(jù)加載測試
        5.4.2 廣告在線分析測試
    5.5 系統(tǒng)非功能性測試
        5.5.1 安全性測試
        5.5.2 系統(tǒng)性能測試
    5.6 本章小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 進(jìn)一步工作展望
參考文獻(xiàn)
致謝
作者簡介


【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)時(shí)代互聯(lián)網(wǎng)廣告的營銷模式[J]. 董麗榮.  傳媒. 2017(08)
[2]互聯(lián)網(wǎng)廣告在大數(shù)據(jù)時(shí)代下的發(fā)展[J]. 陳保.  無線互聯(lián)科技. 2016(05)

碩士論文
[1]基于Node.js的Web前端框架的研究與實(shí)現(xiàn)[D]. 溫馨.東南大學(xué) 2017
[2]搜索廣告長尾查詢的在線擴(kuò)展方法研究[D]. 李亞林.哈爾濱工程大學(xué) 2017
[3]SEM廣告數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 陳盛力.北京交通大學(xué) 2016
[4]基于Django的日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 潘宇軒.南京大學(xué) 2014



本文編號(hào)：3204373