隨著用戶數(shù)據(jù)的爆炸式增長(zhǎng),可靠的用戶畫像可以幫助企業(yè)了解用戶的真實(shí)意圖,從而做出個(gè)性化的推薦搜索、廣告投放。閱文集團(tuán)擁有數(shù)億用戶,但對(duì)用戶的數(shù)據(jù)價(jià)值還缺乏足夠的挖掘�；谝陨媳尘�,閱文集團(tuán)需要從海量的用戶閱讀行為數(shù)據(jù)中構(gòu)建出一套可以供多個(gè)下游業(yè)務(wù)方使用的、高靈活性的、高擴(kuò)展性的、高并發(fā)的用戶行為數(shù)據(jù)服務(wù)平臺(tái)。本文通過分析當(dāng)前閱文集團(tuán)數(shù)據(jù)管理方式的現(xiàn)狀,針對(duì)其現(xiàn)有的數(shù)據(jù)混亂、難以管理等缺點(diǎn)以及構(gòu)建新平臺(tái)的需求,從設(shè)計(jì)與實(shí)現(xiàn)兩個(gè)方面討論了一種用戶行為數(shù)據(jù)管理平臺(tái)的解決方案,該解決方法在公司內(nèi)被命名為閱文智能用戶行為挖掘平臺(tái),簡(jiǎn)稱YUDS。該系統(tǒng)利用Lambda架構(gòu),通過Schema解耦合等方式,構(gòu)建了三個(gè)模塊——檢索模塊、存儲(chǔ)模塊以及更新模塊,最終向各個(gè)業(yè)務(wù)方提供統(tǒng)一的數(shù)據(jù)讀取接口,并為后續(xù)挖掘完善的用戶畫像提供工程基礎(chǔ)。其中檢索模塊接收用戶請(qǐng)求,調(diào)用對(duì)應(yīng)的Plugin實(shí)現(xiàn)具體數(shù)據(jù)讀取以及處理邏輯,并對(duì)已經(jīng)在平臺(tái)上注冊(cè)的Plugin進(jìn)行管理,是整個(gè)平臺(tái)對(duì)外的門戶;存儲(chǔ)模塊最重要的功能是實(shí)現(xiàn)邏輯表的創(chuàng)建以及實(shí)現(xiàn)邏輯表與物理表之間的映射關(guān)系管理,屏蔽底層數(shù)據(jù)庫(kù)差異,一次性向外提供離線/實(shí)時(shí)兩份... 

【文章頁(yè)數(shù)】：79 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 引言
    1.1 項(xiàng)目背景
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 用戶畫像概述
        1.2.2 閱文集團(tuán)數(shù)據(jù)管理現(xiàn)狀
    1.3 本文主要研究的工作
    1.4 本文的組織結(jié)構(gòu)
第二章 技術(shù)綜述
    2.1 Lambda架構(gòu)
    2.2 Brpc框架
    2.3 Protobuf協(xié)議
    2.4 Kafka消息隊(duì)列
    2.5 Flink流處理框架
    2.6 Redis內(nèi)存數(shù)據(jù)庫(kù)
    2.7 本章小結(jié)
第三章 閱文用戶行為數(shù)據(jù)管理平臺(tái)的分析與設(shè)計(jì)
    3.1 項(xiàng)目總體規(guī)劃與主要挑戰(zhàn)
    3.2 系統(tǒng)需求分析
        3.2.1 系統(tǒng)用例及功能性需求分析
        3.2.2 檢索模塊需求分析
        3.2.3 更新模塊需求分析
        3.2.4 存儲(chǔ)模塊需求分析
        3.2.5 非功能性需求分析
    3.3 系統(tǒng)總體設(shè)計(jì)與模塊設(shè)計(jì)
        3.3.1 總體設(shè)計(jì)
        3.3.2 檢索模塊YUPortal設(shè)計(jì)
        3.3.3 更新模塊YUpdater設(shè)計(jì)
        3.3.4 存儲(chǔ)模塊YUDStorage設(shè)計(jì)
    3.4 本章小結(jié)
第四章 閱文用戶行為數(shù)據(jù)管理平臺(tái)的實(shí)現(xiàn)
    4.1 檢索模塊YUPortal的實(shí)現(xiàn)
        4.1.1 YUPortal服務(wù)端實(shí)現(xiàn)
        4.1.2 Plugin相關(guān)實(shí)現(xiàn)
    4.2 存儲(chǔ)模塊的實(shí)現(xiàn)
        4.2.1 YUDStorage的實(shí)現(xiàn)
        4.2.2 StorageMeta的實(shí)現(xiàn)
    4.3 閱文用戶行為數(shù)據(jù)管理平臺(tái)框架測(cè)試
        4.3.1 功能測(cè)試
        4.3.2 非功能測(cè)試
    4.4 本章小結(jié)
第五章 總結(jié)與展望
    5.1 總結(jié)
    5.2 進(jìn)一步工作展望
參考文獻(xiàn)
致謝


【參考文獻(xiàn)】：
期刊論文
[1]一種高效的Redis Cluster的分布式緩存系統(tǒng)[J]. 李翀,劉利娜,劉學(xué)敏,張士波.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2018(10)
[2]基于kafka消息平臺(tái)的軟件系統(tǒng)設(shè)計(jì)[J]. 裴宏祥,于曉虹.  電子技術(shù)與軟件工程. 2018(18)
[3]國(guó)內(nèi)外用戶畫像研究綜述[J]. 劉海鷗,孫晶晶,蘇妍嫄,張亞明.  情報(bào)理論與實(shí)踐. 2018(11)
[4]Flink的并行Apriori算法設(shè)計(jì)與實(shí)現(xiàn)[J]. 倪政君,夏哲雷.  中國(guó)計(jì)量大學(xué)學(xué)報(bào). 2018(02)
[5]基于Hadoop、Spark及Flink大規(guī)模數(shù)據(jù)分析的性能評(píng)價(jià)[J]. 代明竹,高嵩峰.  中國(guó)電子科學(xué)研究院學(xué)報(bào). 2018(02)
[6]用戶畫像概念溯源與應(yīng)用場(chǎng)景研究[J]. 亓叢,吳俊.  重慶交通大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版). 2017(05)
[7]淺談?dòng)脩舢嬒駱?gòu)建及應(yīng)用[J]. 隋國(guó)政.  電子世界. 2017(15)
[8]基于Hadoop、Storm、Samza、Spark及Flink大數(shù)據(jù)處理框架的比較研究[J]. 趙娟,程國(guó)鐘.  信息系統(tǒng)工程. 2017(06)
[9]Redis集群可靠性的研究與優(yōu)化[J]. 李燚,顧乃杰,黃增士,任開新.  計(jì)算機(jī)工程. 2018(05)
[10]基于Flink平臺(tái)的應(yīng)用研究[J]. 蔡鯤鵬.  現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化. 2017(02)

博士論文
[1]基于社交大數(shù)據(jù)的用戶信用畫像方法研究[D]. 郭光明.中國(guó)科學(xué)技術(shù)大學(xué) 2017

碩士論文
[1]基于話單數(shù)據(jù)的移動(dòng)通信用戶畫像研究[D]. 張海旭.中國(guó)科學(xué)技術(shù)大學(xué) 2018
[2]基于Kafka的消息發(fā)布訂閱服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 盧帥.南京大學(xué) 2018
[3]基于Redis的分布式Key-Value系統(tǒng)的優(yōu)化研究[D]. 周曉場(chǎng).華南理工大學(xué) 2018
[4]基于動(dòng)漫大數(shù)據(jù)的用戶畫像建模與營(yíng)銷策略管理平臺(tái)的實(shí)現(xiàn)[D]. 張子超.北京郵電大學(xué) 2018
[5]基于文本挖掘的用戶畫像系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉星辰.北京郵電大學(xué) 2018
[6]面向ODL網(wǎng)絡(luò)控制器集群高性能分布式鎖的研究與實(shí)現(xiàn)[D]. 王兵.東南大學(xué) 2017



本文編號(hào)：3693538