隨著互聯(lián)網(wǎng)的快速發(fā)展,每個(gè)互聯(lián)網(wǎng)用戶每時(shí)每刻都產(chǎn)生了大量的數(shù)據(jù)并借助網(wǎng)絡(luò)進(jìn)行傳播,數(shù)據(jù)量呈現(xiàn)爆發(fā)式增長(zhǎng)。海量數(shù)據(jù)背后蘊(yùn)含了用戶的各種信息。通過(guò)對(duì)用戶數(shù)據(jù)的挖掘,構(gòu)建用戶畫像,反映用戶的特點(diǎn)與偏好,產(chǎn)品提供方就可以為用戶帶來(lái)更好的個(gè)性化服務(wù),提高用戶粘性,增加產(chǎn)品價(jià)值。本文從用戶畫像產(chǎn)品需求出發(fā),借助大數(shù)據(jù)相關(guān)技術(shù)實(shí)現(xiàn)了一個(gè)面向互聯(lián)網(wǎng)產(chǎn)品的用戶畫像系統(tǒng)。該系統(tǒng)支持來(lái)源多樣、架構(gòu)各異的數(shù)據(jù)源采集數(shù)據(jù)。利用分布式計(jì)算來(lái)實(shí)現(xiàn)TB級(jí)別數(shù)據(jù)量處理的能力。該系統(tǒng)同時(shí)支持離線計(jì)算與實(shí)時(shí)計(jì)算,能在處理海量數(shù)據(jù)的同時(shí)兼顧時(shí)效性。在標(biāo)簽值計(jì)算層面,本文創(chuàng)新性地提出了通過(guò)頁(yè)面配置的方式生成標(biāo)簽值以及通過(guò)頁(yè)面條件篩選實(shí)現(xiàn)用戶人群劃分。這使得產(chǎn)品以及運(yùn)營(yíng)團(tuán)隊(duì)可以按需創(chuàng)建標(biāo)簽以及劃分用戶群體,實(shí)現(xiàn)所選用戶的數(shù)據(jù)分析,無(wú)需再由數(shù)據(jù)分析師每次針對(duì)特定人群開發(fā)新的報(bào)表。系統(tǒng)借助搜索引擎,實(shí)現(xiàn)了十億級(jí)用戶量查詢秒級(jí)返回,很大程度上減輕了用戶針對(duì)大量數(shù)據(jù)查詢的時(shí)間成本。目前該系統(tǒng)已正式上線,通過(guò)頁(yè)面查詢、接口調(diào)用、數(shù)據(jù)推送等形式服務(wù)于產(chǎn)品、運(yùn)營(yíng)、推送、推薦等多個(gè)團(tuán)隊(duì),為業(yè)務(wù)方產(chǎn)生了實(shí)際的使用價(jià)值。本文比較詳細(xì)地介紹了用戶畫像系...

【文章頁(yè)數(shù)】：68 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 研究工作
        1.3.1 研究目標(biāo)
        1.3.2 研究?jī)?nèi)容
        1.3.3 本文組織結(jié)構(gòu)
第二章 用戶畫像系統(tǒng)概述
    2.1 用戶畫像定義
    2.2 用戶畫像的使用場(chǎng)景
    2.3 用戶數(shù)據(jù)來(lái)源
        2.3.1 客戶端數(shù)據(jù)上報(bào)
        2.3.2 業(yè)務(wù)方數(shù)據(jù)庫(kù)
        2.3.3 業(yè)務(wù)方日志
    2.4 構(gòu)建標(biāo)簽體系
        2.4.1 按屬性劃分
        2.4.2 按計(jì)算方式劃分
    2.5 小結(jié)
第三章 系統(tǒng)需求
    3.1 目標(biāo)用戶
    3.2 解決的問(wèn)題
    3.3 功能需求
        3.3.1 對(duì)外服務(wù)
        3.3.2 標(biāo)簽管理
    3.4 小結(jié)
第四章 總體設(shè)計(jì)與技術(shù)選型
    4.1 總體架構(gòu)
    4.2 數(shù)據(jù)來(lái)源與采集
        4.2.1 數(shù)據(jù)來(lái)源
        4.2.2 采集
    4.3 數(shù)據(jù)倉(cāng)庫(kù)
        4.3.1 數(shù)據(jù)倉(cāng)庫(kù)分層
        4.3.2 基于Hive搭建數(shù)據(jù)倉(cāng)庫(kù)
    4.4 標(biāo)簽計(jì)算
        4.4.1 離線計(jì)算
        4.4.2 實(shí)時(shí)計(jì)算
    4.5 標(biāo)簽結(jié)果數(shù)據(jù)存儲(chǔ)
        4.5.1 標(biāo)簽原始值存儲(chǔ)
        4.5.2 標(biāo)簽區(qū)間值存儲(chǔ)
    4.6 畫像應(yīng)用服務(wù)
        4.6.1 畫像WEB服務(wù)
        4.6.2 數(shù)據(jù)導(dǎo)出服務(wù)
    4.7 小結(jié)
第五章 關(guān)鍵功能實(shí)現(xiàn)與優(yōu)化
    5.1 標(biāo)簽計(jì)算
        5.1.1 標(biāo)簽原始值計(jì)算
        5.1.2 標(biāo)簽區(qū)間值計(jì)算
    5.2 人群畫像實(shí)時(shí)查詢
    5.3 系統(tǒng)優(yōu)化
        5.3.1 Hive使用優(yōu)化
        5.3.2 數(shù)據(jù)傾斜處理
        5.3.3 Spark開發(fā)調(diào)優(yōu)
        5.3.4 Elasticsearch集群優(yōu)化
        5.3.5 HBase優(yōu)化
    5.4 小結(jié)
第六章 系統(tǒng)測(cè)試
    6.1 系統(tǒng)功能測(cè)試
        6.1.1 個(gè)人用戶畫像查詢功能測(cè)試
        6.1.2 通過(guò)用戶標(biāo)識(shí)創(chuàng)建人群功能測(cè)試
        6.1.3 通過(guò)標(biāo)簽篩選人群功能測(cè)試
        6.1.4 創(chuàng)建粉絲用戶人群功能測(cè)試
        6.1.5 標(biāo)簽管理功能測(cè)試
    6.2 數(shù)據(jù)準(zhǔn)確性驗(yàn)證
    6.3 總結(jié)
第七章 總結(jié)與展望
    7.1 總結(jié)
    7.2 展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間取得的研究成果
致謝
附件



本文編號(hào)：4036191