在大數(shù)據(jù)和機器學習時代,以新聞資訊為基礎(chǔ)的互聯(lián)網(wǎng)應用產(chǎn)品迅猛發(fā)展,用戶進行新聞閱讀的途徑越來越多,帶來了新聞資訊的指數(shù)爆炸式增長。這些海量的新聞資訊在滿足了我們?nèi)粘Ｐ枨蟮耐瑫r,也使我們尋找所需的新聞資訊更加困難,對用戶數(shù)據(jù)的采集以及新聞的合理推薦成為了各大新聞網(wǎng)站和APP的重要研究課題。新聞資訊類型不斷豐富,數(shù)據(jù)形態(tài)逐步多樣化,為用戶畫像提供了廣闊的發(fā)展空間,在這種情況下基于用戶畫像的個性化新聞推薦應運而生。個性化推薦是在大數(shù)據(jù)分析和機器學習技術(shù)的基礎(chǔ)上,通過研究用戶的興趣行為偏好,進行分布式計算,從而給用戶提供高質(zhì)量和符合興趣愛好的個性化新聞資訊,解決信息過載的問題。用戶畫像的提取和完善過程,是個性化新聞資訊推薦的關(guān)鍵步驟,隨著用戶畫像數(shù)量的指數(shù)爆炸式增長,利用大數(shù)據(jù)和機器學習技術(shù),有效的存儲、計算和更新用戶畫像,逐漸成為學術(shù)屆和工業(yè)界的研究熱點^[1]。本文從新聞推薦算法工程師的角度出發(fā),基于A公司生產(chǎn)環(huán)境中穩(wěn)定的基礎(chǔ)用戶畫像,設(shè)計相似人群算法,使用Spark分布式計算框架計算用戶動態(tài)行為日志,求得群體畫像,完善了基礎(chǔ)用戶畫像,并從用戶畫像特征,新聞特征和情景特... 

【文章頁數(shù)】：70 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景
    1.2 研究意義
    1.3 國內(nèi)外研究現(xiàn)狀
    1.4 課題來源
    1.5 本文研究工作與論文結(jié)構(gòu)
        1.5.1 本文研究工作
        1.5.2 論文的內(nèi)容組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)介紹
    2.1 Python
    2.2 Apache Spark
    2.3 Hive
    2.4 MongoDB
第3章 機器學習算法
    3.1 機器學習算法流程
    3.2 特征工程介紹
        3.2.1 特征工程的價值
        3.2.2 特征選擇的意義
        3.2.3 特征離散化
        3.2.4 特征歸一化
    3.3 用戶畫像算法設(shè)計
        3.3.1 理論基礎(chǔ)之協(xié)同過濾
        3.3.2 算法超參數(shù)
        3.3.3 相似人群算法
        3.3.4 群畫像更新算法
    3.4 特征工程設(shè)計
        3.4.1 特征選擇
        3.4.2 特征轉(zhuǎn)換
    3.5 推薦算法模型
    3.6 模型評估
第4章 需求分析
    4.1 設(shè)計目標
    4.2 推薦過程分析
    4.3 系統(tǒng)用例分析
    4.4 系統(tǒng)功能建模
        4.4.1 頂層數(shù)據(jù)流圖
        4.4.2 推薦算法數(shù)據(jù)流圖
第5章 系統(tǒng)設(shè)計
    5.1 功能模塊設(shè)計
    5.2 模塊詳細設(shè)計
        5.2.1 基礎(chǔ)用戶信息更新模塊
        5.2.2 樣本打標簽模塊
        5.2.3 日志合并模塊
        5.2.4 用戶過濾模塊
        5.2.5 新聞分類處理模塊
        5.2.6 相似用戶計算模塊
        5.2.7 群畫像更新模塊
        5.2.8 推薦排序模塊
    5.3 概念模型設(shè)計
    5.4 數(shù)據(jù)庫設(shè)計
        5.4.1 Hive數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計
        5.4.2 MongoDB數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計
    5.5 Spark分布式計算
        5.5.1 Spark RDD
        5.5.2 Spark RDD持久化
第6章 系統(tǒng)實現(xiàn)
    6.1 相似人群算法
    6.2 集群部署
    6.3 模型評估
    6.4 個性化推薦效果圖
第7章 總結(jié)與展望
    7.1 總結(jié)
    7.2 展望
參考文獻
致謝


【參考文獻】：
期刊論文
[1]基于用戶相似性傳遞的協(xié)同過濾推薦方法[J]. 李征,段壘,王亞魯.  河南大學學報(自然科學版). 2019(01)
[2]基于特征非規(guī)則離散化在線性回歸中應用研究[J]. 梁律.  科技通報. 2018(03)
[3]機器學習中的特征選擇方法研究及展望[J]. 崔鴻雁,徐帥,張利鋒,Roy E.Welsch,Berthold K.P.Horn.  北京郵電大學學報. 2018(01)
[4]基于大數(shù)據(jù)的用戶畫像方法研究綜述[J]. 席巖,張乃光,王磊,張智軍,劉海濤.  廣播電視信息. 2017(10)

碩士論文
[1]基于排序模型的個性化推薦系統(tǒng)設(shè)計及研究[D]. 楊成.北京郵電大學 2018



本文編號：3688527