推薦系統(tǒng)需要可以推薦個性化的信息給用戶。然而,現(xiàn)今的推薦系統(tǒng)通常不可以實時、動態(tài)的推薦個性化信息,這是推薦系統(tǒng)的實時問題。另外,由于經(jīng)常存在用戶/物品評分矩陣數(shù)據(jù)稀疏的問題。同時,由于新用戶或新物品沒有評論信息,因此不能準確的對新用戶或新物品推薦,這是推薦系統(tǒng)中的冷啟動問題。對于上述問題,本文提出了p-相似度來解決傳統(tǒng)協(xié)同過濾算法對數(shù)據(jù)稀疏的問題。在p-相似度的基礎上本文提出了CF-K-means混合推薦算法,優(yōu)化了基于矩陣的協(xié)同過濾算法的方案,緩解了推薦系統(tǒng)中冷啟動問題。同時本文研究了實時推薦應用,提出了適用實時推薦的算法,本文的主要研究內(nèi)容包括:（1）針對推薦系統(tǒng)的數(shù)據(jù)稀疏問題,本文提出了p-相似度的相似度計算方法。該方法優(yōu)化了傳統(tǒng)的協(xié)同過濾算法中的相似度計算的過程,對于協(xié)同過濾算法求相似度加入了p因子,使用p-相似度的推薦算法更好的適應了數(shù)據(jù)稀疏的情況,緩解了數(shù)據(jù)稀疏對推薦的影響。（2）針對現(xiàn)今協(xié)同過濾算法的冷啟動問題,提出了CF-K-means混合推薦算法,該算法解決了傳統(tǒng)的協(xié)同過濾算法中存在的冷啟動問題。基于矩陣分解的協(xié)同過濾算法會分解用戶/物品的特征矩陣,然后對分解的新用戶... 

【文章頁數(shù)】：64 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景和意義
    1.2 研究現(xiàn)狀
        1.2.1 國內(nèi)發(fā)展現(xiàn)狀
        1.2.2 國外發(fā)展現(xiàn)狀
    1.3 主要研究內(nèi)容
    1.4 論文的組織結(jié)構(gòu)
2 相關技術及問題
    2.1 推薦算法的冷啟動問題
    2.2 實時性問題
    2.3 K-means聚類算法
    2.4 Kafka原理
    2.5 Spark Streaming原理
    2.6 實時推薦系統(tǒng)分析與計算引擎的選擇
        2.6.1 實時推薦功能分析
        2.6.2 實時推薦性能分析
        2.6.3 計算引擎選擇分析
    2.7 本章小結(jié)
3 p-相似度研究
    3.1 現(xiàn)有協(xié)同過濾算法稀疏性問題測試
    3.2 稀疏性對推薦系統(tǒng)影響分析
        3.2.1 相似度的缺失
        3.2.2 不準確的最近鄰居
        3.2.3 推薦精度的缺失
    3.3 p-相似度定義
        3.3.1 p因子的定義
        3.3.2 p-相似度的作用
    3.4 實驗與分析
    3.5 本章小結(jié)
4 增量CF-K-means混合推薦算法研究
    4.1 推薦冷啟動問題分析
    4.2 增量CF-K-means混合推薦算法定義
        4.2.1 特征矩陣求解
        4.2.2 聚類與均衡
        4.2.3 p-相似度引入
        4.2.4 算法增量化
    4.3 增量CF-K-means混合推薦算法實現(xiàn)
    4.4 混合推薦算法實驗及分析
        4.4.1 實驗環(huán)境
        4.4.2 實驗數(shù)據(jù)集
        4.4.3 CF-K-means混合推薦算法實驗分析
        4.4.5 增量CF-K-means混合推薦算法實驗及分析
    4.5 本章小結(jié)
5 實時推薦系統(tǒng)實現(xiàn)
    5.1 實時推薦應用總體架構(gòu)
    5.2 實時推薦應用的實現(xiàn)
        5.2.1 數(shù)據(jù)模擬與加載數(shù)據(jù)模塊的實現(xiàn)
        5.2.2 流計算模塊的實現(xiàn)
        5.2.3 模型訓練與推薦模型實現(xiàn)
        5.2.4 分布式儲存模塊實現(xiàn)
    5.3 實時推薦應用實驗及分析
    5.4 本章小結(jié)
6 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻
致謝
附錄1 攻讀碩士學位期間參與的項目和發(fā)表的論文
附錄2 部分核心代碼


【參考文獻】：
期刊論文
[1]基于Spark流式計算的實時電影推薦研究[J]. 嚴磊,汪小可.  軟件導刊. 2019(05)
[2]基于Spark的并行化協(xié)同深度推薦模型[J]. 賈曉光.  計算機工程與應用. 2018(14)
[3]基于Spark技術的ALS推薦算法的可擴放性研究[J]. 祝永志.  電子技術. 2018(06)
[4]基于Spark的推薦系統(tǒng)的設計與實現(xiàn)[J]. 李星,李濤.  計算機技術與發(fā)展. 2018(10)
[5]K-近鄰矩陣分解推薦系統(tǒng)算法[J]. 郝雅嫻,孫艷蕊.  小型微型計算機系統(tǒng). 2018(04)
[6]基于Spark的混合協(xié)同過濾算法改進與實現(xiàn)[J]. 王源龍,孫衛(wèi)真,向勇.  計算機應用研究. 2019(03)
[7]基于Spark平臺的電商推薦系統(tǒng)的設計分析[J]. 曹耀輝.  自動化與儀器儀表. 2017(07)
[8]Spark平臺下教育資源個性化推薦研究[J]. 文勇軍,吳冬冬,王鍵,唐立軍.  智能計算機與應用. 2017(02)
[9]混合協(xié)同過濾算法中用戶冷啟動問題的研究[J]. 端德坤,傅秀芬.  計算機工程與應用. 2017(21)
[10]一種數(shù)據(jù)遞增式的混合推薦方法[J]. 陳洪濤,肖如良,林麗玉,顏杰敏,蔡聲鎮(zhèn).  計算機系統(tǒng)應用. 2014(10)

博士論文
[1]社交媒體中的個性化推薦關鍵技術研究[D]. 李舒辰.北京郵電大學 2018
[2]Web-based推薦系統(tǒng)中若干關鍵問題研究[D]. 孫麗梅.東北大學 2013

碩士論文
[1]Spark環(huán)境下場景圖像的分類研究[D]. 吉元元.西安理工大學 2018
[2]大規(guī)模在線內(nèi)容推薦系統(tǒng)關鍵算法的設計與實現(xiàn)[D]. 李勇宏.北京交通大學 2018
[3]基于Spark Streaming的實時新聞推薦平臺的設計與實現(xiàn)[D]. 崔博.山東大學 2018
[4]基于協(xié)同過濾的電影推薦算法研究與實現(xiàn)[D]. 姚靜靜.北京郵電大學 2018
[5]基于Spark的混合推薦系統(tǒng)的研究與實現(xiàn)[D]. 張文童.北京交通大學 2017
[6]基于Spark平臺的實時流計算推薦系統(tǒng)的研究與實現(xiàn)[D]. 張賢德.江蘇大學 2016
[7]基于圖計算模型的矩陣分解并行化研究[D]. 戴世超.浙江理工大學 2016
[8]基于近似矩陣分解的推薦算法研究[D]. 楊自興.東北大學 2013
[9]P2P消息中間件的研究與設計[D]. 蔣一新.蘇州大學 2006



本文編號：3656933