發(fā)布時間：2021-11-12 01:22

　　互聯(lián)網(wǎng)技術的飛速發(fā)展使得當今進入大數(shù)據(jù)時代,爆炸性增長的數(shù)據(jù)量也使得“信息過載”問題日益嚴峻,如何快速高效地從過量信息中篩選過濾出有用信息成為當前困擾人們的一個難題,由此,推薦系統(tǒng)應運而生。傳統(tǒng)推薦系統(tǒng)的工作原理是利用過往數(shù)據(jù)發(fā)現(xiàn)不同用戶的興趣偏好特征,依賴這種功能為用戶進行個性化推薦,但當其面臨海量數(shù)據(jù)時,傳統(tǒng)推薦算法需要消耗大量時間,可能無法滿足用戶需求。在這種形勢下,分布式Spark技術的實現(xiàn)能夠有效地解決這一技術缺陷。面對傳統(tǒng)推薦算法在應用中暴露出的稀疏性、冷啟動、可擴展性差等實際問題,本文在Spark技術的支撐下,結合傳統(tǒng)的協(xié)同過濾推薦算法進行改進,并在此基礎上構建了一個Hybrid推薦模型,可應用在電影推薦領域,使得推薦效果明顯改善。本文主要研究內容如下:（1）簡述了推薦算法和Spark技術相關理論知識,重點分析了協(xié)同過濾推薦算法的分類、推薦原理及其相應特性,并闡述了Spark核心技術及其工作架構。（2）基于鄰域的協(xié)同過濾推薦算法的研究與改進。針對相似性計算只依據(jù)評分信息的單一性,提出包含用戶特征的局部相似性和全局相似性概念相融合的改進相似度模型,對基于用戶的協(xié)同過濾算法進... 

【文章來源】：曲阜師范大學山東省

【文章頁數(shù)】：63 頁

【學位級別】：碩士

【部分圖文】：

推薦系統(tǒng)流程圖

第2章相關技術概述7圖2.1推薦系統(tǒng)流程圖推薦算法在推薦系統(tǒng)中扮演著“主角”的形象，是體現(xiàn)推薦特性的主要影響因素。目前使用最普遍的推薦算法可以分為三大類：基于內容的推薦、協(xié)同過濾推薦及混合推薦。其中最基礎的是協(xié)同過濾推薦算法，又可分為基于鄰域和模型的協(xié)同過濾推薦，具體分類如圖2.2所示：圖2.2協(xié)同過濾算法分類

第2章相關技術概述82.1.2基于內容的推薦算法基于內容（Content-based，CB）的推薦是一種較早的推薦算法，主要利用用戶過去感興趣的物品來推薦與其類似的物品給用戶。CB推薦能夠依據(jù)物品的內容描述將其抽象為不同意義的特征，以此來計算用戶興趣和物品的相似度，進而為用戶進行推薦，其詳細步驟包括三部分：物品屬性表達、特征學習、生成推薦。物品屬性表達一般選擇空間向量模型來將文本抽象為特征詞，一般選擇TD-IDF[34]（TermFrequency-InverseDocumentFrequency）計算特征的重要程度；特征學習中主要采用的學習方法包括最近鄰（KNN）算法、決策樹方法、樸素貝葉斯算法等。圖2.3是CB推薦的一個實例。圖2.3基于內容的推薦算法由于基于內容的推薦每個用戶的屬性都是根據(jù)其自身對物品的興趣偏好獲取的，從而保證了用戶的獨立性，避免了其他用戶行為的干擾；同時，基于內容的推薦并不涉及評分信息，數(shù)據(jù)稀疏性不會對推薦結果造成影響；此外若有新的物品加入到推薦系統(tǒng)中即可被立時推薦，一定程度上解決了冷啟動的問題。但基于內容的推薦存在特征提取較難的問題，在實際中抽取的特征只能代表其某些方面，并不能表示全部特征，因此可能會出現(xiàn)兩個不同物品所提取出的特征相同的情況而無法進行區(qū)分；另一方面，CB算法無法利用潛在的用戶興趣，具有明顯的局限性；CB算法是利用用戶興趣偏好為來實現(xiàn)的，而新用戶加入系統(tǒng)后，行為偏好是未知的，因此不能為新用戶進行準確推薦。2.1.3協(xié)同過濾推薦算法協(xié)同過濾算法（CollaborativeFilter，CF）起初由Goldberg等人在1992年提出，其推

【參考文獻】：
期刊論文
[1]關聯(lián)規(guī)則推薦的高效分布式計算框架[J]. 李昌盛,伍之昂,張璐,曹杰.  計算機學報. 2019(06)
[2]融合社交網(wǎng)絡的單類個性化協(xié)同排序算法[J]. 李改,陳強,李磊,潘進財.  計算機科學. 2017(02)
[3]協(xié)同過濾推薦技術綜述[J]. 冷亞軍,陸青,梁昌勇.  模式識別與人工智能. 2014(08)
[4]推薦系統(tǒng)評價指標綜述[J]. 朱郁筱,呂琳媛.  電子科技大學學報. 2012(02)

碩士論文
[1]基于長尾理論的物品協(xié)同過濾推薦算法研究[D]. 袁煦聰.安徽理工大學 2019
[2]一種新型混合推薦模型的設計與實現(xiàn)[D]. 郭正凱.北京郵電大學 2019
[3]個性化電影推薦系統(tǒng)的研究與設計[D]. 郝亮.電子科技大學 2019
[4]基于混合協(xié)同過濾的電影推薦系統(tǒng)的設計與實現(xiàn)[D]. 汪瑜彬.北京工業(yè)大學 2016
[5]基于Spark平臺推薦系統(tǒng)研究[D]. 楊志偉.中國科學技術大學 2015
[6]基于上下文的信息推薦系統(tǒng)研究[D]. 周浩.西安電子科技大學 2014
[7]HDFS分布式元數(shù)據(jù)管理框架的研究與實現(xiàn)[D]. 韓詩楠.東北大學 2011



本文編號：3489924