協(xié)同過濾算法在推薦系統(tǒng)中有著廣泛應(yīng)用,但是該算法在一些實際應(yīng)用場景下忽略了用戶對項目的評分中所隱含的共同喜好,以及項目間的評分均值的差異對最終的項目間相似度的影響。本文首先以解決上述問題為目標,對傳統(tǒng)的相似度計算公式進行改進。然后以提高基于項目的協(xié)同過濾推薦算法的執(zhí)行效率為目標,針對傳統(tǒng)協(xié)同過濾推薦算法近鄰搜索時間過長的問題,引入聚類算法來縮小最近鄰居集范圍,設(shè)計了一種融合聚類及相似度的協(xié)同過濾推薦算法CS-CF。為了進一步提高推薦系統(tǒng)的實時性和可擴展性,本文借助主流的大數(shù)據(jù)平臺Spark在迭代計算以及內(nèi)存計算方面的優(yōu)勢,設(shè)計了CS-CF算法在Spark平臺上的并行化方案。該方案通過合理利用RDD并行化計算的特點、RDD的緩存機制以及Spark中的廣播變量,實現(xiàn)了對項目間相似度計算過程和評分計算過程的并行化。最后,利用MovieLens公開數(shù)據(jù)集對CS-CF算法的并行化方案進行性能測試,并開發(fā)了一個電影推薦原型系統(tǒng),將CSCF算法應(yīng)用于其中,檢驗研究成果的可用性。實驗及應(yīng)用結(jié)果均表明:本文所設(shè)計的融合聚類及相似度的協(xié)同過濾推薦算法CS-CF及其在Spark平臺上的并行化方案在準確性、時...

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【部分圖文】：

圖2.2協(xié)同過濾推薦系統(tǒng)的推薦流程

面”模塊承擔著用戶與推薦系統(tǒng)之間的交互。UI系統(tǒng)根據(jù)用戶的操系統(tǒng)，推薦系統(tǒng)根據(jù)用戶的要求將結(jié)果處理完畢后通過UI界面向用的對用戶的友好程度也直接決定著用戶體驗，是推薦系統(tǒng)中不可或過濾推薦原理分析統(tǒng)的目的是為用戶進行精準高效的信息推送，它可以依據(jù)用戶的興戶對個性化推薦的需求。....

圖2.3K-Center算法步驟

與作為數(shù)據(jù)挖掘十大算法之一與K-Means算法一致，只是在迭代過距離樣本點均值最近的一個樣本點，本文對K-Center算法的選擇主要是考目，因此可以使得這種基于原始項目首先隨機選擇出K個質(zhì)心(ClusterC始的簇集；接著遍歷樣本中所有其他相似度最大的節(jié)點，將樣本點....

圖2.4Spark組織架構(gòu)

電大學專業(yè)學位碩士研究生學位論文第二章相關(guān)技術(shù)概述與分析義之分，廣義上的Spark架構(gòu)指的是由資源管理、數(shù)據(jù)管理、數(shù)據(jù)處理、應(yīng)用四層組成生態(tài)系統(tǒng)；狹義上的Spark則僅僅指的是Spark的數(shù)據(jù)處理框架，該部分屬于廣義Spa中最為核心的一部分。Spark的組織....

圖2.5Spark數(shù)據(jù)處理模型

較于傳統(tǒng)的大數(shù)據(jù)開發(fā)框架，Spark之所以能有如此巨大的提升，作為Spark的核心分布式數(shù)據(jù)集RDD起到了至關(guān)重要的作用。RDD是Spark中最為基本的數(shù)據(jù)抽象個由可分區(qū)、不可變、內(nèi)部元素可并行化計算的集合。首先，RDD由分區(qū)組成，分數(shù)據(jù)、進行計算的最基本單位，....

本文編號：3908409