協(xié)同過(guò)濾算法在推薦系統(tǒng)中有著廣泛應(yīng)用,但是該算法在一些實(shí)際應(yīng)用場(chǎng)景下忽略了用戶對(duì)項(xiàng)目的評(píng)分中所隱含的共同喜好,以及項(xiàng)目間的評(píng)分均值的差異對(duì)最終的項(xiàng)目間相似度的影響。本文首先以解決上述問(wèn)題為目標(biāo),對(duì)傳統(tǒng)的相似度計(jì)算公式進(jìn)行改進(jìn)。然后以提高基于項(xiàng)目的協(xié)同過(guò)濾推薦算法的執(zhí)行效率為目標(biāo),針對(duì)傳統(tǒng)協(xié)同過(guò)濾推薦算法近鄰搜索時(shí)間過(guò)長(zhǎng)的問(wèn)題,引入聚類算法來(lái)縮小最近鄰居集范圍,設(shè)計(jì)了一種融合聚類及相似度的協(xié)同過(guò)濾推薦算法CS-CF。為了進(jìn)一步提高推薦系統(tǒng)的實(shí)時(shí)性和可擴(kuò)展性,本文借助主流的大數(shù)據(jù)平臺(tái)Spark在迭代計(jì)算以及內(nèi)存計(jì)算方面的優(yōu)勢(shì),設(shè)計(jì)了CS-CF算法在Spark平臺(tái)上的并行化方案。該方案通過(guò)合理利用RDD并行化計(jì)算的特點(diǎn)、RDD的緩存機(jī)制以及Spark中的廣播變量,實(shí)現(xiàn)了對(duì)項(xiàng)目間相似度計(jì)算過(guò)程和評(píng)分計(jì)算過(guò)程的并行化。最后,利用MovieLens公開(kāi)數(shù)據(jù)集對(duì)CS-CF算法的并行化方案進(jìn)行性能測(cè)試,并開(kāi)發(fā)了一個(gè)電影推薦原型系統(tǒng),將CSCF算法應(yīng)用于其中,檢驗(yàn)研究成果的可用性。實(shí)驗(yàn)及應(yīng)用結(jié)果均表明:本文所設(shè)計(jì)的融合聚類及相似度的協(xié)同過(guò)濾推薦算法CS-CF及其在Spark平臺(tái)上的并行化方案在準(zhǔn)確性、時(shí)...

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.2協(xié)同過(guò)濾推薦系統(tǒng)的推薦流程

面”模塊承擔(dān)著用戶與推薦系統(tǒng)之間的交互。UI系統(tǒng)根據(jù)用戶的操系統(tǒng)，推薦系統(tǒng)根據(jù)用戶的要求將結(jié)果處理完畢后通過(guò)UI界面向用的對(duì)用戶的友好程度也直接決定著用戶體驗(yàn)，是推薦系統(tǒng)中不可或過(guò)濾推薦原理分析統(tǒng)的目的是為用戶進(jìn)行精準(zhǔn)高效的信息推送，它可以依據(jù)用戶的興戶對(duì)個(gè)性化推薦的需求。....

圖2.3K-Center算法步驟

與作為數(shù)據(jù)挖掘十大算法之一與K-Means算法一致，只是在迭代過(guò)距離樣本點(diǎn)均值最近的一個(gè)樣本點(diǎn)，本文對(duì)K-Center算法的選擇主要是考目，因此可以使得這種基于原始項(xiàng)目首先隨機(jī)選擇出K個(gè)質(zhì)心(ClusterC始的簇集；接著遍歷樣本中所有其他相似度最大的節(jié)點(diǎn)，將樣本點(diǎn)....

圖2.4Spark組織架構(gòu)

電大學(xué)專業(yè)學(xué)位碩士研究生學(xué)位論文第二章相關(guān)技術(shù)概述與分析義之分，廣義上的Spark架構(gòu)指的是由資源管理、數(shù)據(jù)管理、數(shù)據(jù)處理、應(yīng)用四層組成生態(tài)系統(tǒng)；狹義上的Spark則僅僅指的是Spark的數(shù)據(jù)處理框架，該部分屬于廣義Spa中最為核心的一部分。Spark的組織....

圖2.5Spark數(shù)據(jù)處理模型

較于傳統(tǒng)的大數(shù)據(jù)開(kāi)發(fā)框架，Spark之所以能有如此巨大的提升，作為Spark的核心分布式數(shù)據(jù)集RDD起到了至關(guān)重要的作用。RDD是Spark中最為基本的數(shù)據(jù)抽象個(gè)由可分區(qū)、不可變、內(nèi)部元素可并行化計(jì)算的集合。首先，RDD由分區(qū)組成，分?jǐn)?shù)據(jù)、進(jìn)行計(jì)算的最基本單位，....

本文編號(hào)：3908409