傳統(tǒng)基于Hadoop或單機(jī)下基于Mahout構(gòu)建的電影推薦系統(tǒng)面對數(shù)據(jù)量不斷增大以及推薦算法模型需要大量迭代的情況時,會出現(xiàn)推薦效果差、運(yùn)行速度明顯下降、無法實(shí)時為用戶進(jìn)行個性化推薦的情況。針對以上問題,以電影評分?jǐn)?shù)據(jù)集為背景,使用Hadoop、Spark、Kafka、Hive等大數(shù)據(jù)處理技術(shù)進(jìn)行系統(tǒng)架構(gòu)搭建,并采用改進(jìn)后的余弦相似性的協(xié)同過濾和基于用戶喜愛物品的物品協(xié)同過濾算法對MLlib協(xié)同過濾算法模型進(jìn)行改進(jìn),對離線數(shù)據(jù)以及實(shí)時數(shù)據(jù)進(jìn)行計(jì)算,產(chǎn)生TOP-N推薦結(jié)果,實(shí)現(xiàn)Spark平臺下電影推薦系統(tǒng)。實(shí)驗(yàn)結(jié)果表明,在Spark平臺下,該系統(tǒng)相較傳統(tǒng)方法不僅數(shù)據(jù)處理速度和推薦準(zhǔn)確性顯著提升,而且穩(wěn)定性更強(qiáng)。 

【文章來源】：計(jì)算機(jī)應(yīng)用與軟件. 2020,37(11)北大核心

【文章頁數(shù)】：7 頁

【部分圖文】：

Spark運(yùn)行框架

在考慮系統(tǒng)架構(gòu)設(shè)計(jì)時,需考慮后期各個模塊的可維護(hù)性和可擴(kuò)展性[14]。本系統(tǒng)包括三個主要的子系統(tǒng)模塊,分別是前端展示系統(tǒng)、后端數(shù)據(jù)管理系統(tǒng),以及離線數(shù)據(jù)推薦與實(shí)時數(shù)據(jù)推薦模塊,具體的系統(tǒng)架構(gòu)如圖2所示。圖2中的系統(tǒng)總體架構(gòu)設(shè)計(jì)包括展示層、應(yīng)用層、數(shù)據(jù)處理層及存儲層四個層次,每層的詳細(xì)信息如下:

前端展示子系統(tǒng)功能模塊圖


本文編號：3446183