基于Spark的混合推薦算法研究
本文選題:推薦算法 + 分布式計(jì)算 ; 參考:《計(jì)算機(jī)應(yīng)用研究》2017年12期
【摘要】:隨著電子商務(wù)的發(fā)展,傳統(tǒng)的單機(jī)計(jì)算模型難以滿足海量數(shù)據(jù)的實(shí)時(shí)推薦需求,基于協(xié)同過(guò)濾的推薦算法的缺陷也越來(lái)越明顯。為此,提出一種利用Spark計(jì)算模型實(shí)現(xiàn)分布式推薦的方法。該推薦方法采用基于譜聚類和樸素貝葉斯的混合推薦算法,同時(shí)使用增量式更新,在不全部重新訓(xùn)練模型的基礎(chǔ)上,對(duì)模型進(jìn)行局部修改。實(shí)驗(yàn)結(jié)果表明,較傳統(tǒng)的單機(jī)模式推薦算法,基于Spark計(jì)算模型的分布式推薦算法在一定程度上克服了數(shù)據(jù)稀疏性,提高了系統(tǒng)的可擴(kuò)展性,降低了系統(tǒng)的響應(yīng)時(shí)間。
[Abstract]:With the development of electronic commerce, the traditional single-machine computing model can not meet the real-time recommendation requirements of mass data, and the shortcomings of the recommendation algorithm based on collaborative filtering are becoming more and more obvious. Therefore, a method of distributed recommendation based on Spark computing model is proposed. In this method, a hybrid recommendation algorithm based on spectral clustering and naive Bayes is used, and incremental updating is used to modify the model on the basis of not completely retraining the model. The experimental results show that the distributed recommendation algorithm based on Spark computing model overcomes the data sparsity improves the scalability of the system and reduces the response time of the system.
【作者單位】: 上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院;上海理工大學(xué)計(jì)算機(jī)軟件技術(shù)研究所;
【基金】:國(guó)家自然科學(xué)基金資助項(xiàng)目(61170277,61472256) 上海市教委科研創(chuàng)新重點(diǎn)資助項(xiàng)目(12zz137) 上海市一流學(xué)科建設(shè)資助項(xiàng)目(S1201YLXK)
【分類號(hào)】:TP391.3
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 徐義峰;徐云青;劉曉平;;一種基于時(shí)間序列性的推薦算法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2006年10期
2 余小鵬;;一種基于多層關(guān)聯(lián)規(guī)則的推薦算法研究[J];計(jì)算機(jī)應(yīng)用;2007年06期
3 張立燕;;一種基于用戶事務(wù)模式的推薦算法[J];福建電腦;2009年03期
4 王晗;夏自謙;;基于蟻群算法和瀏覽路徑的推薦算法研究[J];中國(guó)科技信息;2009年07期
5 周珊丹;周興社;王海鵬;倪紅波;張桂英;苗強(qiáng);;智能博物館環(huán)境下的個(gè)性化推薦算法[J];計(jì)算機(jī)工程與應(yīng)用;2010年19期
6 王文;;個(gè)性化推薦算法研究[J];電腦知識(shí)與技術(shù);2010年16期
7 張愷;秦亮曦;寧朝波;李文閣;;改進(jìn)評(píng)價(jià)估計(jì)的混合推薦算法研究[J];微計(jì)算機(jī)信息;2010年36期
8 夏秀峰;代沁;叢麗暉;;用戶顯意識(shí)下的多重態(tài)度個(gè)性化推薦算法[J];計(jì)算機(jī)工程與應(yīng)用;2011年16期
9 楊博;趙鵬飛;;推薦算法綜述[J];山西大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年03期
10 尹長(zhǎng)青;楊單稷;;基于視頻的智能推薦算法[J];科技傳播;2011年22期
相關(guān)會(huì)議論文 前7條
1 王韜丞;羅喜軍;杜小勇;;基于層次的推薦:一種新的個(gè)性化推薦算法[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(技術(shù)報(bào)告篇)[C];2007年
2 唐燦;;基于模糊用戶心理模式的個(gè)性化推薦算法[A];2008年計(jì)算機(jī)應(yīng)用技術(shù)交流會(huì)論文集[C];2008年
3 秦國(guó);杜小勇;;基于用戶層次信息的協(xié)同推薦算法[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(技術(shù)報(bào)告篇)[C];2004年
4 梁莘q,
本文編號(hào):2078981
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/2078981.html