發(fā)布時間：2018-05-19 05:02

  本文選題：推薦引擎 + Hadoop��； 參考：《電子科技大學》2016年碩士論文

【摘要】：推薦系統(tǒng)已被廣泛使用在互聯(lián)網的各個方面,其中電子商務的高速發(fā)展離不開個性化地推薦系統(tǒng)。尤其近年來,推薦系統(tǒng)越來越明顯且有力地推動電子商務的業(yè)務增長�；趨f(xié)同過濾的推薦算法是當今電子商務推薦系統(tǒng)中最被廣泛采用的關鍵技術之一。在本文中通過全面介紹和研究當今推薦系統(tǒng)采用的主要推薦算法,例如基于內容、協(xié)同過濾算法等,以及學習了大數(shù)據(jù)處理平臺Hadoop,簡要介紹Hadoop的工作原理和Map Reduce計算方式和HDFS分布式存儲平臺。針對基于內存的協(xié)同過濾算法的缺點,從相似度和加權平均方法切入,提出若干算法改進,改善推薦質量和提高性能。對于采用皮爾遜系數(shù)的協(xié)同過濾算法來說,就是當兩個用戶同時評分的項目數(shù)目比較少的時候,那么皮爾遜相關系數(shù)表現(xiàn)不佳,通過引入默認預測值能較好地解決這個問題;當某個項目被很多人同時評分,那么它容易和別的項目評分度較高,通過采取TF-IDF來解決;通過引入指數(shù)算法,來懲罰相似度低的項目的權重來提高推薦質量;Weighted Slope One算法在保持預測準確度的情況下提高系統(tǒng)性能。在協(xié)同過濾推薦算法中,因稀疏的用戶項目評分矩陣而導致的矩陣規(guī)模膨脹是一個十分棘手的問題。稀疏的用戶評價矩陣大大加重系統(tǒng)計算的時間。在本文中通過研究各種對矩陣降維的方法,例如奇異值矩陣分解技術,非負矩陣因式分解等概率統(tǒng)計模型,解決稀疏矩陣的計算問題。由于電子商務平臺的迅速發(fā)展帶來的幾千萬的用戶數(shù)和數(shù)以億計的商品量(例如亞馬遜商城,天貓商城和京東商城等),對現(xiàn)有的推薦系統(tǒng)運行性能提出了嚴峻的挑戰(zhàn)。依靠單機的推薦系統(tǒng)難以承受如此海量用戶和數(shù)據(jù)的計算量,因此如今電子商務網站普遍采用分布式集群計算機來實現(xiàn)商品推薦引擎。本文嘗試基于Hadoop實現(xiàn)一個具有伸縮性、高彈性、高容災性、穩(wěn)定的商品推薦引擎的設計和實現(xiàn)。
[Abstract]:Recommendation system has been widely used in all aspects of the Internet, among which the rapid development of e-commerce can not be separated from personalized recommendation system. Especially in recent years, recommendation system is more and more obvious and powerful to promote the business growth of e-commerce. Collaborative filtering-based recommendation algorithm is one of the most widely used key technologies in e-commerce recommendation systems. In this paper, we introduce and study the main recommendation algorithms, such as content-based, collaborative filtering algorithms, which are used in today's recommendation systems. We also study the big data processing platform Hadoop, and briefly introduce the working principle of Hadoop, the Map Reduce computing method and the HDFS distributed storage platform. Aiming at the shortcomings of the memory-based collaborative filtering algorithm, this paper proposes some improvements from similarity and weighted average methods to improve the recommendation quality and performance. For the collaborative filtering algorithm with Pearson coefficient, when the number of items scored by two users at the same time is relatively small, then Pearson correlation coefficient is not good, through the introduction of default prediction value can solve this problem better; When a project is rated by many people at the same time, it is easy to score higher with other items, by adopting TF-IDF; by introducing an exponential algorithm. To punish the weights of items with low similarity to improve the quality of recommendation weighted Slope One algorithm improves system performance while maintaining prediction accuracy. In collaborative filtering recommendation algorithm, the expansion of matrix size caused by sparse user item scoring matrix is a very difficult problem. The sparse user evaluation matrix greatly increases the computing time of the system. In this paper, we study various methods to reduce the dimension of matrices, such as singular value matrix decomposition technique, non-negative matrix factorization and other probability and statistical models, to solve the problem of sparse matrix calculation. Due to the rapid development of e-commerce platform, tens of millions of users and hundreds of millions of goods (such as Amazon Mall, Tmall Mall and JingDong Mall, etc.) have posed a severe challenge to the performance of the existing recommendation system. It is difficult for a recommendation system to rely on a single computer to support such a huge amount of users and data, so nowadays e-commerce websites generally use distributed cluster computers to implement the commodity recommendation engine. This paper attempts to design and implement a product recommendation engine with scalability, high flexibility, high disaster tolerance and stability based on Hadoop.
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP391.3

【相似文獻】

相關期刊論文 前10條

1 楊風召;;一種基于特征表的協(xié)同過濾算法[J];計算機工程與應用;2007年06期

2 王嵐;翟正軍;;基于時間加權的協(xié)同過濾算法[J];計算機應用;2007年09期

3 曾子明;張李義;;基于多屬性決策和協(xié)同過濾的智能導購系統(tǒng)[J];武漢大學學報(工學版);2008年02期

4 張富國;;用戶多興趣下基于信任的協(xié)同過濾算法研究[J];小型微型計算機系統(tǒng);2008年08期

5 侯翠琴;焦李成;張文革;;一種壓縮稀疏用戶評分矩陣的協(xié)同過濾算法[J];西安電子科技大學學報;2009年04期

6 廖新考;;基于用戶特征和項目屬性的混合協(xié)同過濾推薦[J];福建電腦;2010年07期

7 沈磊;周一民;李舟軍;;基于心理學模型的協(xié)同過濾推薦方法[J];計算機工程;2010年20期

8 徐紅;彭黎;郭艾寅;徐云劍;;基于用戶多興趣的協(xié)同過濾策略改進研究[J];計算機技術與發(fā)展;2011年04期

9 焦晨斌;王世卿;;基于模型填充的混合協(xié)同過濾算法[J];微計算機信息;2011年11期

10 鄭婕;鮑海琴;;基于協(xié)同過濾推薦技術的個性化網絡教學平臺研究[J];科技風;2012年06期

相關會議論文 前10條

1 沈杰峰;杜亞軍;唐俊;;一種基于項目分類的協(xié)同過濾算法[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

2 周軍鋒;湯顯;郭景峰;;一種優(yōu)化的協(xié)同過濾推薦算法[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2004年

3 董全德;;基于雙信息源的協(xié)同過濾算法研究[A];全國第20屆計算機技術與應用學術會議（CACIS·2009）暨全國第1屆安全關鍵技術與應用學術會議論文集（上冊）[C];2009年

4 張光衛(wèi);康建初;李鶴松;劉常昱;李德毅;;面向場景的協(xié)同過濾推薦算法[A];中國系統(tǒng)仿真學會第五次全國會員代表大會暨2006年全國學術年會論文集[C];2006年

5 李建國;姚良超;湯庸;郭歡;;基于認知度的協(xié)同過濾推薦算法[A];第26屆中國數(shù)據(jù)庫學術會議論文集（B輯）[C];2009年

6 王明文;陶紅亮;熊小勇;;雙向聚類迭代的協(xié)同過濾推薦算法[A];第三屆全國信息檢索與內容安全學術會議論文集[C];2007年

7 胡必云;李舟軍;王君;;基于心理測量學的協(xié)同過濾相似度方法(英文)[A];NDBC2010第27屆中國數(shù)據(jù)庫學術會議論文集(B輯)[C];2010年

8 林麗冰;師瑞峰;周一民;李月雷;;基于雙聚類的協(xié)同過濾推薦算法[A];2008'中國信息技術與應用學術論壇論文集（一）[C];2008年

9 羅喜軍;王韜丞;杜小勇;劉紅巖;何軍;;基于類別的推薦——一種解決協(xié)同推薦中冷啟動問題的方法[A];第二十四屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2007年

10 黃創(chuàng)光;印鑒;汪靜;劉玉葆;王甲海;;不確定近鄰的協(xié)同過濾推薦算法[A];NDBC2010第27屆中國數(shù)據(jù)庫學術會議論文集A輯一[C];2010年

相關博士學位論文 前10條

1 紀科;融合上下文信息的混合協(xié)同過濾推薦算法研究[D];北京交通大學;2016年

2 程殿虎;基于協(xié)同過濾的社會網絡推薦系統(tǒng)關鍵技術研究[D];中國海洋大學;2015年

3 于程遠;基于QoS的Web服務推薦技術研究[D];上海交通大學;2015年

4 李聰;電子商務推薦系統(tǒng)中協(xié)同過濾瓶頸問題研究[D];合肥工業(yè)大學;2009年

5 郭艷紅;推薦系統(tǒng)的協(xié)同過濾算法與應用研究[D];大連理工大學;2008年

6 羅恒;基于協(xié)同過濾視角的受限玻爾茲曼機研究[D];上海交通大學;2011年

7 薛福亮;電子商務協(xié)同過濾推薦質量影響因素及其改進機制研究[D];天津大學;2012年

8 高e，

本文編號：1908811