本文關鍵詞：基于Hadoop的并行化協(xié)同過濾推薦算法研究

  更多相關文章： 推薦系統(tǒng) 協(xié)同過濾 填充可信度 并行化

【摘要】：互聯網的快速發(fā)展使得信息過載的現象日益明顯,推薦系統(tǒng)作為重要的信息過濾工具應運而生。協(xié)同過濾推薦算法是當前實際系統(tǒng)中應用最多的個性化推薦方法。但隨著推薦系統(tǒng)中用戶和項目數量的大幅度增加,被評分的項目比例越來越小,使得用戶-項目評分矩陣變得稀疏,從而造成傳統(tǒng)協(xié)同過濾推薦算法的推薦精度降低。同時當前對協(xié)同過濾推薦算法的研究大多側重于單機算法的設計與優(yōu)化,隨著推薦系統(tǒng)規(guī)模的不斷擴大,傳統(tǒng)的推薦算法大多都會遇到嚴重的計算瓶頸。因此,使用并行方法改進協(xié)同過濾推薦算法,從而應對大規(guī)模數據十分必要。本研究針對協(xié)同過濾算法的數據稀疏性和可擴展性問題,首先提出了基于非精確增廣拉格朗日乘子法(IALM)和填充可信度的協(xié)同過濾算法。在此基礎上,深入研究Hadoop的HDFS分布式系統(tǒng)和MapReduce編程思想,對算法進行MapReduce并行化的設計與實現,最后搭建了基于Hadoop的電影推薦原型系統(tǒng)。主要研究工作及成果如下:(1)提出了基于IALM和填充可信度的協(xié)同過濾算法。針對數據稀疏性問題,通過IALM算法對稀疏的評分矩陣進行填充,并提出了填充可信度的概念�？紤]到用戶的興趣會隨著時間變化,將填充可信度與指數遺忘函數融合,對填充后的矩陣進行加權修正,進而提出了基于IALM和填充可信度的協(xié)同過濾算法。實驗結果表明,在鄰居數目取10的情況下,該算法較傳統(tǒng)協(xié)同過濾算法其平均絕對誤差降低了10.98%,說明該算法在數據稀疏情況下可以明顯提高推薦質量。(2)設計了基于IALM和填充可信度的協(xié)同過濾算法的MapReduce并行化方案。針對協(xié)同過濾算法的可擴展性問題,通過對MapReduce編程模型的研究,將算法分解為7個MapReduce作業(yè)流程,便于在Hadoop平臺上進行分布式計算,實驗結果表明,在MovieLens-10M數據集上,3個節(jié)點的Hadoop集群比單節(jié)點的運算時間能減小約66.14%,驗證了在Hadoop平臺下實現的基于IALM和填充可信度的協(xié)同過濾推薦算法能夠有效地提高推薦系統(tǒng)的可擴展性。(3)搭建了基于Hadoop的電影推薦原型系統(tǒng)。經過系統(tǒng)需求分析、設計與實現等流程,將經過MapReduce并行化的基于IALM和填充可信度的協(xié)同過濾算法、Hadoop、MATLAB等結合起來,在多臺計算機組成的Hadoop集群上,實現了基于Hadoop的電影推薦系統(tǒng)。
【關鍵詞】：推薦系統(tǒng) 協(xié)同過濾 填充可信度 并行化
【學位授予單位】：西北農林科技大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP391.3
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 緒論10-16
• 1.1 研究背景和意義10-11
• 1.2 國內外研究現狀11-13
• 1.2.1 推薦系統(tǒng)及推薦算法研究現狀11-12
• 1.2.2 推薦算法的并行化研究現狀12-13
• 1.3 研究內容和技術路線13-15
• 1.4 論文的組織結構15-16
• 第二章 相關技術介紹16-25
• 2.1 推薦系統(tǒng)16
• 2.2 常用推薦算法16-21
• 2.2.1 基于內容的推薦17
• 2.2.2 基于關聯規(guī)則的推薦17
• 2.2.3 協(xié)同過濾推薦17-21
• 2.3 Hadoop平臺介紹21-24
• 2.3.1 HDFS分布式文件系統(tǒng)22-23
• 2.3.2 MapReduce計算模型23-24
• 2.4 小結24-25
• 第三章 基于IALM和填充可信度的協(xié)同過濾算法25-37
• 3.1 IALM算法與指數遺忘函數25-27
• 3.1.1 IALM算法25-26
• 3.1.2 指數遺忘函數26-27
• 3.2 基于IALM和填充可信度的協(xié)同過濾算法27-31
• 3.2.1 基于IALM算法的協(xié)同過濾算法27-28
• 3.2.2 填充可信度28-29
• 3.2.3 基于IALM和填充可信度的協(xié)同過濾算法29-31
• 3.2.4 算法分析31
• 3.3 實驗與分析31-36
• 3.3.1 實驗數據31-32
• 3.3.2 評價標準32
• 3.3.3 實驗方案32-33
• 3.3.4 實驗結果及其分析33-36
• 3.4 本章小結36-37
• 第四章 基于IALM和填充可信度的協(xié)同過濾算法的并行化37-52
• 4.1 矩陣填充的MapReduce處理流程設計37-42
• 4.2 加權評分數據的MapReduce處理流程設計42-43
• 4.3 評分均值及均值差的MapReduce處理流程設計43-44
• 4.4 項目k近鄰的MapReduce處理流程設計44-46
• 4.5 預測評分的MapReduce處理流程設計46-47
• 4.6 實驗與分析47-50
• 4.6.1 實驗數據47
• 4.6.2 評價標準47-48
• 4.6.3 實驗方案48
• 4.6.4 實驗結果及其分析48-50
• 4.7 本章小結50-52
• 第五章 基于Hadoop的推薦系統(tǒng)設計52-58
• 5.1 系統(tǒng)需求分析52
• 5.1.1 需求概述52
• 5.1.2 運行環(huán)境概述52
• 5.2 系統(tǒng)設計52-53
• 5.3 系統(tǒng)實現53-56
• 5.3.1 Hadoop平臺及MATLAB運行環(huán)境的配置55
• 5.3.2 系統(tǒng)搭建55-56
• 5.3.3 推薦算法部署56
• 5.4 系統(tǒng)推薦結果對比分析56-57
• 5.4.1 實驗方案56
• 5.4.2 實驗結果與分析56-57
• 5.5 本章小結57-58
• 第六章 總結與展望58-60
• 6.1 總結58
• 6.2 展望58-60
• 參考文獻60-64
• 致謝64-65
• 作者簡介65

【相似文獻】

中國期刊全文數據庫 前10條

1 楊風召;;一種基于特征表的協(xié)同過濾算法[J];計算機工程與應用;2007年06期

2 王嵐;翟正軍;;基于時間加權的協(xié)同過濾算法[J];計算機應用;2007年09期

3 曾子明;張李義;;基于多屬性決策和協(xié)同過濾的智能導購系統(tǒng)[J];武漢大學學報(工學版);2008年02期

4 張富國;;用戶多興趣下基于信任的協(xié)同過濾算法研究[J];小型微型計算機系統(tǒng);2008年08期

5 侯翠琴;焦李成;張文革;;一種壓縮稀疏用戶評分矩陣的協(xié)同過濾算法[J];西安電子科技大學學報;2009年04期

6 廖新考;;基于用戶特征和項目屬性的混合協(xié)同過濾推薦[J];福建電腦;2010年07期

7 沈磊;周一民;李舟軍;;基于心理學模型的協(xié)同過濾推薦方法[J];計算機工程;2010年20期

8 徐紅;彭黎;郭艾寅;徐云劍;;基于用戶多興趣的協(xié)同過濾策略改進研究[J];計算機技術與發(fā)展;2011年04期

9 焦晨斌;王世卿;;基于模型填充的混合協(xié)同過濾算法[J];微計算機信息;2011年11期

10 鄭婕;鮑海琴;;基于協(xié)同過濾推薦技術的個性化網絡教學平臺研究[J];科技風;2012年06期

中國重要會議論文全文數據庫 前10條

1 沈杰峰;杜亞軍;唐俊;;一種基于項目分類的協(xié)同過濾算法[A];第二十二屆中國數據庫學術會議論文集（技術報告篇）[C];2005年

2 周軍鋒;湯顯;郭景峰;;一種優(yōu)化的協(xié)同過濾推薦算法[A];第二十一屆中國數據庫學術會議論文集（研究報告篇）[C];2004年

3 董全德;;基于雙信息源的協(xié)同過濾算法研究[A];全國第20屆計算機技術與應用學術會議（CACIS·2009）暨全國第1屆安全關鍵技術與應用學術會議論文集（上冊）[C];2009年

4 張光衛(wèi);康建初;李鶴松;劉常昱;李德毅;;面向場景的協(xié)同過濾推薦算法[A];中國系統(tǒng)仿真學會第五次全國會員代表大會暨2006年全國學術年會論文集[C];2006年

5 李建國;姚良超;湯庸;郭歡;;基于認知度的協(xié)同過濾推薦算法[A];第26屆中國數據庫學術會議論文集（B輯）[C];2009年

6 王明文;陶紅亮;熊小勇;;雙向聚類迭代的協(xié)同過濾推薦算法[A];第三屆全國信息檢索與內容安全學術會議論文集[C];2007年

7 胡必云;李舟軍;王君;;基于心理測量學的協(xié)同過濾相似度方法(英文)[A];NDBC2010第27屆中國數據庫學術會議論文集(B輯)[C];2010年

8 林麗冰;師瑞峰;周一民;李月雷;;基于雙聚類的協(xié)同過濾推薦算法[A];2008'中國信息技術與應用學術論壇論文集（一）[C];2008年

9 羅喜軍;王韜丞;杜小勇;劉紅巖;何軍;;基于類別的推薦——一種解決協(xié)同推薦中冷啟動問題的方法[A];第二十四屆中國數據庫學術會議論文集（研究報告篇）[C];2007年

10 黃創(chuàng)光;印鑒;汪靜;劉玉葆;王甲海;;不確定近鄰的協(xié)同過濾推薦算法[A];NDBC2010第27屆中國數據庫學術會議論文集A輯一[C];2010年

中國博士學位論文全文數據庫 前10條

1 紀科;融合上下文信息的混合協(xié)同過濾推薦算法研究[D];北京交通大學;2016年

2 李聰;電子商務推薦系統(tǒng)中協(xié)同過濾瓶頸問題研究[D];合肥工業(yè)大學;2009年

3 郭艷紅;推薦系統(tǒng)的協(xié)同過濾算法與應用研究[D];大連理工大學;2008年

4 羅恒;基于協(xié)同過濾視角的受限玻爾茲曼機研究[D];上海交通大學;2011年

5 薛福亮;電子商務協(xié)同過濾推薦質量影響因素及其改進機制研究[D];天津大學;2012年

6 高e，

本文編號：781099