本文關鍵詞：基于Hadoop的并行混合推薦算法及工具研究

  更多相關文章： 推薦算法 并行化 配對相似度

【摘要】：隨著計算機技術的發(fā)展,互聯(lián)網已經融入到人們生活的方方面面,用戶可以通過互聯(lián)網輕而易舉的獲取大量信息,然而在享受這種便利的同時,用戶也開始遇到信息“過載”的問題。面對海量的信息,用戶往往難以取舍,并從中提取出真正需要的內容。搜索引擎技術,通過對關鍵字的檢索,在一定程度上緩解了這一問題。然而,基于搜索引擎的信息檢索技術,會給用戶呈現(xiàn)大量無關或者不感興趣的內容。如何在信息過載的情況下給用戶提供更個性化更貼近用戶需求的信息,成為了互聯(lián)網發(fā)展中的熱點問題。而推薦系統(tǒng),被認為是當前解決以上問題,給用戶提供更加個性化信息最有效的工具之一。推薦問題從根本上說就是從用戶的角度出發(fā),代替用戶去評估其從未看過的產品,使用戶不只是被動的網頁瀏覽者,而成為主動參與者。準確、高效的推薦系統(tǒng)可以挖掘用戶的偏好和需求,從而成為發(fā)現(xiàn)用戶潛在的消費傾向,為其提供個性化服務。協(xié)同過濾算法是一種基于統(tǒng)計的推薦系統(tǒng)算法,由于該算法模型簡單、訓練復雜度低、推薦性能優(yōu)秀等特點,廣泛應用于各類推薦系統(tǒng)之中。它通過收集用戶的歷史行為信息,通過相似性的計算,來搜索與當前用戶具有相同或者相近興趣愛好的其他用戶,形成近鄰。然后,根據(jù)近鄰用戶的歷史行為,例如用戶對物品的歷史評價信息,來預測當前用戶對物品的評價或者可能的行為。然而,傳統(tǒng)的協(xié)同過濾算法,在較好的滿足了推薦系統(tǒng)的需求的同時,也面臨著一些系列的挑戰(zhàn),例如數(shù)據(jù)的稀疏性、相似性度量的準確性、實時性和可擴展性等。如何應對這些挑戰(zhàn),是推薦系統(tǒng)需要解決的重要問題。本文的主要工作如下：1.本文針對傳統(tǒng)相似性度量方法對于內容信息利用不充分,度量不準確的問題,提出了一種基于配對的相似性度量方法。該方法利用物品間的屬性信息,在物品屬性的縱向和和橫向兩個不同層面分別求出物品的屬性內相似度和屬性間相似度。屬性內相似度和屬性間相似度再進一步結合成配對相似度,利用配對相似度結合基于內存或基于模型的協(xié)同過濾算法構建了混合推薦算法。實驗結果表明,該通過相似度度量方法構建的混合推薦算法能有效地提高推薦的精確度。2.本文針對海量數(shù)據(jù)環(huán)境以及配對相似度本身的計算復雜度造成的可擴展性問題,選取了MapReduce分布式計算模型和Hadoop分布式計算系統(tǒng)作為應對策略,利用分布式計算的辦法來加速配對相似度的計算速率。實驗結果表明,該并行化方法提高了在海量數(shù)據(jù)下基于配對相似度的混合推薦算法的可擴展性。3.本文介紹了一個基于云計算平臺的海量數(shù)據(jù)工具箱的設計和實現(xiàn),這里本文將會介紹該工具箱的四個功能模塊,它們是集群管理模塊、數(shù)據(jù)集管理模塊、算法管理模塊與任務管理模塊,然后以推薦算法為例介紹了用戶使用該工具箱的詳細流程。
【關鍵詞】：推薦算法 并行化 配對相似度
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP391.3
【目錄】：

• 摘要4-6
• Abstract6-14
• 第一章 緒論14-23
• 1.1 研究背景14-15
• 1.2 國內外研究現(xiàn)狀15-19
• 1.2.1 推薦系統(tǒng)15-17
• 1.2.2 云計算及算法并行化17-19
• 1.3 面臨的問題和挑戰(zhàn)19-21
• 1.3.1 推薦系統(tǒng)19-20
• 1.3.2 云計算及算法并行化20-21
• 1.4 本文的主要工作和安排21-23
• 第二章 推薦系統(tǒng)算法介紹23-33
• 2.1 基于內容的推薦算法23-24
• 2.2 基于內存的協(xié)同過濾算法24-28
• 2.2.1 基于用戶的協(xié)同過濾算法24-27
• 2.2.2 基于物品的協(xié)同過濾算法27-28
• 2.3 基于模型的協(xié)同過濾算法28-31
• 2.3.1 基于聚類的協(xié)同過濾算法28-29
• 2.3.2 基于潛在語義分析的協(xié)同過濾算法29-31
• 2.4 混合的推薦算法及其他算法31
• 2.5 推薦算法評估31-32
• 2.6 本章小結32-33
• 第三章 云計算相關技術33-39
• 3.1 Hadoop和MapReduce33-34
• 3.1.1 Hadoop的起源和發(fā)展33
• 3.1.2 MapRedcue的設計目標33-34
• 3.1.3 MapRedcue編程模型介紹34
• 3.2 下一代MapReduce框架34-37
• 3.2.1 Apache YARN35-36
• 3.2.2 Facebook Corona36-37
• 3.3 Spark37-38
• 3.4 本章小結38-39
• 第四章 基于配對相似度的混合推薦算法39-48
• 4.1 配對相似度39-41
• 4.2 基于配對相似度的推薦算法41-42
• 4.3 基于配對相似度的混合推薦算法42-43
• 4.4 實驗設計及結果分析43-47
• 4.4.1 實驗數(shù)據(jù)43-45
• 4.4.2 實驗設置45
• 4.4.3 實驗結果及分析45-47
• 4.5 本章小結47-48
• 第五章 配對相似度計算的并行化實現(xiàn)48-62
• 5.1 總體框架48-49
• 5.2 算法描述49-59
• 5.2.1 并行化計算屬性內相似度(Parallelized-IaAVS)49-54
• 5.2.2 并行化計算屬性間相似度(Parallelized-IeAVS)54-58
• 5.2.3 并行化計算配對相似度(Parallelized-COS)58-59
• 5.3 實驗設計及結果分析59-60
• 5.3.1 實驗環(huán)境59
• 5.3.2 實驗設置59
• 5.3.3 實驗結果及分析59-60
• 5.4 本章小結60-62
• 第六章 基于云計算平臺的海量數(shù)據(jù)挖掘工具箱62-71
• 6.1 工具箱的需求和目標62-63
• 6.2 模塊設計63-65
• 6.2.1 集群控制模塊63-64
• 6.2.2 數(shù)據(jù)集管理模塊64
• 6.2.3 算法管理模塊64-65
• 6.2.4 任務管理及可視化模塊65
• 6.3 用戶操作流程65-66
• 6.4 在工具箱中使用推薦算法66-70
• 6.4.1 啟動/配置Hadoop66-68
• 6.4.2 上傳數(shù)據(jù)集68-69
• 6.4.3 選擇算法/配置參數(shù)69
• 6.4.4 提交任務/獲取結果69-70
• 6.5 本章小結70-71
• 第七章 總結和展望71-73
• 7.1 總結71-72
• 7.2 展望72-73
• 參考文獻73-78
• 簡歷與科研成果78-79
• 致謝79-80

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐義峰;徐云青;劉曉平;;一種基于時間序列性的推薦算法[J];計算機系統(tǒng)應用;2006年10期

2 余小鵬;;一種基于多層關聯(lián)規(guī)則的推薦算法研究[J];計算機應用;2007年06期

3 張海玉;劉志都;楊彩;賈松浩;;基于頁面聚類的推薦算法的改進[J];計算機應用與軟件;2008年09期

4 張立燕;;一種基于用戶事務模式的推薦算法[J];福建電腦;2009年03期

5 王晗;夏自謙;;基于蟻群算法和瀏覽路徑的推薦算法研究[J];中國科技信息;2009年07期

6 周珊丹;周興社;王海鵬;倪紅波;張桂英;苗強;;智能博物館環(huán)境下的個性化推薦算法[J];計算機工程與應用;2010年19期

7 王文;;個性化推薦算法研究[J];電腦知識與技術;2010年16期

8 張愷;秦亮曦;寧朝波;李文閣;;改進評價估計的混合推薦算法研究[J];微計算機信息;2010年36期

9 夏秀峰;代沁;叢麗暉;;用戶顯意識下的多重態(tài)度個性化推薦算法[J];計算機工程與應用;2011年16期

10 楊博;趙鵬飛;;推薦算法綜述[J];山西大學學報(自然科學版);2011年03期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 王韜丞;羅喜軍;杜小勇;;基于層次的推薦:一種新的個性化推薦算法[A];第二十四屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2007年

2 唐燦;;基于模糊用戶心理模式的個性化推薦算法[A];2008年計算機應用技術交流會論文集[C];2008年

3 秦國;杜小勇;;基于用戶層次信息的協(xié)同推薦算法[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2004年

4 周玉妮;鄭會頌;;基于瀏覽路徑選擇的蟻群推薦算法:用于移動商務個性化推薦系統(tǒng)[A];社會經濟發(fā)展轉型與系統(tǒng)工程——中國系統(tǒng)工程學會第17屆學術年會論文集[C];2012年

5 蘇日啟;胡皓;汪秉宏;;基于網絡的含時推薦算法[A];第五屆全國復雜網絡學術會議論文（摘要）匯集[C];2009年

6 梁莘q，

本文編號：941173