本文關(guān)鍵詞：基于位置的推薦計(jì)算:Spark實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：自1990年第一篇使用協(xié)同過濾算法進(jìn)行推薦的論文誕生以來,推薦系統(tǒng)在工業(yè)界和學(xué)術(shù)界已經(jīng)有了廣泛的發(fā)展。傳統(tǒng)的推薦系統(tǒng)算法主要使用的基于協(xié)同過濾的推薦算法,基于上下文感知的推薦算法以及基于社交網(wǎng)絡(luò)的推薦算法等,而基于用戶地理位置的產(chǎn)品推薦方法并沒有廣泛流行。但隨著移動互聯(lián)網(wǎng)的蓬勃發(fā)展,用戶的地理位置數(shù)據(jù)通過手機(jī)端GPS開始被大量獲取,開始成為商品推薦的重要特征屬性,使得一些基于用戶地理位置的商品推薦任務(wù)成為可能。本文總結(jié)傳統(tǒng)的推薦計(jì)算方法以及現(xiàn)代的推薦計(jì)算方法的發(fā)展歷程,通過收集基于位置的人口普查數(shù)據(jù)和產(chǎn)品交易數(shù)據(jù),提出一些基于位置的產(chǎn)品推薦計(jì)算方法。同時(shí),由于數(shù)據(jù)規(guī)模較大,數(shù)據(jù)計(jì)算和調(diào)度的管理變得越加困難,單機(jī)計(jì)算模式難以處理海量的計(jì)算需求,而基于MapReduce的Hadoop平臺在面對多輪迭代的機(jī)器學(xué)習(xí)技術(shù)時(shí)顯得有些力不從心。因此,本文使用Oozie來進(jìn)行數(shù)據(jù)流調(diào)度的管理,并使用Spark來加速機(jī)器學(xué)習(xí)算法的計(jì)算效率。經(jīng)過實(shí)驗(yàn)比較和驗(yàn)證之后,證明使用Oozie管理數(shù)據(jù)流調(diào)度能夠讓系統(tǒng)變得容易擴(kuò)展和維護(hù),使用Spark在機(jī)器學(xué)習(xí)算法效率上要遠(yuǎn)好于基于Hadoop的算法效率,且基于位置的推薦算法在測評上有良好的效果。
【關(guān)鍵詞】：協(xié)同過濾 基于位置的推薦算法 推薦系統(tǒng) Oozie Spark
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP391.3
【目錄】：

• 摘要5-6
• Abstract6-12
• 第1章 緒論12-19
• 1.1 課題背景12-16
• 1.1.1 國內(nèi)研究現(xiàn)狀13-14
• 1.1.2 國外研究現(xiàn)狀14-16
• 1.2 研究目的16
• 1.3 本文貢獻(xiàn)及創(chuàng)新點(diǎn)16-17
• 1.4 論文結(jié)構(gòu)17-18
• 1.5 本章小結(jié)18-19
• 第2章 背景技術(shù)19-30
• 2.1 推薦系統(tǒng)概述19-20
• 2.2 傳統(tǒng)推薦系統(tǒng)算法20-26
• 2.2.1 基于協(xié)同過濾的推薦算法20-22
• 2.2.2 基于關(guān)聯(lián)關(guān)系的推薦算法22-23
• 2.2.3 基于上下文感知的推薦算法23-24
• 2.2.4 基于社交網(wǎng)絡(luò)的推薦算法24-25
• 2.2.5 傳統(tǒng)推薦算法在位置服務(wù)上的局限性25-26
• 2.3 大數(shù)據(jù)處理技術(shù)26-29
• 2.3.1 Oozie26
• 2.3.2 Hadoop26-27
• 2.3.3 Spark27-29
• 2.4 本章小結(jié)29-30
• 第3章 推薦系統(tǒng)總體框架設(shè)計(jì)30-40
• 3.1 總體功能與要求30-32
• 3.1.1 系統(tǒng)總體要求30-31
• 3.1.2 功能設(shè)計(jì)31-32
• 3.2 系統(tǒng)總體架構(gòu)32-35
• 3.2.1 系統(tǒng)總體架構(gòu)設(shè)計(jì)32-33
• 3.2.2 數(shù)據(jù)ETL調(diào)度層33-34
• 3.2.3 推薦算法層34
• 3.2.4 推薦服務(wù)層34-35
• 3.3 系統(tǒng)總體流程35-38
• 3.3.1 數(shù)據(jù)的采集流程36-37
• 3.3.2 推薦服務(wù)流程37-38
• 3.4 本章小結(jié)38-40
• 第4章 基于Oozie的數(shù)據(jù)ETL調(diào)度模塊40-52
• 4.1 調(diào)度模塊介紹40
• 4.2 Oozie數(shù)據(jù)流的工作原理40-46
• 4.2.1 基于DAG的工作流(Workflow)42-44
• 4.2.2 定時(shí)觸發(fā)的工作流調(diào)度(Coordinator)44-45
• 4.2.3 批處理調(diào)度任務(wù)(Bundle)45-46
• 4.3 調(diào)度模塊的整體實(shí)現(xiàn)46-51
• 4.3.1 工作流節(jié)點(diǎn)的編輯46-49
• 4.3.2 特征提取與數(shù)據(jù)預(yù)處理調(diào)度49-50
• 4.3.3 離線計(jì)算調(diào)度50-51
• 4.4 本章小結(jié)51-52
• 第5章 基于Spark的推薦算法模塊52-61
• 5.1 推薦算法模塊介紹52-53
• 5.2 基于位置的推薦算法53-58
• 5.2.1 基于區(qū)域流行度的推薦算法53-54
• 5.2.2 基于區(qū)域購買記錄的協(xié)同過濾54-55
• 5.2.3 基于地區(qū)相似度聚類算法55-57
• 5.2.4 基于地區(qū)相似度的協(xié)同過濾57
• 5.2.5 基于區(qū)域活躍用戶的品牌推薦57-58
• 5.3 推薦服務(wù)的實(shí)現(xiàn)方法58-60
• 5.3.1 推薦服務(wù)模塊介紹58-59
• 5.3.2 基于Akka的推薦服務(wù)webservice實(shí)現(xiàn)方法59-60
• 5.4 本章小結(jié)60-61
• 第6章 實(shí)驗(yàn)與分析61-74
• 6.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)61-62
• 6.2 實(shí)驗(yàn)結(jié)果62-72
• 6.2.1 實(shí)驗(yàn)數(shù)據(jù)分析62-65
• 6.2.2 性能測試結(jié)果65-68
• 6.2.3 推薦結(jié)果測評68-72
• 6.3 測試結(jié)論72
• 6.4 本章小結(jié)72-74
• 第7章 總結(jié)與展望74-77
• 7.1 工作總結(jié)74-75
• 7.2 展望75-77
• 參考文獻(xiàn)77-79
• 攻讀碩士學(xué)位期間主要的研究成果79-81
• 致謝81

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐義峰;徐云青;劉曉平;;一種基于時(shí)間序列性的推薦算法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2006年10期

2 余小鵬;;一種基于多層關(guān)聯(lián)規(guī)則的推薦算法研究[J];計(jì)算機(jī)應(yīng)用;2007年06期

3 張海玉;劉志都;楊彩;賈松浩;;基于頁面聚類的推薦算法的改進(jìn)[J];計(jì)算機(jī)應(yīng)用與軟件;2008年09期

4 張立燕;;一種基于用戶事務(wù)模式的推薦算法[J];福建電腦;2009年03期

5 王晗;夏自謙;;基于蟻群算法和瀏覽路徑的推薦算法研究[J];中國科技信息;2009年07期

6 周珊丹;周興社;王海鵬;倪紅波;張桂英;苗強(qiáng);;智能博物館環(huán)境下的個(gè)性化推薦算法[J];計(jì)算機(jī)工程與應(yīng)用;2010年19期

7 王文;;個(gè)性化推薦算法研究[J];電腦知識與技術(shù);2010年16期

8 張愷;秦亮曦;寧朝波;李文閣;;改進(jìn)評價(jià)估計(jì)的混合推薦算法研究[J];微計(jì)算機(jī)信息;2010年36期

9 夏秀峰;代沁;叢麗暉;;用戶顯意識下的多重態(tài)度個(gè)性化推薦算法[J];計(jì)算機(jī)工程與應(yīng)用;2011年16期

10 楊博;趙鵬飛;;推薦算法綜述[J];山西大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年03期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 王韜丞;羅喜軍;杜小勇;;基于層次的推薦:一種新的個(gè)性化推薦算法[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2007年

2 唐燦;;基于模糊用戶心理模式的個(gè)性化推薦算法[A];2008年計(jì)算機(jī)應(yīng)用技術(shù)交流會論文集[C];2008年

3 秦國;杜小勇;;基于用戶層次信息的協(xié)同推薦算法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2004年

4 周玉妮;鄭會頌;;基于瀏覽路徑選擇的蟻群推薦算法:用于移動商務(wù)個(gè)性化推薦系統(tǒng)[A];社會經(jīng)濟(jì)發(fā)展轉(zhuǎn)型與系統(tǒng)工程——中國系統(tǒng)工程學(xué)會第17屆學(xué)術(shù)年會論文集[C];2012年

5 蘇日啟;胡皓;汪秉宏;;基于網(wǎng)絡(luò)的含時(shí)推薦算法[A];第五屆全國復(fù)雜網(wǎng)絡(luò)學(xué)術(shù)會議論文（摘要）匯集[C];2009年

6 梁莘q

本文編號：330886