本文關(guān)鍵詞：基于Hadoop的電子商務(wù)推薦系統(tǒng)應(yīng)用研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,通過網(wǎng)絡(luò)購物已經(jīng)成為許多的人的習(xí)慣,越來越多的電子商務(wù)網(wǎng)站進入人們的視野。由于虛擬貨架成本低廉,一個大型的電子商務(wù)網(wǎng)站的商品數(shù)量比實際商場里面要多得多。電子商務(wù)網(wǎng)站一般都有搜索功能,但對于無法提供準確搜索關(guān)鍵詞的用戶來說,通過搜索找到需要的商品比較困難。電子商務(wù)推薦系統(tǒng)可以根據(jù)用戶的歷史購物行為或注冊、瀏覽記錄等主動向用戶推薦其可能感興趣的商品。電子商務(wù)推薦系統(tǒng)已經(jīng)在亞馬遜、淘寶等知名電商網(wǎng)站中得到了成功的應(yīng)用。由于用戶和商品數(shù)量的不斷增多,傳統(tǒng)的單機推薦系統(tǒng)已經(jīng)不能夠適應(yīng)海量數(shù)據(jù)的計算、存儲等需求,研究分布式的推薦系統(tǒng)成為近年來的熱點。針對基于Hadoop的電子商務(wù)推薦系統(tǒng)這一課題,通過閱讀大量的文獻,分析了國內(nèi)外研究現(xiàn)狀及面臨問題。對電子商務(wù)推薦系統(tǒng)常見的推薦算法進行了探討,此外本文還對Hadoop平臺的兩大核心技術(shù)HDFS和MapReduce的工作流程和原理進行了介紹。針對傳統(tǒng)電子商務(wù)推薦系統(tǒng)存在的問題,本文設(shè)計了基于Hadoop的電子商務(wù)推薦系統(tǒng),系統(tǒng)具有較好的可擴展性和伸縮性,可以方便的對系統(tǒng)的計算和存儲能力根據(jù)業(yè)務(wù)需求進行調(diào)整。為了解決電子商務(wù)推薦系統(tǒng)階段性和突發(fā)性問題,在系統(tǒng)的架構(gòu)過程中考慮了負載均衡技術(shù)。系統(tǒng)采用異步非阻塞模式的架構(gòu)來將web服務(wù)器與實際的業(yè)務(wù)處理相關(guān)服務(wù)器分離以減小web服務(wù)器的壓力。論文對HDFS存儲小文件時的效率問題進行了優(yōu)化,設(shè)計了基于HDFS和MySQL集群的存儲系統(tǒng)。為了節(jié)省存儲空間,對稀疏矩陣存儲和并行化計算過程進行了設(shè)計。系統(tǒng)設(shè)計了多個推薦引擎,每個推薦引擎都有其適應(yīng)的場景與需求,可以使推薦系統(tǒng)靈活的適應(yīng)多種推薦場景。不同的推薦引擎的推薦結(jié)果也可以根據(jù)需要進行加權(quán)組合。對數(shù)據(jù)預(yù)處理、基于用戶的協(xié)同過濾推薦算法、基于物品的協(xié)同過濾推薦算法和混合推薦算法的相似性計算和評分預(yù)測的并行化過程進行了設(shè)計,使之能夠較好的運行在Hadoop平臺上,實現(xiàn)分布式的推薦計算。通過GroupLens數(shù)據(jù)集,論文對設(shè)計的基于Hadoop的電子商務(wù)推薦系統(tǒng)進行了實驗。從平均絕對偏差和加速比兩個方面對并行化的三種推薦算法的推薦質(zhì)量和Hadoop平臺的執(zhí)行效率進行了評估。實驗結(jié)果表明混合推薦算法的推薦質(zhì)量最好,基于物品的協(xié)同過濾推薦算法次之,基于用戶的協(xié)同過濾推薦算法的推薦質(zhì)量較差。通過加速比的實驗結(jié)果可以分析得到基于Hadoop平臺的推薦算法在處理海量數(shù)據(jù)時有較高的執(zhí)行效率。
【關(guān)鍵詞】：電子商務(wù) 推薦系統(tǒng) Hadoop 協(xié)同過濾
【學(xué)位授予單位】：廣東工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP391.3
【目錄】：

• 摘要4-6
• ABSTRACT6-8
• 目錄8-10
• CONTENS10-12
• 第一章 緒論12-17
• 1.1 研究背景與意義12-13
• 1.2 國內(nèi)外研究現(xiàn)狀13-15
• 1.3 論文的主要工作及結(jié)構(gòu)安排15-17
• 第二章 電子商務(wù)推薦系統(tǒng)及Hadoop平臺17-35
• 2.1 電子商務(wù)推薦系統(tǒng)概述17-19
• 2.1.1 電子商務(wù)推薦系統(tǒng)的作用17-18
• 2.1.2 電子商務(wù)推薦系統(tǒng)的結(jié)構(gòu)18-19
• 2.2 電子商務(wù)推薦算法分類19-27
• 2.2.1 協(xié)同過濾推薦算法19-24
• 2.2.2 基于關(guān)聯(lián)規(guī)則的推薦算法24-25
• 2.2.3 基于內(nèi)容的推薦算法25-26
• 2.2.4 混合推薦算法26-27
• 2.2.5 其他常見推薦算法27
• 2.3 Hadoop平臺及其計算框架27-34
• 2.3.1 HDFS分布式文件系統(tǒng)28-31
• 2.3.2 MapReduce分布式計算框架31-34
• 2.4 本章小結(jié)34-35
• 第三章 基于Hadoop的電子商務(wù)推薦系統(tǒng)設(shè)計35-47
• 3.1 基于Hadoop電子商務(wù)推薦系統(tǒng)總體架構(gòu)設(shè)計35-39
• 3.1.1 基于HDFS和MySQL集群的存儲設(shè)計36-37
• 3.1.2 基于MapReduce的推薦算法并行化37-39
• 3.2 基于Hadoop的推薦引擎設(shè)計39-42
• 3.3 基于Hadoop的電子商務(wù)推薦引擎算法設(shè)計42-46
• 3.3.1 基于用戶的協(xié)同過濾引擎算法設(shè)計42-43
• 3.3.2 基于物品的協(xié)同過濾引擎算法設(shè)計43-44
• 3.3.3 混合方法推薦引擎算法設(shè)計44-46
• 3.4 本章小結(jié)46-47
• 第四章 基于Hadoop的電子商務(wù)推薦算法47-59
• 4.1 數(shù)據(jù)預(yù)處理及其MapReduce化47-49
• 4.2 UBCF算法的并行化49-53
• 4.2.1 用戶相似度計算49-51
• 4.2.2 評分預(yù)測51-53
• 4.3 IBCF算法的并行化53-56
• 4.3.1 項目相似度計算53-55
• 4.3.2 評分預(yù)測55-56
• 4.4 混合推薦算法的并行化56-58
• 4.4.1 相似性計算57
• 4.4.2 評分預(yù)測57-58
• 4.5 本章小結(jié)58-59
• 第五章 實驗與評測59-63
• 5.1 數(shù)據(jù)集59
• 5.2 實驗環(huán)境59-60
• 5.3 衡量標(biāo)準60-61
• 5.4 實驗結(jié)果與分析61-62
• 5.5 本章小結(jié)62-63
• 總結(jié)與展望63-65
• 參考文獻65-69
• 攻讀碩士學(xué)位期間發(fā)表的論文和參加的研究項目69-71
• 致謝71

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 張海玉;劉志都;楊彩;賈松浩;;基于頁面聚類的推薦算法的改進[J];計算機應(yīng)用與軟件;2008年09期

2 王文;;個性化推薦算法研究[J];電腦知識與技術(shù);2010年16期

3 張愷;秦亮曦;寧朝波;李文閣;;改進評價估計的混合推薦算法研究[J];微計算機信息;2010年36期

4 楊博;趙鵬飛;;推薦算法綜述[J];山西大學(xué)學(xué)報(自然科學(xué)版);2011年03期

5 吳泓辰;王新軍;成勇;彭朝暉;;基于協(xié)同過濾與劃分聚類的改進推薦算法[J];計算機研究與發(fā)展;2011年S3期

6 趙玉艷;谷勝偉;;一種面向云計算環(huán)境的服務(wù)推薦算法[J];巢湖學(xué)院學(xué)報;2012年03期

7 李克潮;梁正友;;基于多特征的個性化圖書推薦算法[J];計算機工程;2012年11期

8 呂善國;吳效葵;曹義親;;基于網(wǎng)絡(luò)結(jié)構(gòu)的推薦算法[J];實驗室研究與探索;2012年07期

9 蘇瑩;劉建國;郭強;田大鋼;;考慮負面評價的個性化推薦算法研究[J];運籌與管理;2012年06期

10 鄭志嫻;;微博個性化內(nèi)容推薦算法研究[J];電腦開發(fā)與應(yīng)用;2012年12期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 秦國;杜小勇;;基于用戶層次信息的協(xié)同推薦算法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

2 王韜丞;羅喜軍;杜小勇;;基于層次的推薦:一種新的個性化推薦算法[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2007年

3 唐燦;;基于模糊用戶心理模式的個性化推薦算法[A];2008年計算機應(yīng)用技術(shù)交流會論文集[C];2008年

4 周玉妮;鄭會頌;;基于瀏覽路徑選擇的蟻群推薦算法:用于移動商務(wù)個性化推薦系統(tǒng)[A];社會經(jīng)濟發(fā)展轉(zhuǎn)型與系統(tǒng)工程——中國系統(tǒng)工程學(xué)會第17屆學(xué)術(shù)年會論文集[C];2012年

5 蘇日啟;胡皓;汪秉宏;;基于網(wǎng)絡(luò)的含時推薦算法[A];第五屆全國復(fù)雜網(wǎng)絡(luò)學(xué)術(shù)會議論文（摘要）匯集[C];2009年

6 梁莘q

本文編號：414143