本文關(guān)鍵詞：基于Hadoop的推薦系統(tǒng)研究與應(yīng)用，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的日益發(fā)展,手機(jī)、平板電腦等智能終端的出現(xiàn),人們?cè)诠ぷ骱蜕钪性絹碓揭蕾嚲W(wǎng)絡(luò),同時(shí)也產(chǎn)生大量的數(shù)據(jù)文件,對(duì)于如此海量的數(shù)據(jù),加之用戶有時(shí)不能清晰的表達(dá)查詢意圖,使得用戶很難快速、準(zhǔn)確的找出所需要的信息,為此學(xué)者們進(jìn)行了許多相關(guān)的研究,其中有效的技術(shù)方案主要包括搜索引擎中的查詢推薦算法和基于偏好的推薦系統(tǒng)。查詢推薦算法通過構(gòu)造一組與原查詢?cè)~相關(guān)的查詢?cè)~幫助用戶明確查詢意圖。推薦系統(tǒng)以用戶行為、偏好作為依據(jù),主動(dòng)為用戶推薦符合其偏好的信息。由于用戶數(shù)量、數(shù)據(jù)規(guī)模的快速增長,而傳統(tǒng)推薦算法以單機(jī)運(yùn)行為主,計(jì)算復(fù)雜度普遍較高,計(jì)算難度大,已經(jīng)不能滿足海量數(shù)據(jù)推薦計(jì)算的需求,產(chǎn)生了推薦時(shí)間緩慢、準(zhǔn)確率下降等一系列問題。為了更好的解決推薦算法的可擴(kuò)展性、準(zhǔn)確性問題,本文在深入研究HDFS分布式系統(tǒng)和MapReduce編程思想的基礎(chǔ)上,針對(duì)近年來提出的網(wǎng)絡(luò)推薦算法,分別提出了查詢推薦算法和基于偏好的協(xié)同過濾推薦算法在MapReduce編程模型下的分布式并行化算法,并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于Hadoop的電影推薦原型系統(tǒng)。主要工作內(nèi)容如下:首先,介紹了推薦算法和云計(jì)算方面國內(nèi)外的研究現(xiàn)狀,然后重點(diǎn)闡述了推薦系統(tǒng)及主流協(xié)同過濾算法,具體分析了Hadoop相關(guān)技術(shù),為基于Hadoop的并行化算法提供了理論依據(jù)。然后,針對(duì)搜索引擎中的查詢推薦算法,提出了基于Hadoop的最小生成樹聚類算法來實(shí)現(xiàn)查詢推薦,通過一系列測試和結(jié)果分析驗(yàn)證了算法在集群上具有良好的并行性和擴(kuò)展性。在基于偏好的推薦系統(tǒng)方面,提出了基于奇異值分解的協(xié)同過濾算法并行化改進(jìn)與優(yōu)化方案,通過實(shí)驗(yàn)證明改進(jìn)方法可以進(jìn)一步提高算法的效率和準(zhǔn)確率。最后,在MovieLens數(shù)據(jù)集基礎(chǔ)上,結(jié)合本文提出的分布式推薦算法,設(shè)計(jì)、實(shí)現(xiàn)和部署了基于Hadoop的電影推薦原型系統(tǒng),通過測試系統(tǒng)能夠正常運(yùn)行和使用,充分體現(xiàn)了云計(jì)算與推薦算法結(jié)合的優(yōu)勢(shì)。
【關(guān)鍵詞】：推薦系統(tǒng) Hadoop 查詢推薦 協(xié)同過濾
【學(xué)位授予單位】：華北電力大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP391.3
【目錄】：

• 摘要5-6
• Abstract6-9
• 第1章 緒論9-13
• 1.1 課題背景及意義9-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-11
• 1.3 課題主要的研究內(nèi)容11
• 1.4 論文的組織結(jié)構(gòu)11-13
• 第2章 相關(guān)技術(shù)基礎(chǔ)13-24
• 2.1 推薦系統(tǒng)綜述13-19
• 2.1.1 推薦系統(tǒng)的定義13-14
• 2.1.2 推薦算法介紹14-16
• 2.1.3 推薦系統(tǒng)的應(yīng)用16-19
• 2.2 Hadoop體系架構(gòu)19-23
• 2.2.1 Hadoop簡介19-20
• 2.2.2 HDFS分布式文件系統(tǒng)20-21
• 2.2.3 Map Reduce編程模型21
• 2.2.4 云存儲(chǔ)系統(tǒng)結(jié)構(gòu)21-23
• 2.3 本章小結(jié)23-24
• 第3章 基于Hadoop的最小生成樹查詢推薦算法24-32
• 3.1 基于分布式MST的查詢推薦方法24-26
• 3.1.1 算法步驟24
• 3.1.2 構(gòu)造二分圖24
• 3.1.3 相似度計(jì)算24-25
• 3.1.4 并行最小生成樹聚類算法25-26
• 3.2 基于Map Reduce的分布式算法實(shí)現(xiàn)26-29
• 3.2.1 基于Map Reduce構(gòu)造搜索詞-鏈接地址二分圖26-27
• 3.2.2 基于Map Reduce構(gòu)造全局帶權(quán)無向圖27-28
• 3.2.3 計(jì)算帶權(quán)無向圖的最小生成樹28-29
• 3.3 實(shí)驗(yàn)結(jié)果及分析29-31
• 3.3.1 數(shù)據(jù)集29
• 3.3.2 實(shí)驗(yàn)結(jié)果分析29-31
• 3.4 本章小結(jié)31-32
• 第4章 基于Hadoop的PSVD協(xié)同過濾算法32-37
• 4.1 基于奇異值分解的協(xié)同過濾算法32
• 4.2 基于SVD的協(xié)同過濾算法并行化32-34
• 4.3 實(shí)驗(yàn)結(jié)果及分析34-36
• 4.3.1 數(shù)據(jù)集34
• 4.3.2 評(píng)價(jià)指標(biāo)34-35
• 4.3.3 實(shí)驗(yàn)分析35-36
• 4.4 本章小結(jié)36-37
• 第5章 基于Hadoop的原型推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)37-43
• 5.1 Hadoop云計(jì)算平臺(tái)與開發(fā)環(huán)境的搭建與配置37-38
• 5.2 原型系統(tǒng)設(shè)計(jì)38-40
• 5.2.1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)38
• 5.2.2 系統(tǒng)模塊設(shè)計(jì)38-40
• 5.3 原型系統(tǒng)實(shí)現(xiàn)40-42
• 5.3.1 查詢推薦功能實(shí)現(xiàn)40
• 5.3.2 用戶輸入功能實(shí)現(xiàn)40-41
• 5.3.3 偏好推薦功能實(shí)現(xiàn)41-42
• 5.4 本章小結(jié)42-43
• 第6章 總結(jié)與展望43-44
• 6.1 本文總結(jié)43
• 6.2 未來的工作43-44
• 參考文獻(xiàn)44-47
• 攻讀碩士學(xué)位期間發(fā)表的論文及其它成果47-48
• 致謝48

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 米可菲;張勇;邢春曉;蔚欣;;面向大數(shù)據(jù)的開源推薦系統(tǒng)分析[J];計(jì)算機(jī)與數(shù)字工程;2013年10期

2 脫建勇;王嵩;李秀;劉文煌;;精品課共享中的推薦系統(tǒng)框架與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年17期

3 蘇冠賢;張麗霞;林丕源;劉吉平;;生物信息學(xué)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2007年05期

4 王改芬;;推薦系統(tǒng)研究綜述[J];軟件導(dǎo)刊;2007年23期

5 葉群來;;營銷與網(wǎng)絡(luò)推薦系統(tǒng)[J];電子商務(wù);2007年10期

6 李媚;;個(gè)性化網(wǎng)絡(luò)學(xué)習(xí)資源推薦系統(tǒng)研究[J];福建電腦;2008年12期

7 潘冉;姜麗紅;;基于經(jīng)濟(jì)學(xué)模型的推薦系統(tǒng)的研究[J];計(jì)算機(jī)應(yīng)用與軟件;2008年03期

8 劉魯;任曉麗;;推薦系統(tǒng)研究進(jìn)展及展望[J];信息系統(tǒng)學(xué)報(bào);2008年01期

9 劉小燕;陳艷麗;賈宗璞;沈記全;;基于增強(qiáng)學(xué)習(xí)的旅行計(jì)劃推薦系統(tǒng)[J];計(jì)算機(jī)工程;2010年21期

10 曹畋;;智能推薦系統(tǒng)在知識(shí)瀏覽領(lǐng)域的應(yīng)用[J];硅谷;2011年21期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前8條

1 張燕;李燕萍;;基于內(nèi)容分析和點(diǎn)擊率記錄的混合音樂推薦系統(tǒng)[A];2009年通信理論與信號(hào)處理學(xué)術(shù)年會(huì)論文集[C];2009年

2 趙欣;寇綱;鄔文帥;盧艷群;;基于時(shí)間密集性的推薦系統(tǒng)攻擊檢測[A];第六屆（2011）中國管理學(xué)年會(huì)論文摘要集[C];2011年

3 張玉連;張波;張敏;;改進(jìn)的個(gè)性化信息推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年全國理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

4 王君;許潔萍;;層次音樂推薦系統(tǒng)的研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

5 潘宇;林鴻飛;楊志豪;;基于用戶聚類的電子商務(wù)推薦系統(tǒng)[A];第三屆學(xué)生計(jì)算語言學(xué)研討會(huì)論文集[C];2006年

6 尤忠彬;陳越;張英;朱揚(yáng)勇;;基于Web服務(wù)的技術(shù)轉(zhuǎn)移平臺(tái)推薦系統(tǒng)研究[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

7 王國霞;劉賀平;李擎;;二部圖影射及其在推薦系統(tǒng)中的應(yīng)用[A];第25屆中國控制與決策會(huì)議論文集[C];2013年

8 王雪;董愛華;吳怡之;;基于RFID技術(shù)的智能服裝推薦系統(tǒng)設(shè)計(jì)[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2011年

中國重要報(bào)紙全文數(shù)據(jù)庫 前2條

1 ;大數(shù)據(jù)如何“落地”[N];中國新聞出版報(bào);2014年

2 本報(bào)記者 鄒大斌;大數(shù)據(jù)：電商新武器[N];計(jì)算機(jī)世界;2012年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王宏宇;商務(wù)推薦系統(tǒng)的設(shè)計(jì)研究[D];中國科學(xué)技術(shù)大學(xué);2007年

2 楊東輝;基于情感相似度的社會(huì)化推薦系統(tǒng)研究[D];哈爾濱工業(yè)大學(xué);2014年

3 曹渝昆;基于神經(jīng)網(wǎng)絡(luò)和模糊邏輯的智能推薦系統(tǒng)研究[D];重慶大學(xué);2006年

4 王立才;上下文感知推薦系統(tǒng)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

5 劉龍;一個(gè)能實(shí)現(xiàn)個(gè)性化實(shí)時(shí)路徑推薦服務(wù)的推薦系統(tǒng)框架[D];中國科學(xué)技術(shù)大學(xué);2014年

6 李濤;推薦系統(tǒng)中若干關(guān)鍵問題研究[D];南京航空航天大學(xué);2009年

7 劉士琛;面向推薦系統(tǒng)的關(guān)鍵問題研究及應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2014年

8 李方方;非獨(dú)立同分布推薦系統(tǒng)研究[D];北京理工大學(xué);2014年

9 李曉建;基于語義的個(gè)性化資源推薦系統(tǒng)中關(guān)鍵技術(shù)研究[D];武漢大學(xué);2010年

10 張堯;B2C環(huán)境下用戶感知可信的推薦系統(tǒng)理論及其關(guān)鍵方法研究[D];哈爾濱工業(yè)大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 朱孔真;基于云計(jì)算的電子商務(wù)智能推薦系統(tǒng)研究[D];武漢理工大學(xué);2014年

2 郭敬澤;基于賦權(quán)評(píng)分和Dpark的分布式推薦系統(tǒng)研究與實(shí)現(xiàn)[D];天津理工大學(xué);2015年

3 周俊宇;信息推薦系統(tǒng)的研究與設(shè)計(jì)[D];江南大學(xué);2015年

4 李煒;基于電子商務(wù)平臺(tái)的保險(xiǎn)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2013年

5 車豐;基于排序主題模型的論文推薦系統(tǒng)[D];大連海事大學(xué);2015年

6 秦大路;基于因式分解機(jī)模型的上下文感知推薦系統(tǒng)研究[D];鄭州大學(xué);2015年

7 徐霞婷;動(dòng)態(tài)路網(wǎng)監(jiān)控與導(dǎo)航推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2015年

8 黃學(xué)峰;基于Hadoop的電影推薦系統(tǒng)研究與實(shí)現(xiàn)[D];南京師范大學(xué);2015年

9 路小瑞;基于Hadoop平臺(tái)的職位推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

10 李愛寶;基于組合消費(fèi)行為分析的團(tuán)購?fù)扑]系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

  本文關(guān)鍵詞：基于Hadoop的推薦系統(tǒng)研究與應(yīng)用，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：324642