【摘要】：隨著互聯(lián)網(wǎng)的飛速發(fā)展,數(shù)據(jù)充斥著人們?nèi)粘Ｉ畹姆椒矫婷?人們已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。而數(shù)據(jù)中卻蘊(yùn)藏著豐富的有價(jià)值的信息,面對(duì)數(shù)據(jù)的爆炸式增長(zhǎng),如何運(yùn)用有效的方法挖掘出數(shù)據(jù)中有價(jià)值的信息在大數(shù)據(jù)的研究課題中具有重要意義。Hadoop作為一個(gè)開源的分布式大數(shù)據(jù)處理框架,采用Hadoop Distributed File System(HDFS)進(jìn)行存儲(chǔ)和Map Reduce(MR)進(jìn)行計(jì)算,但面對(duì)海量數(shù)據(jù)計(jì)算,基于MR計(jì)算已經(jīng)無(wú)法滿足用戶日益提高的服務(wù)要求。而Spark的誕生大大改善了這一點(diǎn),它是基于內(nèi)存計(jì)算的分布式大數(shù)據(jù)處理框架,使用Resilient Distributed Datasets(RDD)數(shù)據(jù)模型編程,與MR相比,大大減少了磁盤的I/O次數(shù),特別是在高迭代的數(shù)據(jù)計(jì)算中表現(xiàn)的尤為明顯。因此,Spark一經(jīng)誕生迅速受到了廣大企業(yè)、學(xué)者的追捧。推薦系統(tǒng)是解決信息過(guò)載的有效辦法,本文采用協(xié)同過(guò)濾算法基于Spark平臺(tái)實(shí)現(xiàn)一個(gè)視頻推薦系統(tǒng)幫助用戶在海量視頻數(shù)據(jù)中挖掘出真正想要的視頻信息。但使用Spark平臺(tái)進(jìn)行數(shù)據(jù)處理過(guò)程花費(fèi)的時(shí)間也很漫長(zhǎng),不能夠滿足用戶的需求,而搭建分布式的Spark集群可以實(shí)現(xiàn)數(shù)據(jù)并行化計(jì)算,從而有效提高計(jì)算效率。本文通過(guò)對(duì)推薦算法并行化設(shè)計(jì)以及推薦系統(tǒng)的分析與設(shè)計(jì),完成了基于Spark的視頻推薦系統(tǒng)的實(shí)現(xiàn)。主要所做的工作如下:(1)基于Spark的視頻推薦算法的并行化設(shè)計(jì)。首先通過(guò)對(duì)推薦算法和Spark平臺(tái)及其各個(gè)組件的了解,詳細(xì)設(shè)計(jì)了推薦算法在分布式的Spark集群中的并行化實(shí)現(xiàn)過(guò)程,包括基于項(xiàng)目的協(xié)同過(guò)濾和基于用戶的協(xié)同過(guò)濾推薦算法的并行化實(shí)現(xiàn)。最后,通過(guò)對(duì)比實(shí)驗(yàn)比較了推薦算法在基于Spark集群和基于Hadoop集群上的性能差異。(2)基于Spark的視頻推薦系統(tǒng)的實(shí)現(xiàn)。本文主要是基于Spark平臺(tái)完成了視頻推薦系統(tǒng)的實(shí)現(xiàn),系統(tǒng)將獲取的Web日志進(jìn)行預(yù)處理存入數(shù)據(jù)庫(kù)中,訓(xùn)練推薦模型,采用實(shí)時(shí)和離線推薦相結(jié)合的方式給用戶產(chǎn)生推薦列表。系統(tǒng)將數(shù)據(jù)處理以及模型訓(xùn)練在Ubuntu系統(tǒng)上的Spark集群中進(jìn)行,而將視頻推薦和業(yè)務(wù)邏輯模塊以及推薦列表展示在Windows系統(tǒng)中進(jìn)行。
【圖文】：

搭建 Spark 集群對(duì)硬件設(shè)備要求比較高，鑒于資源有限，在這次搭建 Spark群之前，預(yù)先設(shè)計(jì)的是使用 1 個(gè) Master 節(jié)點(diǎn)和 3 個(gè) Worker 節(jié)點(diǎn)。待全部部署[26]功后啟動(dòng)整個(gè) Spark 集群，可以看到每個(gè)節(jié)點(diǎn)啟動(dòng)的進(jìn)程，具體如圖 2.1 所示：1 在部署集群之前，預(yù)設(shè)的是 1 個(gè)主節(jié)點(diǎn)和 3 個(gè)工作節(jié)點(diǎn)。2 啟動(dòng) Spark 集群之后，在每個(gè)節(jié)點(diǎn)的圖形化界面輸入命令 jps，在主節(jié)上有 1 個(gè)主節(jié)點(diǎn)守護(hù)進(jìn)程，在其它工作節(jié)點(diǎn)上分別有 1 個(gè)工作節(jié)點(diǎn)守護(hù)進(jìn)程。3 主節(jié)點(diǎn)和工作節(jié)點(diǎn)在集群中所擔(dān)任的任務(wù)是不同的，主節(jié)點(diǎn)主要負(fù)責(zé)所工作節(jié)點(diǎn)，而工作節(jié)點(diǎn)主要負(fù)責(zé)執(zhí)行相關(guān)任務(wù)。4 Driver 職責(zé)是轉(zhuǎn)換用戶程序到 task，并在在 Executor 上調(diào)度 task。5 每 個(gè) 工 作 節(jié) 點(diǎn) 包 含 一 個(gè) Worker 守 護(hù) 進(jìn) 程 ， Worker 又 包 含 多 個(gè)cutorRunner 對(duì)象，ExcutorRunner 對(duì)象又包含 ExcutorBackend 進(jìn)程，每個(gè)cutorBackend 擁有一個(gè) Executor 對(duì)象，Executor 包含一個(gè)或者多個(gè) task，當(dāng)要工作節(jié)點(diǎn)執(zhí)行任務(wù)時(shí)，就是 task 在工作。

RDD 自身的 Lineage 機(jī)制，會(huì)將 RDD 之間的變換進(jìn)行記錄。比如，它會(huì)記錄父代RDD 是經(jīng)過(guò)了怎樣的轉(zhuǎn)換或者動(dòng)作，才由父代 RDD 得到該 RDD 的信息，所以 Spark具備的容錯(cuò)特性比較優(yōu)良。2.2.2 Spark 的核心Spark 的核心是 RDD，即彈性分布式數(shù)據(jù)集，它是 Spark 的編程模型，這種新型數(shù)據(jù)集的由來(lái)非常廣泛，既可以通過(guò)外部存儲(chǔ)系統(tǒng)導(dǎo)入，也可以通過(guò)其他 RDD運(yùn)算而來(lái)。在 RDD 之上，可以進(jìn)行三種類型的運(yùn)算：分別是 Transformation（轉(zhuǎn)換），Action（動(dòng)作），Persistence（持久化），Transformation 操作包括 map、flatMap、reduceByKey 等函數(shù)，這些操作運(yùn)算的結(jié)果會(huì)產(chǎn)生另外一個(gè) RDD，但是不會(huì)立即執(zhí)行，，它會(huì)等到執(zhí)行 Action 運(yùn)算時(shí)，才會(huì)實(shí)際執(zhí)行；Action 操作包括reduce、collect、first 等函數(shù)，這些操作運(yùn)行的結(jié)果不會(huì)產(chǎn)生另外一個(gè) RDD，但是會(huì)立即執(zhí)行，并且連同之前的“轉(zhuǎn)換”操作一起執(zhí)行；RDD 在內(nèi)存中進(jìn)行計(jì)算時(shí)會(huì)經(jīng)常使用同一個(gè)數(shù)據(jù)集，那么利用 RDD 的持久化技術(shù)可以實(shí)現(xiàn)數(shù)據(jù)的重復(fù)利用，以此來(lái)提高任務(wù)執(zhí)行的性能。下面將以圖 2.2 說(shuō)明：
【學(xué)位授予單位】：重慶師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉天嘯;;大數(shù)據(jù)背景下新聞推薦系統(tǒng)中的問(wèn)題以及解決對(duì)策[J];科技傳播;2019年13期

2 劉強(qiáng);;推薦系統(tǒng)的商業(yè)價(jià)值[J];軟件和集成電路;2019年04期

3 王月星;;國(guó)內(nèi)旅游推薦系統(tǒng)研究進(jìn)展[J];商場(chǎng)現(xiàn)代化;2017年10期

4 常亮;曹玉婷;孫文平;張偉濤;陳君同;;旅游推薦系統(tǒng)研究綜述[J];計(jì)算機(jī)科學(xué);2017年10期

5 王毅;;網(wǎng)絡(luò)推薦系統(tǒng)的三大挑戰(zhàn)——從用戶體驗(yàn)出發(fā)[J];清華管理評(píng)論;2013年06期

6 王海明;;基于大數(shù)據(jù)下電子商務(wù)商品推薦系統(tǒng)的分析[J];環(huán)球市場(chǎng)信息導(dǎo)報(bào);2017年27期

7 ;電商推薦系統(tǒng)進(jìn)階[J];IT經(jīng)理世界;2013年11期

8 王霞;;電子商務(wù)推薦系統(tǒng)評(píng)述[J];福建電腦;2006年08期

9 傅孟如;姜素蘭;閔婭萍;;VAX—11/750機(jī)學(xué)生測(cè)評(píng)、推薦系統(tǒng)的設(shè)計(jì)與應(yīng)用[J];計(jì)算技術(shù)與自動(dòng)化;1989年03期

10 張佳威;;美團(tuán)推薦系統(tǒng)實(shí)證系統(tǒng)[J];農(nóng)家參謀;2018年11期

相關(guān)會(huì)議論文 前10條

1 張燕;李燕萍;;基于內(nèi)容分析和點(diǎn)擊率記錄的混合音樂推薦系統(tǒng)[A];2009年通信理論與信號(hào)處理學(xué)術(shù)年會(huì)論文集[C];2009年

2 高夢(mèng)晨;;推薦系統(tǒng)用戶感知調(diào)研[A];工業(yè)設(shè)計(jì)研究（第六輯）[C];2018年

3 李成;胡文麗;;推薦系統(tǒng)體驗(yàn)?zāi)Ｐ吞剿鳌砸曨l推薦為例[A];工業(yè)設(shè)計(jì)研究（第六輯）[C];2018年

4 李成;馮青青;;推薦系統(tǒng)準(zhǔn)確度衡量方案——引入權(quán)重概念[A];工業(yè)設(shè)計(jì)研究（第五輯）[C];2017年

5 王曉光;施玉海;尹亞光;;面向廣電的節(jié)目推薦系統(tǒng)研究[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2017年學(xué)術(shù)年會(huì)論文集（學(xué)術(shù)論文篇）[C];2017年

6 周小田;王宏志;郭翔宇;胡筱;董志鑫;李建中;高宏;;基于知識(shí)庫(kù)的互聯(lián)網(wǎng)商品信息分類與推薦系統(tǒng)[A];第29屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）（NDBC2012）[C];2012年

7 湯娟梅;唐嶺;;個(gè)性化英語(yǔ)閱讀文章推薦系統(tǒng)的設(shè)計(jì)[A];計(jì)算機(jī)與教育：理論、實(shí)踐與創(chuàng)新——全國(guó)計(jì)算機(jī)輔助教育學(xué)會(huì)第十四屆學(xué)術(shù)年會(huì)論文集[C];2010年

8 王雪;董愛華;吳怡之;;基于RFID技術(shù)的智能服裝推薦系統(tǒng)設(shè)計(jì)[A];2011年全國(guó)電子信息技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2011年

9 張玉連;張波;張敏;;改進(jìn)的個(gè)性化信息推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

10 王君;許潔萍;;層次音樂推薦系統(tǒng)的研究[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

相關(guān)重要報(bào)紙文章 前5條

1 記者 周源;知意圖發(fā)布推薦系統(tǒng)Etu Recommender[N];網(wǎng)絡(luò)世界;2012年

2 本報(bào)記者 鄒大斌;大數(shù)據(jù)：電商新武器[N];計(jì)算機(jī)世界;2012年

3 本報(bào)記者 馮衛(wèi)東;網(wǎng)絡(luò)導(dǎo)購(gòu)：找出你的最愛[N];科技日?qǐng)?bào);2007年

4 本報(bào)記者 邱燕娜;精準(zhǔn)推薦 一客一市場(chǎng)[N];中國(guó)計(jì)算機(jī)報(bào);2012年

5 張秋明;用數(shù)據(jù)是新技能[N];福州日?qǐng)?bào);2015年

相關(guān)博士學(xué)位論文 前10條

1 王夢(mèng)晗;推薦系統(tǒng)中數(shù)據(jù)缺失問(wèn)題的研究[D];浙江大學(xué);2019年

2 張亮;網(wǎng)絡(luò)推薦系統(tǒng)中基于時(shí)間信息的新穎性研究[D];廈門大學(xué);2017年

3 夏彬;基于位置信息社交網(wǎng)絡(luò)的推薦系統(tǒng)研究[D];南京理工大學(xué);2018年

4 蔣偉;推薦系統(tǒng)若干關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2018年

5 練建勛;基于多樣化內(nèi)容數(shù)據(jù)的個(gè)性化推薦系統(tǒng)[D];中國(guó)科學(xué)技術(shù)大學(xué);2018年

6 曹渝昆;基于神經(jīng)網(wǎng)絡(luò)和模糊邏輯的智能推薦系統(tǒng)研究[D];重慶大學(xué);2006年

7 王宏宇;商務(wù)推薦系統(tǒng)的設(shè)計(jì)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2007年

8 顏端武;面向知識(shí)服務(wù)的智能推薦系統(tǒng)研究[D];南京理工大學(xué);2007年

9 劉龍;一個(gè)能實(shí)現(xiàn)個(gè)性化實(shí)時(shí)路徑推薦服務(wù)的推薦系統(tǒng)框架[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

10 楊東輝;基于情感相似度的社會(huì)化推薦系統(tǒng)研究[D];哈爾濱工業(yè)大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 于洋;商品推薦系統(tǒng)中冷啟動(dòng)問(wèn)題的研究及實(shí)現(xiàn)[D];天津理工大學(xué);2019年

2 何q諛

本文編號(hào)：2590080