發(fā)布時(shí)間：2024-06-02 06:07

　　當(dāng)前已進(jìn)入大數(shù)據(jù)時(shí)代,網(wǎng)絡(luò)的普及和應(yīng)用,也產(chǎn)生了大量的數(shù)據(jù)信息。用戶如何進(jìn)行信息甄別,快速找到自己所需的,有價(jià)值的信息,是互聯(lián)網(wǎng)從業(yè)者們亟需解決的問題。為篩選出有價(jià)值的正確信息,推薦系統(tǒng)開始逐漸發(fā)展起來。推薦系統(tǒng)記錄并收集用戶歷史行為信息,通過大量信息運(yùn)算分析出用戶與用戶、物品與物品兩兩之間的相似度,進(jìn)而篩選出用戶可能感興趣的物品,成為一種主動(dòng)性強(qiáng),智能程度高的信息篩選技術(shù)。當(dāng)前,推薦系統(tǒng)日益成熟,在移動(dòng)網(wǎng)絡(luò)應(yīng)用中已得到了普及,如當(dāng)前最流行的社交軟件、電子商務(wù)、音視頻領(lǐng)域。推薦系統(tǒng)要能充分了解用戶最感興趣的內(nèi)容、從而把握他的需求,并能從大量的數(shù)據(jù)中快速找到有價(jià)值的信息。推薦系統(tǒng)若是結(jié)合了基于大數(shù)據(jù)的分布式計(jì)算平臺(tái),數(shù)據(jù)分析能力會(huì)更為強(qiáng)大,處理效率也會(huì)更高。這也是推薦系統(tǒng)的功能定位,更是大數(shù)據(jù)技術(shù)在實(shí)踐中的具體應(yīng)用。在Hadoop平臺(tái)之后,又出現(xiàn)了Spark平臺(tái),這是一款基于內(nèi)存的分布式計(jì)算系統(tǒng),比起Hadoop模型,設(shè)計(jì)思想更為先進(jìn),引入了迭代并行化理念,不管是性能,還是速度,都更為優(yōu)越。本文的研究分為以下幾個(gè)部分:(1)搭建基于Spark環(huán)境的數(shù)據(jù)倉庫,以應(yīng)用于推薦應(yīng)用引擎中,為分布...

【文章頁數(shù)】：68 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖4.10電影評(píng)分界面

圖4.10電影評(píng)分界面.4本章小結(jié)本章主要對(duì)基于Spark的混合模式電影推薦系統(tǒng)從工程開發(fā)的設(shè)計(jì)與實(shí)現(xiàn)方面來了介紹。主要包括對(duì)系統(tǒng)架構(gòu)的設(shè)計(jì)、系統(tǒng)的流程設(shè)計(jì)以及系統(tǒng)的部署實(shí)現(xiàn)，系架構(gòu)層面主要介紹了系統(tǒng)的整體架構(gòu)以及系統(tǒng)后臺(tái)的架構(gòu)，并且對(duì)相應(yīng)的架構(gòu)圖行了解釋說明，系統(tǒng)的流....

圖4-1推薦系統(tǒng)的功能模塊劃分Figure4-1Functionalmoduledivisionoftherecommendationsystem

第4章基于Spark的電影推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)第29頁/共61頁第4章基于Spark的電影推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)本章結(jié)合前文所介紹的Spark相關(guān)技術(shù)和所提出的混合推薦算法，以電影推薦系統(tǒng)為例，對(duì)系統(tǒng)需要的功能進(jìn)行了劃分，對(duì)系統(tǒng)的整體架構(gòu)、混合推薦引擎、Web客戶端架構(gòu)以及MySQL數(shù)....

圖2.1Spark系統(tǒng)架構(gòu)圖

廣東工業(yè)大學(xué)碩士學(xué)位論文8圖2.1Spark系統(tǒng)架構(gòu)圖Spark采用的框架是主從模型中的分布式計(jì)算。Master是集群主節(jié)點(diǎn)，其功能是負(fù)責(zé)任務(wù)管理和集群資源調(diào)度；Slave是集群從節(jié)點(diǎn)，負(fù)責(zé)任務(wù)的執(zhí)行和計(jì)算，其作用是接受指令和匯報(bào)狀態(tài)。如果Spark處于Yarn模式，Master....

圖2.2Spark運(yùn)行圖

第二章相關(guān)技術(shù)9圖2.2Spark運(yùn)行圖2.1.2Spark平臺(tái)的設(shè)計(jì)理念Spark在早期設(shè)計(jì)時(shí)，主要是致力于節(jié)省帶寬，減少存儲(chǔ)系統(tǒng)的輸入輸出，為滿足這一要求，加州大學(xué)實(shí)驗(yàn)室采用了一種數(shù)據(jù)集應(yīng)用，即RDD，RDD是分布式的，基于內(nèi)存系統(tǒng)上的，能兼容當(dāng)前主流使用的各種系統(tǒng)。RDD可....

本文編號(hào)：3986964