發(fā)布時(shí)間：2019-11-02 08:46

【摘要】：近年來,通信技術(shù)和互聯(lián)網(wǎng)技術(shù)飛速發(fā)展,人們對(duì)社會(huì)化媒體的使用也隨之驟增,網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)越來越多。在這樣的環(huán)境下,推薦系統(tǒng)作為一種有效解決數(shù)據(jù)過載問題的技術(shù),得到了廣泛的關(guān)注和研究。同時(shí),大數(shù)據(jù)技術(shù)的成熟應(yīng)用使得數(shù)據(jù)處理的速度大幅度提升。本文的研究課題正是基于推薦系統(tǒng)技術(shù)以及其與大數(shù)據(jù)技術(shù)的結(jié)合進(jìn)行的。本文分析了課題的研究背景和國(guó)內(nèi)外的研究現(xiàn)狀,在對(duì)推薦系統(tǒng)技術(shù)的國(guó)內(nèi)外研究做出調(diào)研總結(jié)之后,著重研究了基于鄰域的協(xié)同過濾和基于模型的協(xié)同過濾推薦技術(shù),在此基礎(chǔ)上進(jìn)行自己的改進(jìn)和創(chuàng)新,提出了一種融合推薦算法。在只有評(píng)分?jǐn)?shù)據(jù)的場(chǎng)景下,深度融合基于項(xiàng)目鄰域的協(xié)同過濾算法KNNitem和基于矩陣降維模型的推薦算法RSVD,結(jié)合這兩種算法的優(yōu)點(diǎn),從而同時(shí)考慮了局部相似度和全局相似度,提升了推薦算法的準(zhǔn)確度。隨后采用北郵人論壇的實(shí)際數(shù)據(jù)進(jìn)行試驗(yàn)證明,改進(jìn)的推薦算法具有更好的推薦效果。同時(shí),本文針對(duì)大數(shù)據(jù)時(shí)代推薦系統(tǒng)的數(shù)據(jù)處理速度慢的問題,將推薦系統(tǒng)與大數(shù)據(jù)技術(shù)相結(jié)合,通過對(duì)開源的推薦系統(tǒng)的研究和分析,總結(jié)出基于大數(shù)據(jù)技術(shù)的個(gè)性化推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)方法,基于Mahout框架進(jìn)行個(gè)性化推薦系統(tǒng)的構(gòu)建。通過分層設(shè)計(jì)的模式對(duì)個(gè)性化推薦系統(tǒng)進(jìn)行設(shè)計(jì),闡述各層的功能和設(shè)計(jì)原理,隨后通過程序的編寫對(duì)系統(tǒng)進(jìn)行實(shí)現(xiàn)。
【圖文】：

Ｓ客戶端的操作提供服務(wù)，所有的客戶端請(qǐng)求先到達(dá)ＮａｍｅＮｏｄｅ，然后ｅｄｕｃｅ框架進(jìn)行處理。Ｍａｐ操作將文件分割成小數(shù)據(jù)塊然后將它們分的數(shù)據(jù)節(jié)點(diǎn)以及備份節(jié)點(diǎn)，在需要從分布式文件系統(tǒng)中讀取數(shù)據(jù)時(shí)，Ｒｅ將各個(gè)節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行整合。對(duì)于每一個(gè)讀操作，Ｒｅｄｕｃｅ操作ｅＮｏｄｅ的命名空間收集兀數(shù)據(jù)信息，而從每個(gè)數(shù)據(jù)節(jié)點(diǎn)收集數(shù)據(jù)信息，們一起呈現(xiàn)給客戶端。逡逑ＤａｔａＮｏｄｅ是數(shù)據(jù)存儲(chǔ)甘點(diǎn)，Ｈａｄｏｏｐ的所有數(shù)據(jù)都存儲(chǔ)在數(shù)據(jù)節(jié)點(diǎn)。Ｓ集群由一個(gè)主節(jié)點(diǎn)和許多數(shù)據(jù)節(jié)點(diǎn)組成。當(dāng)用戶需要在Ｈａｄｏｏｐ上存文件時(shí)，大文件被拆分成不間的模塊存儲(chǔ)在一組數(shù)據(jù)節(jié)點(diǎn)上。ＮａｍｅＮｏｄ據(jù)塊的映射操作，間時(shí)存儲(chǔ)相關(guān)的兀數(shù)據(jù)信息，為客戶端的各種操作作指令來白ＮａｍｅＮｏｄｅ。逡逑ＨＤＦＳ的所有組成部分都運(yùn)行于Ｌｉｎｕｘ操作系統(tǒng)和廉價(jià)的普通機(jī)器上，ＤＦＳ的實(shí)現(xiàn)變得十分簡(jiǎn)單和廉價(jià)。ＨＤＦＳ基于Ｊａｖａ語(yǔ)言實(shí)現(xiàn)，，而Ｊａｖａ，并且具有平臺(tái)獨(dú)立性，這使得ＨＤＦＳ容易被廣泛接受。圖２－１直觀的ＤＦＳ的架構(gòu)組成。逡逑＿／邋ＮａｍｅＮｏｄｅ逡逑

ｖａｌｕｅ〉形式。然后ｒｅｄｕｃｅ函數(shù)開始工作，輸入為＜ｋｅｙ，（Ｉｉｓｔ邋ｏｆ邋ｖａｌｕｅｓ）〉形式，逡逑對(duì)這個(gè)數(shù)據(jù)集進(jìn)行處理后，每個(gè)ｒｅｄｕｃｅ函數(shù)產(chǎn)生１個(gè)或０個(gè)輸出，其形式為逡逑＜ｋｅｙ，ｖａｌｕｅ〉。ＭａｐＲｅｄｕｃｅ具體的數(shù)據(jù)處理過程如圖２－２所不逡逑Ｉｎｐｕｔ邐Ｍａｐｐｅｒｓ邋Ｍｉｄｄｌｅ邋Ｒｅｓｕｌｔ邐Ｒｅｄｕｃｅｒｓ邐Ｏｕｔｐｕｔ逡逑「邋＂１邋邐｜邋；邋｜逡逑ＳｐＩｉ＇Ｏ邐－邋－Ｉ邋？邋Ｍａｐ（）邐邐＼＾ｌ邐！邐邐邋ｉ邋邐邋！逡逑——｜￣？邋Ｒｅｄｕｃｅ邋（）——？邋ｐａｒｔＯ逡逑Ｓｐｌｉｔｌ邋－］－？邋Ｍａｐ0邋邐［？邐邋Ｙ邐｜邐！逡逑！邋邐邋｜邋邐邋］邋邐ｙｊｊ邐—｜￣￣？邋Ｒｅｄｕｃｅ0邋邋Ｋ邋ｐａｒｔｉ逡逑ｉ邋Ｓｐ邋１邋ｉ邋ｔ２邋１邋？邋Ｍａｐ邋（）邋邐邐／邐邐邋！邐＇逡逑ｉｉｉ邐ｉ邐１邐ｉ逡逑ｉ邋邐邋ｉ邋邐邋ｉ邋邐邋ｉ邐ｉ邐ｉ逡逑？邐ｉ邐ｉ邐ｉ邐！邐ｉ逡逑圖２－２邋ＭａｐＲｅｄｕｃｅ處理數(shù)據(jù)流程逡逑２．邋１．２邋Ｍａｈｏｕｔ邋介紹逡逑Ｍａｈｏｕｔ丨２１丨足邋Ａｐａｃｈｅ邋Ｓｏｆｔｗａｒｅ邋Ｆｏｕｎｄａｔｉｏｎ邋（ＡＳＦ）的開源項(xiàng)目之一，它足一個(gè)逡逑基于Ｈａｄｏｏｐ的機(jī)器學(xué)＞」和數(shù)據(jù)挖掘的分布式計(jì)算框架，運(yùn)行于Ｈａｄｏｏｐ系統(tǒng)之逡逑匕與Ｈａｄｏｏｐ類似，它也基于Ｊａｖａ編寫而成。所以可以在任何運(yùn)行ＪＶＭ的平逡逑臺(tái)ｈ．進(jìn)行使用。它提供了一個(gè)算法集來解決聚類、分類和預(yù)測(cè)等問題。它與逡逑Ｈａｄｏｏｐ的ＭａｐＲｅｄｕｃｅ框架相結(jié)合，從而可以用一種廉價(jià)的解決方案g?？解決機(jī)器逡逑學(xué)的Ｈ題。Ｍａｈｏｕｔ自出現(xiàn)以來
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.3;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 胡曉彤;趙宗曉;;基于三維測(cè)量的奶牛體型性狀指標(biāo)的數(shù)據(jù)采集[J];天津科技大學(xué)學(xué)報(bào);2011年03期

2 曾小波;魏祖寬;金在弘;;協(xié)同過濾系統(tǒng)的矩陣稀疏性問題的研究[J];計(jì)算機(jī)應(yīng)用;2010年04期

3 劉建國(guó);周濤;郭強(qiáng);汪秉宏;;個(gè)性化推薦系統(tǒng)評(píng)價(jià)方法綜述[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2009年03期

4 馬宏偉;張光衛(wèi);李鵬;;協(xié)同過濾推薦算法綜述[J];小型微型計(jì)算機(jī)系統(tǒng);2009年07期

5 許海玲;吳瀟;李曉東;閻保平;;互聯(lián)網(wǎng)推薦系統(tǒng)比較研究[J];軟件學(xué)報(bào);2009年02期

6 劉建國(guó);周濤;汪秉宏;;個(gè)性化推薦系統(tǒng)的研究進(jìn)展[J];自然科學(xué)進(jìn)展;2009年01期

7 程超;曹杰;;基于網(wǎng)格技術(shù)的電子商務(wù)平臺(tái)研究[J];計(jì)算機(jī)與現(xiàn)代化;2007年11期

本文編號(hào)：2554399