【摘要】：隨著移動(dòng)互聯(lián)網(wǎng)時(shí)代的來臨,廣大互聯(lián)網(wǎng)用戶獲取資訊、體驗(yàn)互聯(lián)網(wǎng)服務(wù)更加的便捷,社交網(wǎng)絡(luò)服務(wù)也得到了井噴式發(fā)展,并成為了人們?nèi)粘Ｉ钪械牟豢苫蛉钡牟糠帧Ｎ⒉┦且粋�(gè)基于用戶關(guān)系的信息分享、傳播以及獲取的新興社交網(wǎng)絡(luò)平臺(tái)。以新浪微博為例,目前日活躍用戶大概有幾千萬,每天產(chǎn)生幾億條新微博。面對(duì)如此海量的信息,如何及時(shí)的為微博用戶推薦感興趣的微博和熱門關(guān)鍵詞,已然成為一個(gè)急需解決的問題。本論文研究了基于storm的微博實(shí)時(shí)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),主要的工作包括以下三個(gè)方面:首先,分析了微博推薦系統(tǒng)的研究進(jìn)展,以及大數(shù)據(jù)處理的相關(guān)技術(shù),包括Hadoop分布式計(jì)算框架,Storm實(shí)時(shí)分布式計(jì)算框架、Kafka分布式發(fā)布訂閱消息系統(tǒng)、滑動(dòng)窗口模型等。其次,對(duì)微博實(shí)時(shí)推薦系統(tǒng)的整體架構(gòu)進(jìn)行了設(shè)計(jì),將系統(tǒng)分為數(shù)據(jù)采集,數(shù)據(jù)離線處理,數(shù)據(jù)實(shí)時(shí)處理,數(shù)據(jù)儲(chǔ)存以及數(shù)據(jù)展示五個(gè)子系統(tǒng)。其中數(shù)據(jù)采集子系統(tǒng)包括微博API和爬蟲兩個(gè)模塊;數(shù)據(jù)離線處理子系統(tǒng)主要是基于Hadoop采用空間向量模型,并加入了基于牛頓冷卻定律的時(shí)間因子,對(duì)微博用戶的歷史數(shù)據(jù)進(jìn)行離線的興趣建模,計(jì)算用戶的興趣向量;數(shù)據(jù)實(shí)時(shí)處理子系統(tǒng)主要是使用storm對(duì)用戶在微博展示界面的行為進(jìn)行實(shí)時(shí)分析,來更新用戶的興趣模型和實(shí)現(xiàn)基于改進(jìn)的滑動(dòng)窗口模型的微博熱門關(guān)鍵詞的計(jì)算以及為用戶實(shí)時(shí)推薦興趣微博;數(shù)據(jù)儲(chǔ)存子系統(tǒng)主要是存儲(chǔ)系統(tǒng)的各種數(shù)據(jù);數(shù)據(jù)展示子系統(tǒng)主要是展示用戶訂閱的微博,為用戶推薦的熱門關(guān)鍵詞以及為用戶推薦的微博�；趕torm、Hadoop以及Kafka平臺(tái),設(shè)計(jì)并實(shí)現(xiàn)了各個(gè)子系統(tǒng)。最后,搭建測試平臺(tái),對(duì)系統(tǒng)進(jìn)行性能以及功能測試,并對(duì)系統(tǒng)主要模塊的功能進(jìn)行了分析和驗(yàn)證,實(shí)驗(yàn)結(jié)果表明系統(tǒng)達(dá)到了設(shè)計(jì)要求。系統(tǒng)采用分布式的架構(gòu)設(shè)計(jì),具有高可用,高擴(kuò)展,計(jì)算能力強(qiáng)等特性�？梢苑奖愕膸椭⒉┯脩舾咝У氖褂梦⒉�,為微博用戶提供更好的個(gè)性化、差異化的推薦服務(wù)。
文內(nèi)圖片：
圖片說明： ２．１．１邐Ｈａｄｏｏｐ生態(tài)系統(tǒng)筒介逡逑現(xiàn)今Ｈａｄｏｏｐ己經(jīng)成長為一個(gè)龐大的體系，滲透到大數(shù)據(jù)處理的各個(gè)領(lǐng)域。逡逑圖２－１是一個(gè)Ｈａｄｏｏｐ家族的生態(tài)圖譜。Ｈａｄｏｏｐ作為一個(gè)生態(tài)系統(tǒng)，其生態(tài)圈內(nèi)逡逑的每個(gè)子系統(tǒng)的都專注于解決某一特定領(lǐng)域的問題，這也是Ｈａｄｏｏｐ的一個(gè)吸引逡逑人的魅力所在：由許多小而精的子系統(tǒng)構(gòu)成［１９］。在表２－１中列舉出了邋Ｈａｄｏｏｐ生逡逑態(tài)系統(tǒng)中的各個(gè)組件及其功能。逡逑６逡逑
文內(nèi)圖片：
圖片說明： ＭａｐＲｅｄｕｃｅ的名字來源于其模型中的兩項(xiàng)核心操作：Ｍａｐ階段和Ｒｅｄｕｃｅ階逡逑段。Ｍａｐ階段主要是對(duì)輸入進(jìn)行整合，將讀取的內(nèi)容以鍵值對(duì)的形式輸出。Ｒｅｄｕｃｅ逡逑階段負(fù)責(zé)對(duì)Ｍａｐ階段輸出的數(shù)據(jù)進(jìn)行后續(xù)處理。圖２－２是ＭａｐＲｅｄｕｃｅ數(shù)據(jù)處理逡逑的流程圖。逡逑在數(shù)據(jù)進(jìn)行ＭａｐＲｅｄｕｃｅ處理階段，首先Ｈａｄｏｏｐ會(huì)對(duì)數(shù)據(jù)進(jìn)行分塊處理，，之逡逑后將數(shù)據(jù)信息交給Ｍａｐ任務(wù)去讀取處理，產(chǎn)生相應(yīng)的鍵值對(duì)數(shù)據(jù)。之后進(jìn)入逡逑Ｒｅｄｕｃｅ階段，執(zhí)行預(yù)先定義的Ｒｅｄｕｃｅ函數(shù)，即將具有相同ｋｅｙ的數(shù)據(jù)集中在一逡逑起進(jìn)行處理，最后將結(jié)果輸出到ＨＤＦＳ上。逡逑Ｈａｄｏｏｐ集群由普通ＰＣ構(gòu)成，是無共享式架構(gòu)，在數(shù)據(jù)處理之前，將數(shù)據(jù)逡逑分塊后儲(chǔ)存到各個(gè)節(jié)點(diǎn)上。在需要處理數(shù)據(jù)時(shí)，Ｍａｐ函數(shù)就近的讀取本地儲(chǔ)存的逡逑數(shù)據(jù)，將數(shù)據(jù)處理完再進(jìn)行合并、排序操作后分發(fā)給Ｒｅｄｕｃｅ函數(shù)處理。逡逑Ｓｐｌｉｔｌ邐邐？｛邐Ｍａｐ（）邐Ｒｅｄｕｃｅ（）邋）邐？ｐａｒｔ。逡逑Ｓｐｌｉｔ２邐邐ＭａｐＱ邐ＲｅｄｕｃｅＱ邋）邐？ｐａｒｔｉ逡逑Ｓｐ？３邐邐＾邋ＭａｐＱ邐＾逡逑Ｓｐｌ（ｔ４邐邐Ｍａｐ（｝逡逑圖２－２ＭａｐＲｅｄｕｃｅ數(shù)據(jù)處理流程圖［１逡逑２．１．３邋ＨＤＦＳ邋簡介逡逑ＨＤＦＳ邋是邋Ｈａｄｏｏｐ邋Ｄｉｓｔｒｉｂｕｔｅｄ邋Ｈｉｅ邋Ｓｙｓｔｅｍ邋的縮寫
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 高鳳麗;孫連山;;個(gè)性化推薦系統(tǒng)概述[J];技術(shù)與市場;2015年02期

2 宋亞奇;劉樹仁;朱永利;王德文;李莉;;電力設(shè)備狀態(tài)高速采樣數(shù)據(jù)的云存儲(chǔ)技術(shù)研究[J];電力自動(dòng)化設(shè)備;2013年10期

3 許小媛;程宏兵;;基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)[J];制造業(yè)自動(dòng)化;2013年13期

4 賀玲;吳玲達(dá);蔡益朝;;數(shù)據(jù)挖掘中的聚類算法綜述[J];計(jì)算機(jī)應(yīng)用研究;2007年01期

相關(guān)碩士學(xué)位論文 前9條

1 劉暉;基于Hadoop的微博推薦系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)[D];中國科學(xué)院大學(xué)（工程管理與信息技術(shù)學(xué)院）;2014年

2 任青;基于Hadoop云平臺(tái)的社交網(wǎng)絡(luò)服務(wù)推薦算法的研究[D];吉林大學(xué);2013年

3 耿玉嬌;MapReduce中基于抽樣技術(shù)的傾斜問題研究[D];大連海事大學(xué);2013年

4 郝向濤;基于Hadoop的分布式文件系統(tǒng)技術(shù)分析及應(yīng)用[D];武漢理工大學(xué);2013年

5 汪曄;基于用戶關(guān)系鏈的微博收聽推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

6 周姚;基于云計(jì)算的文本挖掘技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

7 晏金;分布式文件系統(tǒng)在G/S模式中的應(yīng)用研究[D];成都理工大學(xué);2010年

8 莊永龍;基于項(xiàng)目特征模型的協(xié)同過濾推薦算法研究[D];南京理工大學(xué);2008年

9 吳昕方;基于特征的個(gè)性化電子商務(wù)網(wǎng)站推薦系統(tǒng)的研究與實(shí)現(xiàn)[D];華東師范大學(xué);2006年

本文編號(hào)：2514236