本文關(guān)鍵詞：基于主題抽取演化模型的實(shí)時新聞推薦系統(tǒng)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)尤其是移動互聯(lián)網(wǎng)的飛速發(fā)展,越來越多的人選擇使用網(wǎng)絡(luò)獲取新聞資訊。然而,由于互聯(lián)網(wǎng)信息量太大,在海量新聞資訊面前,人類卻無從選擇。因此,如何在海量新聞資訊中找到用戶真正感興趣的新聞并將其推薦給用戶成為了業(yè)界研究的熱點(diǎn)。實(shí)時新聞推薦系統(tǒng)能夠?qū)崿F(xiàn)對新聞資訊的自動化處理,通過新聞主題演化抽取算法,結(jié)合用戶畫像技術(shù),把新聞內(nèi)容和用戶聯(lián)系起來,采用大數(shù)據(jù)實(shí)時流處理技術(shù),能夠解決大數(shù)據(jù)背景下的新聞精準(zhǔn)推薦問題。本文對新聞主題抽取演化方法和實(shí)時推薦系統(tǒng)相關(guān)技術(shù)進(jìn)行了研究,主要工作包括：1、提出基于LDA (Latent Dirichlet Allocation)的新聞主題提取和話題演化算法。該算法在傳統(tǒng)LDA算法基礎(chǔ)上,增加了時間演化的推演過程,通過構(gòu)建新聞和時間級聯(lián)表來計(jì)算獨(dú)立性檢驗(yàn)卡方參數(shù),更能追蹤新聞事件的時效演化特性,可以更有效的抽取出新聞的主題；同時,將基于solrcloud的分布式索引技術(shù)應(yīng)用于新聞文本處理,實(shí)現(xiàn)了高性能分布式計(jì)算。2、提出一種基于用戶畫像技術(shù)的交替最小二乘UP-ALS的協(xié)同推薦算法。新算法結(jié)合用戶畫像標(biāo)簽權(quán)重和交替最小二乘ALS預(yù)測評分矩陣完成協(xié)同推薦的計(jì)算,更精準(zhǔn)地定位用戶喜好；為滿足大數(shù)據(jù)環(huán)境下實(shí)時計(jì)算的需要,采用Spark分布式流處理框架實(shí)現(xiàn)了UP-ALS算法；實(shí)驗(yàn)仿真表明,與矩陣分解模型MFM和ALS算法相比,UP-ALS算法提高了推薦的準(zhǔn)確度。3、利用分布式架構(gòu)構(gòu)建了實(shí)時推薦系統(tǒng),并對系統(tǒng)的性能進(jìn)行了調(diào)優(yōu),展示了系統(tǒng)實(shí)現(xiàn)的最終效果,能很好滿足用戶的個性化閱讀需求。
【關(guān)鍵詞】：LDA 主題演化 用戶畫像 實(shí)時流處理 分布式索引
【學(xué)位授予單位】：廣東工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP391.3
【目錄】：

• 摘要4-5
• ABSTRACT5-13
• 第一章 緒論13-18
• 1.1 研究背景和意義13-14
• 1.2 國內(nèi)外研究現(xiàn)狀14-15
• 1.2.1 新聞主題抽取演化模型14-15
• 1.2.2 實(shí)時推薦系統(tǒng)15
• 1.3 本文所做工作15-16
• 1.4 論文章節(jié)安排16-18
• 第二章 相關(guān)概念18-32
• 2.1 新聞文本處理18-21
• 2.1.1 主題抽取模型18-19
• 2.1.2 新聞索引19-21
• 2.2 實(shí)時系統(tǒng)21-26
• 2.2.1 Storm實(shí)時系統(tǒng)22-23
• 2.2.2 Spark實(shí)時系統(tǒng)23-26
• 2.3 用戶畫像26-29
• 2.3.1 用戶畫像概念26-27
• 2.3.2 構(gòu)建用戶畫像27-29
• 2.4 推薦系統(tǒng)29-32
• 2.4.1 推薦算法29-30
• 2.4.2 向量相似度30-32
• 第三章 面向新聞推薦的主題演化算法32-44
• 3.1 主題演化算法32-38
• 3.1.1 LDA主題抽取算法32-36
• 3.1.2 新聞主題動態(tài)演化算法36-37
• 3.1.3 主題動態(tài)抽取注意事項(xiàng)37-38
• 3.2 SOLR管理新聞索引38-41
• 3.2.1 solr管理索引38-39
• 3.2.2 solrcloud39-40
• 3.2.3 zookeeper管理集群40
• 3.2.4 基于SolrCloud的新聞文本處理40-41
• 3.3 實(shí)驗(yàn)分析41-43
• 3.3.1 集群性能指標(biāo)測試實(shí)驗(yàn)41-42
• 3.3.2 新聞主題抽取實(shí)驗(yàn)42-43
• 3.4 本章小結(jié)43-44
• 第四章 基于UP-ALS的協(xié)同推薦算法44-53
• 4.1 最小二乘法44-45
• 4.1.1 RMSE44
• 4.1.2 最小二乘法44-45
• 4.2 SPARK實(shí)現(xiàn)非負(fù)最小二乘法45-48
• 4.3 UP-ALS協(xié)同推薦算法48-50
• 4.3.1 ALS算法48-50
• 4.3.2 UP-ALS算法50
• 4.4 實(shí)驗(yàn)分析50-52
• 4.5 本章小結(jié)52-53
• 第五章 實(shí)時新聞精準(zhǔn)推薦系統(tǒng)53-59
• 5.1 系統(tǒng)總體架構(gòu)圖53-54
• 5.2 新聞精準(zhǔn)推薦實(shí)時處理系統(tǒng)54-56
• 5.2.1 新聞熱度54-55
• 5.2.2 實(shí)時推薦55-56
• 5.3 新聞精準(zhǔn)推薦系統(tǒng)實(shí)現(xiàn)56-59
• 總結(jié)和展望59-61
• 參考文獻(xiàn)61-64
• 攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)論文64-66
• 致謝66

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 米可菲;張勇;邢春曉;蔚欣;;面向大數(shù)據(jù)的開源推薦系統(tǒng)分析[J];計(jì)算機(jī)與數(shù)字工程;2013年10期

2 脫建勇;王嵩;李秀;劉文煌;;精品課共享中的推薦系統(tǒng)框架與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年17期

3 蘇冠賢;張麗霞;林丕源;劉吉平;;生物信息學(xué)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2007年05期

4 王改芬;;推薦系統(tǒng)研究綜述[J];軟件導(dǎo)刊;2007年23期

5 葉群來;;營銷與網(wǎng)絡(luò)推薦系統(tǒng)[J];電子商務(wù);2007年10期

6 李媚;;個性化網(wǎng)絡(luò)學(xué)習(xí)資源推薦系統(tǒng)研究[J];福建電腦;2008年12期

7 潘冉;姜麗紅;;基于經(jīng)濟(jì)學(xué)模型的推薦系統(tǒng)的研究[J];計(jì)算機(jī)應(yīng)用與軟件;2008年03期

8 劉魯;任曉麗;;推薦系統(tǒng)研究進(jìn)展及展望[J];信息系統(tǒng)學(xué)報(bào);2008年01期

9 劉小燕;陳艷麗;賈宗璞;沈記全;;基于增強(qiáng)學(xué)習(xí)的旅行計(jì)劃推薦系統(tǒng)[J];計(jì)算機(jī)工程;2010年21期

10 曹畋;;智能推薦系統(tǒng)在知識瀏覽領(lǐng)域的應(yīng)用[J];硅谷;2011年21期

中國重要會議論文全文數(shù)據(jù)庫 前8條

1 張燕;李燕萍;;基于內(nèi)容分析和點(diǎn)擊率記錄的混合音樂推薦系統(tǒng)[A];2009年通信理論與信號處理學(xué)術(shù)年會論文集[C];2009年

2 趙欣;寇綱;鄔文帥;盧艷群;;基于時間密集性的推薦系統(tǒng)攻擊檢測[A];第六屆（2011）中國管理學(xué)年會論文摘要集[C];2011年

3 張玉連;張波;張敏;;改進(jìn)的個性化信息推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年全國理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會論文集[C];2005年

4 王君;許潔萍;;層次音樂推薦系統(tǒng)的研究[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

5 潘宇;林鴻飛;楊志豪;;基于用戶聚類的電子商務(wù)推薦系統(tǒng)[A];第三屆學(xué)生計(jì)算語言學(xué)研討會論文集[C];2006年

6 尤忠彬;陳越;張英;朱揚(yáng)勇;;基于Web服務(wù)的技術(shù)轉(zhuǎn)移平臺推薦系統(tǒng)研究[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2005年

7 王國霞;劉賀平;李擎;;二部圖影射及其在推薦系統(tǒng)中的應(yīng)用[A];第25屆中國控制與決策會議論文集[C];2013年

8 王雪;董愛華;吳怡之;;基于RFID技術(shù)的智能服裝推薦系統(tǒng)設(shè)計(jì)[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2011年

中國重要報(bào)紙全文數(shù)據(jù)庫 前2條

1 ;大數(shù)據(jù)如何“落地”[N];中國新聞出版報(bào);2014年

2 本報(bào)記者 鄒大斌;大數(shù)據(jù)：電商新武器[N];計(jì)算機(jī)世界;2012年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 周魏;推薦系統(tǒng)中基于目標(biāo)項(xiàng)目分析的托攻擊檢測研究[D];重慶大學(xué);2015年

2 王宏宇;商務(wù)推薦系統(tǒng)的設(shè)計(jì)研究[D];中國科學(xué)技術(shù)大學(xué);2007年

3 楊東輝;基于情感相似度的社會化推薦系統(tǒng)研究[D];哈爾濱工業(yè)大學(xué);2014年

4 曹渝昆;基于神經(jīng)網(wǎng)絡(luò)和模糊邏輯的智能推薦系統(tǒng)研究[D];重慶大學(xué);2006年

5 王立才;上下文感知推薦系統(tǒng)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

6 劉龍;一個能實(shí)現(xiàn)個性化實(shí)時路徑推薦服務(wù)的推薦系統(tǒng)框架[D];中國科學(xué)技術(shù)大學(xué);2014年

7 李濤;推薦系統(tǒng)中若干關(guān)鍵問題研究[D];南京航空航天大學(xué);2009年

8 劉士琛;面向推薦系統(tǒng)的關(guān)鍵問題研究及應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2014年

9 李方方;非獨(dú)立同分布推薦系統(tǒng)研究[D];北京理工大學(xué);2014年

10 李曉建;基于語義的個性化資源推薦系統(tǒng)中關(guān)鍵技術(shù)研究[D];武漢大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 朱孔真;基于云計(jì)算的電子商務(wù)智能推薦系統(tǒng)研究[D];武漢理工大學(xué);2014年

2 郭敬澤;基于賦權(quán)評分和Dpark的分布式推薦系統(tǒng)研究與實(shí)現(xiàn)[D];天津理工大學(xué);2015年

3 周俊宇;信息推薦系統(tǒng)的研究與設(shè)計(jì)[D];江南大學(xué);2015年

4 李煒;基于電子商務(wù)平臺的保險推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2013年

5 車豐;基于排序主題模型的論文推薦系統(tǒng)[D];大連海事大學(xué);2015年

6 秦大路;基于因式分解機(jī)模型的上下文感知推薦系統(tǒng)研究[D];鄭州大學(xué);2015年

7 徐霞婷;動態(tài)路網(wǎng)監(jiān)控與導(dǎo)航推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2015年

8 黃學(xué)峰;基于Hadoop的電影推薦系統(tǒng)研究與實(shí)現(xiàn)[D];南京師范大學(xué);2015年

9 路小瑞;基于Hadoop平臺的職位推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

10 李愛寶;基于組合消費(fèi)行為分析的團(tuán)購?fù)扑]系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

  本文關(guān)鍵詞：基于主題抽取演化模型的實(shí)時新聞推薦系統(tǒng)，由筆耕文化傳播整理發(fā)布。

，

本文編號：336134