基于Hadoop平臺(tái)的個(gè)性化新聞推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-10-05 02:54
這是一個(gè)追求信息的時(shí)代,隨著互聯(lián)網(wǎng)技術(shù)的普及,人們獲取信息的途徑越來越容易了。為了滿足人們對(duì)信息的渴望追求,各種各樣的新聞資訊類應(yīng)用開發(fā)層出不窮,網(wǎng)絡(luò)新聞通過新聞?wù)故?超鏈接等方式可以容納海量的信息,新聞也更豐富,也越來越多樣化。但是互聯(lián)網(wǎng)上信息數(shù)據(jù)以爆炸式的速度快速增長(zhǎng),產(chǎn)生了許多的垃圾信息并導(dǎo)致了信息過載出現(xiàn)并變得越來越嚴(yán)重,信息過載慢慢成為人們迅速爾高效獲取有用資訊信息的一個(gè)巨大的障礙,這導(dǎo)致消費(fèi)者想從大量信息(物品)中找到自己感興趣的信息,信息產(chǎn)出者想讓自己生產(chǎn)的信息脫穎而出從而得到關(guān)注都是一件很難的問題,推薦系統(tǒng)的任務(wù)就是連接用戶和信息(物品)。在信息過載的推動(dòng)下,推薦系統(tǒng)成為了各大互聯(lián)網(wǎng)公司攻城略地開疆拓土的必備良器。個(gè)性化新聞推薦系統(tǒng)就是為了解決信息過載這個(gè)問題。為了實(shí)現(xiàn)精準(zhǔn)的個(gè)性化服務(wù)首先便是對(duì)用戶進(jìn)行建模,完善用戶畫像,其次使用現(xiàn)有的推薦算法作為召回操作并參考實(shí)際業(yè)務(wù)需求添加符合業(yè)務(wù)的召回方法,為個(gè)性化推薦提供較好的推薦底層數(shù)據(jù),然后使用機(jī)器學(xué)習(xí)算法中的邏輯回歸模型做點(diǎn)擊率預(yù)估,在這個(gè)部分之前我們使用到了最優(yōu)化算法與特征提取等方法對(duì)模型進(jìn)行優(yōu)化,這提高了我們的模型的準(zhǔn)...
【文章來源】:北京交通大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:84 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖3-1用戶畫像功能用例圖??Figure?3-1?User?Portrait?Use?Case?Diagram??為了實(shí)現(xiàn)新聞的個(gè)性化推薦,我們要對(duì)每一個(gè)用戶進(jìn)行用戶行為挖掘計(jì)算得??
召回功能又被細(xì)化為六種具體的召回功能,其中包括:熱點(diǎn)召回功能,基于??用戶的協(xié)同過濾召回功能,興趣點(diǎn)召回功能,矩陣分解召回功能,高質(zhì)量文章召??回功能,分類召回功能,用例圖如圖3-2。??熱點(diǎn)召回的主要功能是找到實(shí)時(shí)的熱點(diǎn)新聞,更新頻率是每一個(gè)小時(shí)進(jìn)行一??次。熱點(diǎn)召回功能又被分為兩個(gè)部分:熱點(diǎn)公式計(jì)算召回與分群熱點(diǎn)模型召回。??分群熱點(diǎn)模型召回它主要使用了用戶人口畫像進(jìn)行用戶分群,在使用單位時(shí)間窗??口內(nèi)的統(tǒng)計(jì)數(shù)據(jù)與新聞數(shù)據(jù)通過邏輯回歸模型進(jìn)行用戶分群下熱點(diǎn)新聞的精確召??回。熱點(diǎn)公式計(jì)算的主要作用是使用統(tǒng)計(jì)數(shù)據(jù)通過新聞熱點(diǎn)公式計(jì)算每條新聞的??熱點(diǎn)得分,以此為新聞熱點(diǎn)評(píng)判的標(biāo)準(zhǔn)。??矩陣分解召回功能中只是使用到了用戶ID與新聞ID進(jìn)行計(jì)算,它通過補(bǔ)全用??戶-新聞矩陣來粗略的計(jì)算用戶對(duì)未點(diǎn)擊新聞的預(yù)測(cè)點(diǎn)擊率,并按照用戶數(shù)量進(jìn)行??召回,召回?cái)?shù)量按照預(yù)測(cè)點(diǎn)擊率進(jìn)行排序并截取。??13??
?\??ymmin)??圖3-2召回功能用例圖??Figure?3-2?Use?Case?Diagram?of?Recall?Function??在興趣點(diǎn)召回功能使用的召回維度是所有興趣點(diǎn),對(duì)每個(gè)興趣點(diǎn)進(jìn)行單獨(dú)召??回,并使用新聞得分進(jìn)行排序,以此選擇每個(gè)興趣點(diǎn)得分高的的文章。??新聞得分功能是使用新聞與用戶的統(tǒng)計(jì)數(shù)據(jù)通過的新聞得分計(jì)算公式進(jìn)行計(jì)??算并保存,其中計(jì)算公式是使用的新聞點(diǎn)擊率,時(shí)間差等進(jìn)行加權(quán)計(jì)算的。??高質(zhì)量新聞?wù)倩厥窃谛侣勅霂?kù)之時(shí),編輯會(huì)對(duì)文章進(jìn)行檢驗(yàn),并將高質(zhì)量文??14??
【參考文獻(xiàn)】:
期刊論文
[1]循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理. 計(jì)算機(jī)應(yīng)用. 2018(S2)
[2]基于Spark的并行化協(xié)同深度推薦模型[J]. 賈曉光. 計(jì)算機(jī)工程與應(yīng)用. 2018(14)
[3]深度學(xué)習(xí)下的推薦系統(tǒng)研究[J]. 王濤,李明. 電腦知識(shí)與技術(shù). 2017(25)
[4]基于巴氏系數(shù)和Jaccard系數(shù)的協(xié)同過濾算法[J]. 楊家慧,劉方愛. 計(jì)算機(jī)應(yīng)用. 2016(07)
[5]基于MDLP-Apriori算法的離散Shannon熵值標(biāo)簽排序[J]. 于磊,王普,趙寒,翁壯. 計(jì)算機(jī)應(yīng)用研究. 2016(06)
[6]社會(huì)化推薦系統(tǒng)研究[J]. 孟祥武,劉樹棟,張玉潔,胡勛. 軟件學(xué)報(bào). 2015(06)
[7]個(gè)性化推薦系統(tǒng)概述[J]. 高鳳麗,孫連山. 技術(shù)與市場(chǎng). 2015(02)
[8]深度學(xué)習(xí)研究綜述[J]. 尹寶才,王文通,王立春. 北京工業(yè)大學(xué)學(xué)報(bào). 2015(01)
[9]基于MapReduce的矩陣分解推薦算法研究[J]. 張宇,程久軍. 計(jì)算機(jī)科學(xué). 2013(01)
[10]個(gè)性化推薦系統(tǒng)的研究進(jìn)展[J]. 劉建國(guó),周濤,汪秉宏. 自然科學(xué)進(jìn)展. 2009(01)
碩士論文
[1]基于內(nèi)容的推薦與協(xié)同過濾融合的新聞推薦研究[D]. 唐瑞.重慶理工大學(xué) 2016
本文編號(hào):3418859
【文章來源】:北京交通大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:84 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖3-1用戶畫像功能用例圖??Figure?3-1?User?Portrait?Use?Case?Diagram??為了實(shí)現(xiàn)新聞的個(gè)性化推薦,我們要對(duì)每一個(gè)用戶進(jìn)行用戶行為挖掘計(jì)算得??
召回功能又被細(xì)化為六種具體的召回功能,其中包括:熱點(diǎn)召回功能,基于??用戶的協(xié)同過濾召回功能,興趣點(diǎn)召回功能,矩陣分解召回功能,高質(zhì)量文章召??回功能,分類召回功能,用例圖如圖3-2。??熱點(diǎn)召回的主要功能是找到實(shí)時(shí)的熱點(diǎn)新聞,更新頻率是每一個(gè)小時(shí)進(jìn)行一??次。熱點(diǎn)召回功能又被分為兩個(gè)部分:熱點(diǎn)公式計(jì)算召回與分群熱點(diǎn)模型召回。??分群熱點(diǎn)模型召回它主要使用了用戶人口畫像進(jìn)行用戶分群,在使用單位時(shí)間窗??口內(nèi)的統(tǒng)計(jì)數(shù)據(jù)與新聞數(shù)據(jù)通過邏輯回歸模型進(jìn)行用戶分群下熱點(diǎn)新聞的精確召??回。熱點(diǎn)公式計(jì)算的主要作用是使用統(tǒng)計(jì)數(shù)據(jù)通過新聞熱點(diǎn)公式計(jì)算每條新聞的??熱點(diǎn)得分,以此為新聞熱點(diǎn)評(píng)判的標(biāo)準(zhǔn)。??矩陣分解召回功能中只是使用到了用戶ID與新聞ID進(jìn)行計(jì)算,它通過補(bǔ)全用??戶-新聞矩陣來粗略的計(jì)算用戶對(duì)未點(diǎn)擊新聞的預(yù)測(cè)點(diǎn)擊率,并按照用戶數(shù)量進(jìn)行??召回,召回?cái)?shù)量按照預(yù)測(cè)點(diǎn)擊率進(jìn)行排序并截取。??13??
?\??ymmin)??圖3-2召回功能用例圖??Figure?3-2?Use?Case?Diagram?of?Recall?Function??在興趣點(diǎn)召回功能使用的召回維度是所有興趣點(diǎn),對(duì)每個(gè)興趣點(diǎn)進(jìn)行單獨(dú)召??回,并使用新聞得分進(jìn)行排序,以此選擇每個(gè)興趣點(diǎn)得分高的的文章。??新聞得分功能是使用新聞與用戶的統(tǒng)計(jì)數(shù)據(jù)通過的新聞得分計(jì)算公式進(jìn)行計(jì)??算并保存,其中計(jì)算公式是使用的新聞點(diǎn)擊率,時(shí)間差等進(jìn)行加權(quán)計(jì)算的。??高質(zhì)量新聞?wù)倩厥窃谛侣勅霂?kù)之時(shí),編輯會(huì)對(duì)文章進(jìn)行檢驗(yàn),并將高質(zhì)量文??14??
【參考文獻(xiàn)】:
期刊論文
[1]循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 楊麗,吳雨茜,王俊麗,劉義理. 計(jì)算機(jī)應(yīng)用. 2018(S2)
[2]基于Spark的并行化協(xié)同深度推薦模型[J]. 賈曉光. 計(jì)算機(jī)工程與應(yīng)用. 2018(14)
[3]深度學(xué)習(xí)下的推薦系統(tǒng)研究[J]. 王濤,李明. 電腦知識(shí)與技術(shù). 2017(25)
[4]基于巴氏系數(shù)和Jaccard系數(shù)的協(xié)同過濾算法[J]. 楊家慧,劉方愛. 計(jì)算機(jī)應(yīng)用. 2016(07)
[5]基于MDLP-Apriori算法的離散Shannon熵值標(biāo)簽排序[J]. 于磊,王普,趙寒,翁壯. 計(jì)算機(jī)應(yīng)用研究. 2016(06)
[6]社會(huì)化推薦系統(tǒng)研究[J]. 孟祥武,劉樹棟,張玉潔,胡勛. 軟件學(xué)報(bào). 2015(06)
[7]個(gè)性化推薦系統(tǒng)概述[J]. 高鳳麗,孫連山. 技術(shù)與市場(chǎng). 2015(02)
[8]深度學(xué)習(xí)研究綜述[J]. 尹寶才,王文通,王立春. 北京工業(yè)大學(xué)學(xué)報(bào). 2015(01)
[9]基于MapReduce的矩陣分解推薦算法研究[J]. 張宇,程久軍. 計(jì)算機(jī)科學(xué). 2013(01)
[10]個(gè)性化推薦系統(tǒng)的研究進(jìn)展[J]. 劉建國(guó),周濤,汪秉宏. 自然科學(xué)進(jìn)展. 2009(01)
碩士論文
[1]基于內(nèi)容的推薦與協(xié)同過濾融合的新聞推薦研究[D]. 唐瑞.重慶理工大學(xué) 2016
本文編號(hào):3418859
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3418859.html
最近更新
教材專著