基于Hadoop的新聞推薦系統(tǒng)關(guān)鍵技術(shù)的研究
本文關(guān)鍵詞: 推薦系統(tǒng) 大數(shù)據(jù) 聚類算法 推薦算法 出處:《天津理工大學(xué)》2017年碩士論文 論文類型:學(xué)位論文
【摘要】:近年來,互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展對用戶造成了信息過載的困擾,導(dǎo)致用戶想要獲取需要的信息變得愈發(fā)困難。搜索引擎雖然能夠給用戶查詢想要的信息,但是仍然缺乏主動性。在這個基礎(chǔ)上,出現(xiàn)了個性化推薦系統(tǒng)。個性化推薦系統(tǒng)不需要用戶輸入信息,便能主動提供用戶感興趣的信息,因此得到了廣泛使用。個性化推薦系統(tǒng)通常建立在大數(shù)據(jù)量分析與挖掘平臺上,通過對用戶的注冊登錄信息,歷史行為等來分析用戶的偏好,找到用戶潛在的興趣,進而進行個性化推薦來改善用戶的互聯(lián)網(wǎng)體驗。在新聞媒體領(lǐng)域,每天都會產(chǎn)生海量的數(shù)據(jù)。新聞數(shù)據(jù)往往具有鮮明的時效性,歸類性,社會化等特點。針對這些特點,已經(jīng)有一些新興的新聞媒體將傳統(tǒng)的新聞推送方式與個性化推薦系統(tǒng)相結(jié)合,極大的增強了用戶與新聞介質(zhì)之間的黏性,也使得新聞媒體更好的融入到互聯(lián)網(wǎng)的發(fā)展中。雖然新聞媒體與個性化推薦系統(tǒng)的結(jié)合是主流趨勢,但仍然會面臨一些推薦系統(tǒng)特有的問題,如冷啟動,數(shù)據(jù)量太大,準確率與召回率過低,時效性等等,這些問題的解決都是研究個性化推薦系統(tǒng)中的關(guān)鍵。本文結(jié)合了目前推薦系統(tǒng)中的研究成果,將社交化的用戶信息結(jié)合到個性化新聞推薦系統(tǒng)中,本文的主要工作成果為:1、將用戶的社交信息與用戶歷史行為捆綁推薦。2、為提高推薦系統(tǒng)效率,提出了一種基于社交網(wǎng)絡(luò)的最短距離聚類算法(SDCA),力求在推薦算法執(zhí)行之前,預(yù)先對用戶進行一次聚類。此算法改變傳統(tǒng)的推薦系統(tǒng)的輸入方式,使得推薦系統(tǒng)的推薦效率得到了有效提高。3、將個性化新聞推薦系統(tǒng)與大數(shù)據(jù)相結(jié)合,使得此推薦系統(tǒng)能夠并行運行,提高了可擴展性,適應(yīng)了目前海量新聞報道的需求。4、對數(shù)據(jù)規(guī)模與相關(guān)參數(shù)進行了實驗,實現(xiàn)了一個個性化新聞推薦系統(tǒng),并對準確度,實時性等進行了相關(guān)測試。本文首先闡述了當前個性化推薦系統(tǒng)的研究現(xiàn)狀,總結(jié)了當前主流的推薦算法與推薦系統(tǒng)搭建運行過程中常遇到的問題及解決方案,然后提出了一種基于社交網(wǎng)絡(luò)的聚類算法,最后給出了基于Hadoop平臺實現(xiàn)的新聞推薦系統(tǒng)。
[Abstract]:In recent years, with the rapid development of Internet technology, users are troubled by information overload, which makes it more and more difficult for users to obtain the information they need. However, there is still a lack of initiative. On this basis, personalized recommendation systems have emerged. Personalized recommendation systems can actively provide information of interest to users without requiring users to input information. So it is widely used. Personalized recommendation system is usually built on the platform of large amount of data analysis and mining, through the registration of users login information, historical behavior to analyze the preferences of users, to find out the potential interests of users, In the field of news media, a huge amount of data is produced every day. News data often have distinct characteristics such as timeliness, categorization, socialization and so on. Some new news media have combined the traditional news push mode with the personalized recommendation system, which has greatly enhanced the viscosity between users and news media. It also makes the news media better integrate into the development of the Internet. Although the combination of news media and personalized recommendation system is the mainstream trend, it still faces some unique problems of the recommendation system, such as cold start, too large amount of data. The accuracy rate and recall rate are too low, timeliness and so on. The solution of these problems is the key to the study of personalized recommendation system. In order to improve the efficiency of the recommendation system, the main work result of this paper is: 1, which binds the social information of the user with the historical behavior of the user, and binds the social information of the user to the personalized news recommendation system, so as to improve the efficiency of the recommendation system. In this paper, a shortest distance clustering algorithm based on social network (SNS) is proposed, which tries to cluster users once before the recommendation algorithm is implemented. This algorithm changes the input mode of traditional recommendation system. The recommendation efficiency of the recommendation system is improved effectively. 3. The personalized news recommendation system is combined with big data to make the recommendation system run in parallel and improve the scalability. According to the demand of mass news report. 4, the data scale and related parameters are experimented, a personalized news recommendation system is realized, and the accuracy is analyzed. First of all, this paper describes the current research status of personalized recommendation system, summarizes the current mainstream recommendation algorithm and recommendation system in the process of building and running problems and solutions, Then a clustering algorithm based on social network is proposed, and a news recommendation system based on Hadoop platform is given.
【學(xué)位授予單位】:天津理工大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2017
【分類號】:TP391.3
【相似文獻】
相關(guān)期刊論文 前10條
1 米可菲;張勇;邢春曉;蔚欣;;面向大數(shù)據(jù)的開源推薦系統(tǒng)分析[J];計算機與數(shù)字工程;2013年10期
2 脫建勇;王嵩;李秀;劉文煌;;精品課共享中的推薦系統(tǒng)框架與實現(xiàn)[J];計算機工程與設(shè)計;2006年17期
3 蘇冠賢;張麗霞;林丕源;劉吉平;;生物信息學(xué)推薦系統(tǒng)的設(shè)計與實現(xiàn)[J];計算機應(yīng)用研究;2007年05期
4 王改芬;;推薦系統(tǒng)研究綜述[J];軟件導(dǎo)刊;2007年23期
5 葉群來;;營銷與網(wǎng)絡(luò)推薦系統(tǒng)[J];電子商務(wù);2007年10期
6 李媚;;個性化網(wǎng)絡(luò)學(xué)習(xí)資源推薦系統(tǒng)研究[J];福建電腦;2008年12期
7 潘冉;姜麗紅;;基于經(jīng)濟學(xué)模型的推薦系統(tǒng)的研究[J];計算機應(yīng)用與軟件;2008年03期
8 劉魯;任曉麗;;推薦系統(tǒng)研究進展及展望[J];信息系統(tǒng)學(xué)報;2008年01期
9 劉小燕;陳艷麗;賈宗璞;沈記全;;基于增強學(xué)習(xí)的旅行計劃推薦系統(tǒng)[J];計算機工程;2010年21期
10 曹畋;;智能推薦系統(tǒng)在知識瀏覽領(lǐng)域的應(yīng)用[J];硅谷;2011年21期
相關(guān)會議論文 前8條
1 張燕;李燕萍;;基于內(nèi)容分析和點擊率記錄的混合音樂推薦系統(tǒng)[A];2009年通信理論與信號處理學(xué)術(shù)年會論文集[C];2009年
2 趙欣;寇綱;鄔文帥;盧艷群;;基于時間密集性的推薦系統(tǒng)攻擊檢測[A];第六屆(2011)中國管理學(xué)年會論文摘要集[C];2011年
3 張玉連;張波;張敏;;改進的個性化信息推薦系統(tǒng)的設(shè)計與實現(xiàn)[A];2005年全國理論計算機科學(xué)學(xué)術(shù)年會論文集[C];2005年
4 王君;許潔萍;;層次音樂推薦系統(tǒng)的研究[A];第18屆全國多媒體學(xué)術(shù)會議(NCMT2009)、第5屆全國人機交互學(xué)術(shù)會議(CHCI2009)、第5屆全國普適計算學(xué)術(shù)會議(PCC2009)論文集[C];2009年
5 潘宇;林鴻飛;楊志豪;;基于用戶聚類的電子商務(wù)推薦系統(tǒng)[A];第三屆學(xué)生計算語言學(xué)研討會論文集[C];2006年
6 尤忠彬;陳越;張英;朱揚勇;;基于Web服務(wù)的技術(shù)轉(zhuǎn)移平臺推薦系統(tǒng)研究[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集(技術(shù)報告篇)[C];2005年
7 王國霞;劉賀平;李擎;;二部圖影射及其在推薦系統(tǒng)中的應(yīng)用[A];第25屆中國控制與決策會議論文集[C];2013年
8 王雪;董愛華;吳怡之;;基于RFID技術(shù)的智能服裝推薦系統(tǒng)設(shè)計[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2011年
相關(guān)重要報紙文章 前2條
1 ;大數(shù)據(jù)如何“落地”[N];中國新聞出版報;2014年
2 本報記者 鄒大斌;大數(shù)據(jù):電商新武器[N];計算機世界;2012年
相關(guān)博士學(xué)位論文 前10條
1 周魏;推薦系統(tǒng)中基于目標項目分析的托攻擊檢測研究[D];重慶大學(xué);2015年
2 田剛;融合維基知識的情境感知Web服務(wù)發(fā)現(xiàn)方法研究[D];武漢大學(xué);2015年
3 胡亮;集成多元信息的推薦系統(tǒng)建模方法的研究[D];上海交通大學(xué);2015年
4 孫麗梅;Web-based推薦系統(tǒng)中若干關(guān)鍵問題研究[D];東北大學(xué);2013年
5 鄭麟;基于屬性提升與偏好集成的上下文感知推薦[D];武漢大學(xué);2017年
6 于鵬華;數(shù)據(jù)數(shù)量與質(zhì)量敏感的推薦系統(tǒng)若干問題研究[D];浙江大學(xué);2016年
7 王宏宇;商務(wù)推薦系統(tǒng)的設(shè)計研究[D];中國科學(xué)技術(shù)大學(xué);2007年
8 楊東輝;基于情感相似度的社會化推薦系統(tǒng)研究[D];哈爾濱工業(yè)大學(xué);2014年
9 曹渝昆;基于神經(jīng)網(wǎng)絡(luò)和模糊邏輯的智能推薦系統(tǒng)研究[D];重慶大學(xué);2006年
10 王立才;上下文感知推薦系統(tǒng)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年
相關(guān)碩士學(xué)位論文 前10條
1 朱孔真;基于云計算的電子商務(wù)智能推薦系統(tǒng)研究[D];武漢理工大學(xué);2014年
2 郭敬澤;基于賦權(quán)評分和Dpark的分布式推薦系統(tǒng)研究與實現(xiàn)[D];天津理工大學(xué);2015年
3 周俊宇;信息推薦系統(tǒng)的研究與設(shè)計[D];江南大學(xué);2015年
4 李煒;基于電子商務(wù)平臺的保險推薦系統(tǒng)的設(shè)計與實現(xiàn)[D];復(fù)旦大學(xué);2013年
5 車豐;基于排序主題模型的論文推薦系統(tǒng)[D];大連海事大學(xué);2015年
6 秦大路;基于因式分解機模型的上下文感知推薦系統(tǒng)研究[D];鄭州大學(xué);2015年
7 徐霞婷;動態(tài)路網(wǎng)監(jiān)控與導(dǎo)航推薦系統(tǒng)的設(shè)計與實現(xiàn)[D];蘇州大學(xué);2015年
8 黃學(xué)峰;基于Hadoop的電影推薦系統(tǒng)研究與實現(xiàn)[D];南京師范大學(xué);2015年
9 路小瑞;基于Hadoop平臺的職位推薦系統(tǒng)的設(shè)計與實現(xiàn)[D];上海交通大學(xué);2015年
10 李愛寶;基于組合消費行為分析的團購?fù)扑]系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年
,本文編號:1533915
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/1533915.html