隨著信息技術(shù)和互聯(lián)網(wǎng)的發(fā)展,人們逐漸從信息匱乏的時代走入了信息過載的時代。新聞閱讀也隨著互聯(lián)網(wǎng)的進步改變了從訂閱紙質(zhì)報紙的傳統(tǒng)模式到訪問互聯(lián)網(wǎng)成千上萬的新聞。目前,互聯(lián)網(wǎng)上每天產(chǎn)生大量新聞數(shù)據(jù)。新聞聚集網(wǎng)站,如谷歌和百度新聞,從各個網(wǎng)站收集新聞并聚合。對于這些網(wǎng)站,如何向用戶推薦感興趣的新聞成為關(guān)鍵性的問題。本文以國內(nèi)外主要中文新聞網(wǎng)站為研究對象,針對新聞網(wǎng)站中的大量新聞,完成了新聞文本采集以及熱點新聞推薦系統(tǒng)設(shè)計與實現(xiàn)。其主要工作和貢獻如下:(1)首先采集國內(nèi)外主要中文新聞網(wǎng)站新聞內(nèi)容,包括新聞標(biāo)題、新聞鏈接、新聞發(fā)布時間、新聞內(nèi)容、新聞來源以及新聞所在版塊。本文討論我們所實現(xiàn)的基于Hadoop分布式平臺的新聞數(shù)據(jù)采集并預(yù)處理系統(tǒng)。該系統(tǒng)將抓取的新聞數(shù)據(jù)存儲到Hbase數(shù)據(jù)庫中,為后面高效的處理與分析數(shù)據(jù)提供數(shù)據(jù)源。(2)對于熱點事件,不同新聞媒體會爭相報道,因此,來自不同新聞網(wǎng)站的熱點新聞標(biāo)題會存在一定的相似性。基于新聞標(biāo)題的這一特點,提出了基于標(biāo)題的熱點新聞推薦算法。首先對新聞標(biāo)題進行分詞等預(yù)處理,然后使用樸素貝葉斯模型和SVM對新聞進行文本分類,最終將分類結(jié)果作為推薦內(nèi)容。實驗結(jié)果表明,使用樸素貝葉斯方法優(yōu)于基于SVM方法,基于樸素貝葉斯模型推薦熱度排名前100的熱點新聞推薦結(jié)果的準(zhǔn)確率可以達到92.5%。(3)本文討論基于標(biāo)題的熱點新聞推薦算法中標(biāo)題存在的缺陷,進一步提出了基于文本摘要的熱點新聞推薦算法。首先采用Text Rank以及復(fù)雜網(wǎng)絡(luò)劃分方法從新聞內(nèi)容中提取出新聞?wù)Ｈ缓?在熱點新聞推薦算法中,使用新聞文本摘要代替新聞標(biāo)題。最終,使用樸素貝葉斯模型與SVM對新聞進行文本分類,并將分類結(jié)果作為推薦內(nèi)容。實驗結(jié)果表明,基于文本摘要的樸素貝葉斯模型推薦熱度排名前100的熱點新聞推薦結(jié)果的準(zhǔn)確率達到94%。這表明基于新聞?wù)臒狳c新聞推薦結(jié)果更為準(zhǔn)確。(4)本文基于文本摘要的新聞推薦算法所實現(xiàn)的熱點新聞推薦系統(tǒng)于2014年3月份開始在杭州市政府正式運營,為杭州市政府公務(wù)員推薦熱點新聞,用戶反映良好。
【學(xué)位單位】：南京航空航天大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2015
【中圖分類】：TP391.3;G210.7
【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景和意義
    1.2 推薦系統(tǒng)
        1.2.1 推薦系統(tǒng)定義
        1.2.2 用戶模塊
        1.2.3 推薦對象模型
    1.3 推薦系統(tǒng)算法分類
        1.3.1 基于內(nèi)容的推薦
        1.3.2 協(xié)同過濾推薦
        1.3.3 基于社會網(wǎng)絡(luò)分析方法的推薦
        1.3.4 基于網(wǎng)絡(luò)結(jié)構(gòu)的推薦策略
        1.3.5 混合推薦
    1.4 文本分類
    1.5 本文的主要工作和結(jié)構(gòu)安排
第二章 基于Hadoop平臺新聞數(shù)據(jù)抓取
    2.1 Hadoop簡介
    2.2 Hadoop的體系結(jié)構(gòu)
        2.2.1 HDFS的體系結(jié)構(gòu)
        2.2.2 Map Reduce的體系結(jié)構(gòu)
        2.2.3 Hbase體系結(jié)構(gòu)
    2.3 基于Hadoop的數(shù)據(jù)采集
        2.3.1 Hadoop平臺搭建
        2.3.2 數(shù)據(jù)抓取
        2.3.3 網(wǎng)絡(luò)爬蟲
        2.3.4 基于DOM樹的網(wǎng)頁解析
    2.4 數(shù)據(jù)存儲
    2.5 本章小結(jié)
第三章 基于標(biāo)題的熱點新聞推薦算法
    3.1 背景及動機
    3.2 文本分類方法
        3.2.1 樸素貝葉斯算法
        3.2.2 K最鄰近分類算法
        3.2.3 支持向量機
        3.2.4 神經(jīng)網(wǎng)絡(luò)算法
        3.2.5 決策樹分類算法
    3.3 基于標(biāo)題的熱點新聞推薦
        3.3.1 基于樸素貝葉斯的推薦算法
        3.3.2 基于SVM推薦算法
    3.4 實施方案
        3.4.1 基于樸素貝葉斯的推薦方法
        3.4.2 基于SVM的推薦方法
    3.5 仿真實驗
        3.5.1 中文分詞
        3.5.2 實驗結(jié)果與分析
    3.6 本章小結(jié)
第四章 基于文本摘要的新聞推薦
    4.1 基于標(biāo)題的新聞推薦缺陷
    4.2 文本摘要
        4.2.1 文本摘要分類
        4.2.2 基于text Rank的文本摘要算法
        4.2.3 基于復(fù)雜網(wǎng)絡(luò)的文本摘要算法
    4.3 基于文本摘要的新聞推薦算法
    4.4 實驗結(jié)果分析
    4.5 系統(tǒng)實現(xiàn)
    4.6 本章小結(jié)
第五章 總結(jié)和展望
參考文獻
致謝
在學(xué)校期間的研究成果及發(fā)表的學(xué)術(shù)論文

【相似文獻】

相關(guān)期刊論文 前10條

1 馬漢華;邵志清;過弋;;基于認(rèn)知心理學(xué)模型的自動文本摘要生成技術(shù)[J];華東理工大學(xué)學(xué)報(自然科學(xué)版);2009年06期

2 孫春葵,李蕾,楊曉蘭,鐘義信;基于知識的文本摘要系統(tǒng)研究與實現(xiàn)[J];計算機研究與發(fā)展;2000年07期

3 程倩倩;田大鋼;;基于基本要素方法的中文自動文本摘要模型[J];現(xiàn)代圖書情報技術(shù);2010年02期

4 胡俠;林曄;王燦;林立;;自動文本摘要技術(shù)綜述[J];情報雜志;2010年08期

5 劉冬平;李振坤;熊建斌;;基于統(tǒng)計的音樂摘要研究[J];現(xiàn)代計算機(專業(yè)版);2010年02期

6 王知津;基于句子選擇的自動文本摘要方法及其評價[J];現(xiàn)代圖書情報技術(shù);1998年01期

7 鄒劍章;周經(jīng)野;陳益強;胡明清;;基于事件框架的移動摘要方法研究[J];微計算機信息;2010年12期

8 廖濤;劉宗田;王利;;多主題文本摘要抽取的研究與實現(xiàn)[J];計算機工程;2011年06期

9 龍瓏;鄧偉;;綠網(wǎng)摘要提取系統(tǒng)算法研究[J];微型機與應(yīng)用;2013年12期

10 張龍凱;王厚峰;;文本摘要問題中的句子抽取方法研究[J];中文信息學(xué)報;2012年02期

相關(guān)碩士學(xué)位論文 前10條

1 謝松山;非領(lǐng)域知識依賴的文本摘要方法的研究[D];西南大學(xué);2015年

2 王斌;面向微博的觀點摘要關(guān)鍵技術(shù)研究[D];山西大學(xué);2015年

3 Ahmad Najibullah;印尼文文本摘要的句子提取和還原[D];南昌大學(xué);2015年

4 王曉陽;一種基于概念格的中文文本摘要方法研究[D];北京理工大學(xué);2015年

5 吳振東;基于圖模型聚類的文本摘要方法研究[D];浙江工商大學(xué);2015年

6 許盛伍;在線熱點新聞推薦系統(tǒng)研究和實現(xiàn)[D];南京航空航天大學(xué);2015年

7 叢艷;自動文本摘要方法的研究及應(yīng)用[D];華北電力大學(xué)（北京）;2004年

8 閆英杰;偏重摘要技術(shù)及其應(yīng)用研究[D];大連理工大學(xué);2007年

9 王英杰;基于潛在語義分析的文本摘要技術(shù)研究[D];山東大學(xué);2014年

10 劉茵;新聞文檔的自動文本摘要技術(shù)研究[D];解放軍信息工程大學(xué);2007年

本文編號：2852586