隨著信息技術持續(xù)不斷的快速發(fā)展,信息產(chǎn)生與傳播的速度與日俱增,與此同時,移動互聯(lián)網(wǎng)技術的更新迭代與智能終端的大規(guī)模應用,使人們獲取信息的方式也變得簡單快捷。在此背景下,報紙、電視等定時新聞播報方式的影響逐漸式微,門戶網(wǎng)站、新聞網(wǎng)站以及社交媒體等新聞傳播平臺成為人們關注時事熱點的主要渠道。然而,互聯(lián)網(wǎng)中的資訊平臺不斷增加,新聞報道的數(shù)量呈指數(shù)式增長,網(wǎng)絡新聞資訊逐漸變得雜亂和臃腫。對于單用戶來說,雖然能夠從新聞客戶端的個性化推薦中獲取熱點新聞,但其“量身定制”的新聞信息存在同質(zhì)化嚴重、限制用戶閱讀選擇自由等問題,使用戶自主及時地從互聯(lián)網(wǎng)中獲取其感興趣領域的新聞熱點并追蹤其發(fā)展趨勢變得愈發(fā)困難。因此,應用先進的大數(shù)據(jù)技術處理和分析海量的新聞信息,使用戶能夠自主選擇關注不同領域的熱點話題,具有重要的研究意義�；谏鲜龇治�,本文結(jié)合網(wǎng)絡新聞熱點話題的特點和大數(shù)據(jù)處理平臺的優(yōu)勢,設計并實現(xiàn)了基于Spark的多領域網(wǎng)絡新聞熱點挖掘系統(tǒng),有效提升了新聞熱點挖掘與追蹤的性能。本文完成的主要工作包括:(1)針對多領域網(wǎng)絡新聞分類問題,提出基于混合采樣的集成fastText新聞自動分類模型,使用戶能夠自主...

【文章頁數(shù)】：91 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 論文主要內(nèi)容
        1.3.1 研究內(nèi)容
        1.3.2 主要貢獻與創(chuàng)新
    1.4 論文的組織結(jié)構(gòu)
第二章 相關理論與技術
    2.1 網(wǎng)絡爬蟲技術
    2.2 自然語言處理技術
        2.2.1 中文分詞技術
        2.2.2 文本特征表示模型
        2.2.3 文本分類算法
    2.3 聚類算法
    2.4 大數(shù)據(jù)技術
    2.5 本章小結(jié)
第三章 多領域網(wǎng)絡新聞分類技術研究
    3.1 fastText分類算法
        3.1.1 fastText的基本原理
        3.1.2 基于fastText算法的分類流程
    3.2 基于集成fastText的并行化網(wǎng)絡新聞分類模型
        3.2.1 基于集成fastText的網(wǎng)絡新聞分類模型
        3.2.2 基于Spark的并行化集成fastText模型實現(xiàn)
    3.3 本章小結(jié)
第四章 新聞熱點話題挖掘與追蹤技術研究
    4.1 新聞文本特征表示
        4.1.1 LDA主題模型
        4.1.2 命名實體識別技術
        4.1.3 NE-LDA主題模型
        4.1.4 基于Word2Vec的文本向量化
        4.1.5 基于NE-LDA和Word2Vec結(jié)合的新聞文本特征表示
    4.2 基于Single-Pass的并行化新聞話題挖掘
        4.2.1 基于Single-Pass的新聞話題挖掘
        4.2.2 基于Spark的并行化Single-Pass算法實現(xiàn)
    4.3 話題全生命周期熱度評估
    4.4 基于位置屬性的熱點話題推薦
    4.5 本章小結(jié)
第五章 基于Spark的多領域網(wǎng)絡新聞熱點挖掘系統(tǒng)的設計與實現(xiàn)
    5.1 系統(tǒng)總體設計
        5.1.1 系統(tǒng)靜態(tài)結(jié)構(gòu)設計
        5.1.2 系統(tǒng)動態(tài)結(jié)構(gòu)設計
    5.2 系統(tǒng)詳細設計及實現(xiàn)
        5.2.1 數(shù)據(jù)采集模塊
        5.2.2 數(shù)據(jù)存儲模塊
        5.2.3 網(wǎng)絡新聞分類模塊
        5.2.4 熱點話題挖掘模塊
        5.2.5 熱點話題展示模塊
    5.3 本章小結(jié)
第六章 系統(tǒng)測試及驗證
    6.1 系統(tǒng)環(huán)境搭建與部署
    6.2 網(wǎng)絡新聞分類模塊測試
    6.3 熱點話題挖掘模塊測試
        6.3.1 話題挖掘算法有效性測試
        6.3.2 話題熱度評估方式準確性測試
    6.4 熱點話題展示模塊測試
    6.5 系統(tǒng)總體測試
    6.6 系統(tǒng)核心功能展示
    6.7 本章小結(jié)
第七章 總結(jié)與展望
    7.1 工作總結(jié)
    7.2 下一步研究方向
參考文獻
致謝
作者攻讀學位期間發(fā)表的學術論文目錄



本文編號：3840296