隨著互聯(lián)網(wǎng)的極速發(fā)展,網(wǎng)絡(luò)媒體成為媒體傳播的重要手段,海量的網(wǎng)絡(luò)媒體信息為用戶帶來了極豐富的語料資源。除了新聞傳播以外,論壇、博客、微博等新的網(wǎng)絡(luò)媒體形式不斷出現(xiàn),網(wǎng)絡(luò)媒體的內(nèi)涵和外延也正不斷發(fā)生演化。面對浩瀚的網(wǎng)絡(luò)語料數(shù)據(jù)集,如何充分挖掘其價值,以可視化方法針對特定話題進行分析成為亟待解決的問題。在此基礎(chǔ)上,網(wǎng)絡(luò)媒體監(jiān)測應(yīng)運而生,成為了分析語料數(shù)據(jù)的一種必要手段。本文構(gòu)建的網(wǎng)絡(luò)媒體語料庫系統(tǒng)的主要目的是利用信息檢索和自然語言處理等技術(shù),以自動化的手段對網(wǎng)絡(luò)上各種媒體信息進行收集、整理,分析和加工。本文的主要工作如下:(1)語料庫分析:首先利用通用網(wǎng)絡(luò)爬蟲算法爬取新聞、微博、博客、論壇數(shù)據(jù),并對這些數(shù)據(jù)進行預處理;接下來構(gòu)建語料庫,實現(xiàn)對以上四類語料按日期范圍查找的功能;最后實現(xiàn)話題分析,針對新聞?wù)Z料做關(guān)鍵詞檢索,用可視化的方法呈現(xiàn)話題分布趨勢,結(jié)合Bing搜索引擎搜索關(guān)鍵詞更多相關(guān)內(nèi)容并通過Carrot2進行話題聚類分析。(2)新聞監(jiān)測分析:首先實現(xiàn)每日新聞監(jiān)測,不僅包括實時爬取新浪首頁當日新聞,還利用Carrot2聚類對所爬取的新聞做話題聚類,提取并展示當日新聞熱點話題;隨后利用NLPIR分詞工具對每日新聞進行命名實體提取以及新詞識別,結(jié)合TF-IDF算法對提取效果做優(yōu)化,將最終結(jié)果通過可視化圖表展現(xiàn);最后收集各大機構(gòu)的每日熱門話題并在匯聚在本系統(tǒng)頁面上展示。支持查看與以上所有的命名實體、新詞、話題相關(guān)的新聞詳情列表。
【學位單位】：華中師范大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP391.1

【參考文獻】

相關(guān)期刊論文 前7條

1 梁喜濤;顧磊;;中文分詞與詞性標注研究[J];計算機技術(shù)與發(fā)展;2015年02期

2 張軼;李飛;;疾病控制領(lǐng)域網(wǎng)絡(luò)媒體監(jiān)測及其實施結(jié)果分析[J];無線互聯(lián)科技;2013年04期

3 路永和;李焰鋒;;改進TF-IDF算法的文本特征項權(quán)值計算方法[J];圖書情報工作;2013年03期

4 范達超;;論政府應(yīng)對網(wǎng)絡(luò)輿情事件的對策研究[J];廈門特區(qū)黨校學報;2012年02期

5 鄭榕增;林世平;;基于Lucene的中文倒排索引技術(shù)的研究[J];計算機技術(shù)與發(fā)展;2010年03期

6 章成志;;文本聚類結(jié)果描述研究綜述[J];現(xiàn)代圖書情報技術(shù);2009年02期

7 姜巖;第四媒體的崛起[J];中國新聞科技;1999年05期

相關(guān)碩士學位論文 前9條

1 張星宇;基于MVC架構(gòu)的稅務(wù)部門人員考核系統(tǒng)的設(shè)計與實現(xiàn)[D];吉林大學;2018年

2 杜艷美;基于web前端的性能優(yōu)化框架模型研究[D];西南科技大學;2018年

3 張凌瑞;基于窺視孔連接的BILSTM及CRF算法對復雜文本序列標注處理[D];北京交通大學;2018年

4 馬存;基于Word2Vec的中文短文本聚類算法研究與應(yīng)用[D];中國科學院大學(中國科學院沈陽計算技術(shù)研究所);2018年

5 周本金;改進K-means算法在文本聚類中的應(yīng)用[D];中國工程物理研究院;2018年

6 曲哲凝;Lucene中文分詞在電子檔案全文檢索中的應(yīng)用研究[D];大連海事大學;2015年

7 韓逸;基于增量式爬蟲的搜索引擎系統(tǒng)的設(shè)計與實現(xiàn)[D];東北大學;2015年

8 馮明遠;深度網(wǎng)絡(luò)信息爬取關(guān)鍵技術(shù)研究與實現(xiàn)[D];浙江大學;2010年

9 張瑞;基于Lucene的中英文文檔全文搜索引擎[D];電子科技大學;2008年

本文編號：2818901