本文關(guān)鍵詞：基于k-means聚類和TF-IDF的新浪微博輿情分析　出處：《遼寧科技大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 網(wǎng)絡(luò)爬蟲 輿情 聚類 自然語(yǔ)言處理

【摘要】：現(xiàn)如今的人們正處在一個(gè)信息爆炸的時(shí)代,人是信息的傳播者更是信息的制造者。過(guò)去,主要的信息傳播工具是報(bào)紙、電視等,但是在今天,人們已經(jīng)被新媒體所包圍。新媒體的新不僅僅是通信手段的新,更重要的是,它改變了普通群眾在社會(huì)輿論中的位置。人們可以通過(guò)在貼吧、論壇、微博的方式提出觀點(diǎn)、發(fā)表意見。傳統(tǒng)的信息獲取渠道通常是報(bào)紙或者是社會(huì)的一些主流媒體。這些媒體有很好的客觀性,但是卻不能在第一時(shí)間將信息傳遞給大眾。對(duì)于貼吧、論壇或微博來(lái)說(shuō),它既可以相對(duì)保證客觀性的同時(shí)又有很好的實(shí)時(shí)性。為此輿情系統(tǒng)應(yīng)運(yùn)而生。它以Web信息作為輸入,信息處理后的結(jié)果反映了大眾對(duì)各種事件的態(tài)度,是政府和企業(yè)了解民意的重要渠道。微博輿情系統(tǒng)是現(xiàn)如今比較流行也是比較實(shí)用的系統(tǒng)。它以微博數(shù)據(jù)為基礎(chǔ),利用接口或者自行開發(fā)的爬蟲程序抓取信息。通過(guò)自然語(yǔ)言處理以及機(jī)器學(xué)習(xí)技術(shù)對(duì)數(shù)據(jù)處理,得到數(shù)據(jù)中隱藏的信息。最終分析得到的信息,獲取大眾的輿情觀點(diǎn)。本系統(tǒng)實(shí)現(xiàn)步驟大致如下。(1)通過(guò)自行編寫網(wǎng)絡(luò)爬蟲程序,完成微博數(shù)據(jù)的實(shí)時(shí)采集。(2)通過(guò)simhash算法對(duì)原始文本進(jìn)行去重操作。(3)利用中文分詞、去停用詞操作對(duì)文本進(jìn)行粗加工。(4)使用改進(jìn)后的k-means聚類算法為文本集合進(jìn)行聚類操作。(5)利用特征抽取的方式抽取關(guān)鍵詞。(6)結(jié)合情感詞典完成微博輿情操作。本系統(tǒng)提出了:(1)通過(guò)懲罰值改進(jìn)的k-means聚類算法。(2)利用聚類劃分微博話題,通過(guò)特征抽取方式在話題中得到關(guān)鍵詞。通過(guò)實(shí)驗(yàn)得到了比較理想的效果,表明了本方法的有效性。
[Abstract]:The present system is based on micro blog data , and it changes the position of public opinion .

【學(xué)位授予單位】：遼寧科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.1;TP393.092

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 梁麗雯;;網(wǎng)絡(luò)輿情分析師或成就業(yè)香餑餑[J];金融科技時(shí)代;2014年01期

2 ;做好輿情分析是有效引導(dǎo)的前提[J];中國(guó)記者;2001年03期

3 楊玫;;輿情分析:圖書館為領(lǐng)導(dǎo)決策服務(wù)的新探索[J];圖書館論壇;2006年05期

4 宋占茹;;圖書館開展網(wǎng)絡(luò)輿情分析工作初探[J];情報(bào)探索;2010年08期

5 何順蘭;王興起;胡宏宇;姜明;;多媒體輿情分析系統(tǒng)設(shè)計(jì)與研究[J];杭州電子科技大學(xué)學(xué)報(bào);2010年05期

6 顏建華;劉巖;傅黎犁;劉亞民;;基于網(wǎng)絡(luò)的輿情分析系統(tǒng)及其應(yīng)用研究[J];醫(yī)學(xué)信息學(xué)雜志;2011年08期

7 侯文昌;;傳媒新角色—輿情分析師的專業(yè)素養(yǎng) “朝陽(yáng)職業(yè)”四年成長(zhǎng)史[J];中國(guó)記者;2011年09期

8 劉鵬飛;;“尋路”輿情分析師:一些心得,幾點(diǎn)忠告[J];中國(guó)記者;2011年09期

9 劉巖;傅黎犁;顏建華;;醫(yī)學(xué)情報(bào)研究機(jī)構(gòu)開展輿情分析服務(wù)的實(shí)踐[J];中華醫(yī)學(xué)圖書情報(bào)雜志;2012年01期

10 曹勁松;;政府形象傳播的輿情分析[J];江海學(xué)刊;2012年03期

相關(guān)會(huì)議論文 前4條

1 宋占茹;;圖書館網(wǎng)絡(luò)輿情分析工作新探[A];華北地區(qū)高校圖協(xié)第二十四屆學(xué)術(shù)年會(huì)論文（文章）匯編[C];2010年

2 何順蘭;王興起;胡宏宇;姜明;;多媒體輿情分析系統(tǒng)設(shè)計(jì)與研究[A];浙江省電子學(xué)會(huì)2010學(xué)術(shù)年會(huì)論文集[C];2010年

3 孫江;;天津薊縣萊德商廈火災(zāi)信息發(fā)布、媒體報(bào)道及網(wǎng)絡(luò)輿情分析[A];2013中國(guó)消防協(xié)會(huì)科學(xué)技術(shù)年會(huì)論文集[C];2013年

4 梁飛;呂洪波;姚錦峰;;輿情分析中語(yǔ)料庫(kù)降維[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 降蘊(yùn)彰;輿情分析師來(lái)了[N];經(jīng)濟(jì)觀察報(bào);2013年

2 福建三明學(xué)院 鄭祥專;教育輿情分析須堅(jiān)持“四性”[N];中國(guó)教育報(bào);2009年

3 記者 王慶華;克旗全面啟動(dòng)法律援助輿情分析工作[N];赤峰日?qǐng)?bào);2010年

4 本報(bào)記者 傅江平;輿情分析為食品安全監(jiān)管提供支撐[N];中國(guó)質(zhì)量報(bào);2012年

5 記者 馬獻(xiàn)忠;“段子文化的輿情分析”課題結(jié)項(xiàng)[N];中國(guó)社會(huì)科學(xué)報(bào);2011年

6 本報(bào)記者 孫艷敏;網(wǎng)絡(luò)輿情分析師：不只是替領(lǐng)導(dǎo)看看網(wǎng)[N];檢察日?qǐng)?bào);2013年

7 記者 魏志強(qiáng)　通訊員 杜勝輝;青工的心情 團(tuán)委的事情[N];中國(guó)石油報(bào);2010年

8 楊麗娟　張音;走近網(wǎng)絡(luò)輿情分析師[N];人民日?qǐng)?bào);2011年

9 于雅倩　本報(bào)記者 王寧;身邊煩惱有地兒說(shuō)[N];丹東日?qǐng)?bào);2009年

10 趙強(qiáng);回應(yīng)輿論關(guān)切 怎能語(yǔ)焉不詳[N];人民日?qǐng)?bào);2014年

相關(guān)博士學(xué)位論文 前1條

1 馮時(shí);面向網(wǎng)絡(luò)輿情分析的觀點(diǎn)挖掘關(guān)鍵技術(shù)研究[D];東北大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 姜朋;山東大學(xué)輿情分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

2 唐霞;Hadoop調(diào)度器優(yōu)化及其在輿情分析中的應(yīng)用[D];北京化工大學(xué);2015年

3 馮佳明;深度詞匯網(wǎng)絡(luò)學(xué)習(xí)輿情監(jiān)測(cè)關(guān)鍵技術(shù)的研究[D];北京化工大學(xué);2015年

4 王曄;面向輿情分析的skyline查詢技術(shù)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

5 馬梅;基于大數(shù)據(jù)的網(wǎng)絡(luò)輿情分析系統(tǒng)模型研究[D];西安電子科技大學(xué);2014年

6 高衛(wèi)民;城市公安網(wǎng)絡(luò)輿情分析系統(tǒng)的設(shè)計(jì)與開發(fā)[D];天津大學(xué);2014年

7 黃斯琪;基于微博平臺(tái)的社交網(wǎng)絡(luò)輿情分析方法[D];南京郵電大學(xué);2015年

8 羅晶;校園輿情分析中的意見挖掘技術(shù)研究[D];東南大學(xué);2015年

9 梁超君;大數(shù)據(jù)背景下G政府輿情分析應(yīng)用研究[D];廣東工業(yè)大學(xué);2016年

10 譚造樂;基于Spark的輿情分析架構(gòu)研究[D];廣東工業(yè)大學(xué);2016年

，

本文編號(hào)：1369997