本文關(guān)鍵詞：Hadoop平臺的微博熱點事件挖掘

  更多相關(guān)文章： 微博 Hadoop 分布式 熱點事件

【摘要】：微博作為一種新興的網(wǎng)絡(luò)社交服務(wù),其即時通訊功能強大,用戶可利用各種手段在微博上實時、快捷地發(fā)布社會熱點事件.但是微博平臺在短時間內(nèi)發(fā)布大量信息的特點在一定程度上造成了信息的碎片化,而且迅速的信息更新速度易造成重要信息的不易檢索.本文采用Hadoop平臺,利用其在大數(shù)據(jù)挖掘方面的優(yōu)勢,提出挖掘微博中熱點詞的分布式算法,提取熱點詞組織熱點事件,方便用戶查詢.此外提出了線性時間復(fù)雜度的檢測算法,檢測熱點事件的爆發(fā)時間段.文中采用Twitter和新浪微博上的數(shù)據(jù)集作為測試樣本,進行了大量的實驗,實驗結(jié)果表明本文算法能有效的提取微博中的熱點事件.
【作者單位】： 廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院;廈門大學(xué)深圳研究院;仟首網(wǎng)絡(luò)科技有限公司;
【關(guān)鍵詞】： 微博 Hadoop 分布式 熱點事件
【基金】：國家自然科學(xué)基金項目(61102136,61001013)資助 福建省自然科學(xué)基金項目(2011J05158)資助 深圳市科技創(chuàng)新基礎(chǔ)研究項目(JCYJ20120618155655087)資助
【分類號】：TP393.092
【正文快照】： 1引言微博作為一種新興的開放式互聯(lián)網(wǎng)社交服務(wù),有以下特點:傳播受眾群體的廣泛性;傳播途徑的草根性以及傳播內(nèi)容的原創(chuàng)性.其即時通訊功能十分強大,可利用各種手段實時、快捷、現(xiàn)場發(fā)布大的突發(fā)事件或引起全球關(guān)注的大事.然而,微博平臺短時間內(nèi)發(fā)布較大量信息的特點在一定程

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 吳永輝;王曉龍;丁宇新;徐軍;郭鴻志;;基于主題的自適應(yīng)、在線網(wǎng)絡(luò)熱點發(fā)現(xiàn)方法及新聞推薦系統(tǒng)[J];電子學(xué)報;2010年11期

2 韓忠明;陳妮;樂嘉錦;段大高;孫踐知;;面向熱點話題時間序列的有效聚類算法研究[J];計算機學(xué)報;2012年11期

3 李勁;張華;吳浩雄;向軍;;基于特定領(lǐng)域的中文微博熱點話題挖掘系統(tǒng)BTopicMiner[J];計算機應(yīng)用;2012年08期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王立才;孟祥武;張玉潔;;移動網(wǎng)絡(luò)服務(wù)中基于認知心理學(xué)的用戶偏好提取方法[J];電子學(xué)報;2011年11期

2 張引;張斌;高克寧;郭朋偉;孫達明;;面向自主意識的標(biāo)簽個性化推薦方法研究[J];電子學(xué)報;2012年12期

3 黃世平;黃晉;陳健;湯庸;;自動建立信任的防攻擊推薦算法研究[J];電子學(xué)報;2013年02期

4 溫源;王星;劉云;行新香;;一種基于PDBMLCA聚類的網(wǎng)絡(luò)突發(fā)事件發(fā)現(xiàn)算法[J];北京交通大學(xué)學(xué)報;2013年02期

5 江雨燕;李平;王清;;基于共享背景主題的Labeled LDA模型[J];電子學(xué)報;2013年09期

6 吳振宇;胡軍;李德毅;;社會標(biāo)注系統(tǒng)冪律特性分析[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2014年02期

7 江林升;張春霞;;含關(guān)鍵字的新浪微博獲取與輿情分析[J];寶雞文理學(xué)院學(xué)報(自然科學(xué)版);2014年01期

8 魏萌;楊文濤;;基于關(guān)鍵詞的微博熱點話題實時檢測方法[J];計算機與現(xiàn)代化;2013年10期

9 張武強;穆瑞輝;;基于Dirichlet過程的層次話題模型研究[J];科學(xué)技術(shù)與工程;2013年27期

10 閆光輝;趙紅運;任亞縉;陳勇;;基于時間特性的微博熱門話題檢測算法研究[J];計算機應(yīng)用研究;2014年01期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 彭楠峗;王厚峰;凌晨添;;基于層次聚類的網(wǎng)絡(luò)新聞熱點發(fā)現(xiàn)[A];中國計算語言學(xué)研究前沿進展（2009-2011）[C];2011年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 徐軍;面向金融信息檢索的體裁分類與情感分析技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2011年

2 王立才;上下文感知推薦系統(tǒng)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

3 彭菲菲;網(wǎng)絡(luò)熱點話題發(fā)現(xiàn)的關(guān)鍵技術(shù)研究[D];中國礦業(yè)大學(xué)(北京);2012年

4 王龍;教育資源推薦服務(wù)中若干關(guān)鍵技術(shù)的研究[D];吉林大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陳誠;個性化農(nóng)業(yè)信息推送技術(shù)研究[D];湖南農(nóng)業(yè)大學(xué);2012年

2 魯一杰;大規(guī)模新聞網(wǎng)絡(luò)視頻話題檢測與跟蹤技術(shù)研究[D];西南交通大學(xué);2012年

3 王政霄;基于微博的熱點事件挖掘與情感分析[D];上海交通大學(xué);2013年

4 王偉;Web挖掘技術(shù)及其在互聯(lián)網(wǎng)中的應(yīng)用研究[D];山東大學(xué);2013年

5 郭阿為;時序網(wǎng)絡(luò)熱點話題建模與分析[D];河北師范大學(xué);2013年

6 姚海波;微博熱點話題檢測與趨勢預(yù)測研究[D];華南理工大學(xué);2013年

7 吳登能;面向移動互聯(lián)網(wǎng)的個性化新聞推薦算法研究[D];杭州師范大學(xué);2013年

8 李玉翔;基于網(wǎng)絡(luò)社區(qū)的用戶興趣建模與推薦技術(shù)研究[D];解放軍信息工程大學(xué);2013年

9 張思龍;微博熱點話題預(yù)判技術(shù)研究[D];解放軍信息工程大學(xué);2013年

10 蘇其龍;微博新詞發(fā)現(xiàn)研究[D];哈爾濱工業(yè)大學(xué);2013年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李斌,譚立湘,章勁松,莊鎮(zhèn)泉;面向數(shù)據(jù)挖掘的時間序列符號化方法研究[J];電路與系統(tǒng)學(xué)報;2000年02期

2 高凱;;搜索引擎中信息動態(tài)采集策略的研究[J];電子學(xué)報;2007年10期

3 劉銘;王曉龍;劉遠超;;基于主題分析的文本分割技術(shù)研究[J];電子學(xué)報;2009年02期

4 詹艷艷;徐榮聰;陳曉云;;基于斜率提取邊緣點的時間序列分段線性表示方法[J];計算機科學(xué);2006年11期

5 楊一鳴;潘嶸;潘嘉林;楊強;李磊;;時間序列分類問題的算法比較[J];計算機學(xué)報;2007年08期

6 石晶;胡明;石鑫;戴國忠;;基于LDA模型的文本分割[J];計算機學(xué)報;2008年10期

7 李愛國,覃征;在線分割時間序列數(shù)據(jù)[J];軟件學(xué)報;2004年11期

8 孟濤;王繼民;閆宏飛;;網(wǎng)頁變化與增量搜集技術(shù)[J];軟件學(xué)報;2006年05期

9 肖宇;于劍;;基于近鄰傳播算法的半監(jiān)督聚類[J];軟件學(xué)報;2008年11期

10 戴東波;湯春蕾;熊峗;;基于整體和局部相似性的序列聚類算法[J];軟件學(xué)報;2010年04期

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王鼎云;;對微博的發(fā)展?fàn)顩r和趨勢的冷思考[J];時代教育(教育教學(xué));2011年01期

2 王艷;;Twitter技術(shù)及其在情景教育中的應(yīng)用[J];中國西部科技;2010年16期

3 李士奇;;微博使用者應(yīng)具備的基本素養(yǎng)[J];科教導(dǎo)刊(上旬刊);2011年03期

4 張來勇;;淺析移動互聯(lián)網(wǎng)技術(shù)的教育應(yīng)用[J];中國信息技術(shù)教育;2011年Z1期

5 劉穎錄;;淺析新網(wǎng)絡(luò)時代的微博傳播[J];商業(yè)文化(上半月);2011年05期

6 ;分布式漏洞掃描技術(shù)與系統(tǒng)——RJ-iToP助您明察IT系統(tǒng)安全狀態(tài)[J];計算機與網(wǎng)絡(luò);2005年17期

7 賀耿;羅曉奔;;P2P網(wǎng)絡(luò)中基于用戶行為的分布式信任模型研究[J];計算機與數(shù)字工程;2006年06期

8 霍林;覃海生;;基于分布式的遠程網(wǎng)絡(luò)信息管理系統(tǒng)的一種內(nèi)網(wǎng)數(shù)據(jù)安全保護方法[J];廣西大學(xué)學(xué)報(自然科學(xué)版);2006年03期

9 唐峻;;網(wǎng)格技術(shù)在P2P系統(tǒng)中的應(yīng)用[J];福建電腦;2006年12期

10 高勇;趙振東;婁云永;;無尺度網(wǎng)絡(luò)中集散節(jié)點控制策略的研究[J];計算機工程與應(yīng)用;2009年34期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 劉輝蘭;李陶深;葛志輝;;基于代理的分布式入侵檢測系統(tǒng)中網(wǎng)絡(luò)代理的相關(guān)技術(shù)研究[A];廣西計算機學(xué)會2005年學(xué)術(shù)年會論文集[C];2005年

2 周詳;王龍明;;建立分布式防護的安全體系[A];中國煙草行業(yè)信息化研討會論文集[C];2004年

3 高長壽;陳定方;郭蘊華;周麗琨;;分布式路由器級拓撲發(fā)現(xiàn)技術(shù)研究[A];2005年十二省區(qū)市機械工程學(xué)會學(xué)術(shù)年會論文集（湖北專集）[C];2005年

4 游爭光;劉建勛;唐明董;;分布式Web服務(wù)測試系統(tǒng)的設(shè)計與實現(xiàn)[A];CCF NCSC 2011——第二屆中國計算機學(xué)會服務(wù)計算學(xué)術(shù)會議論文集[C];2011年

5 曾明霏;李陶深;;一種分布式網(wǎng)絡(luò)編碼的組播路由算法構(gòu)想[A];廣西計算機學(xué)會2007年年會論文集[C];2007年

6 王海威;王琰;;利用Web應(yīng)用技術(shù)向分布式三層結(jié)構(gòu)擴展[A];2003年內(nèi)蒙古自治區(qū)自然科學(xué)學(xué)術(shù)年會優(yōu)秀論文集[C];2003年

7 李鵬;王晟;;基于Stackelberg的域間網(wǎng)絡(luò)資源配置研究[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

8 夏冰;夏敏捷;徐飛;鄭秋生;;一種分布式安全評估主控中心的研究與設(shè)計[A];計算機研究新進展（2010）——河南省計算機學(xué)會2010年學(xué)術(shù)年會論文集[C];2010年

9 章洋;陳俊亮;;基于分布式事件的服務(wù)協(xié)同[A];CCF NCSC 2011——第二屆中國計算機學(xué)會服務(wù)計算學(xué)術(shù)會議論文集[C];2011年

10 魏征;吳剛;;FT-OSGi:一種容錯的分布式OSGi設(shè)計與實現(xiàn)[A];第七屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2011)論文集【poster】[C];2011年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 蓋俊飛 林楠;分布式ISA防火墻與服務(wù)器的配置[N];電腦報;2003年

2 國家高性能計算機工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國計算機報;2005年

3 國防科學(xué)技術(shù)大學(xué)計算機學(xué)院軟件所 董勇 周恩強;構(gòu)建分布式文件系統(tǒng)[N];中國計算機報;2005年

4 陳樂;分布式三層易管理[N];中國計算機報;2002年

5 任續(xù)燁;一個端口一個關(guān)[N];中國計算機報;2004年

6 樂;分布式三層網(wǎng)絡(luò)的構(gòu)建[N];中國電腦教育報;2002年

7 謝厚亮 劉偉躍;構(gòu)建分布式超級計算機[N];計算機世界;2005年

8 周斌;分布式架構(gòu)在電信業(yè)的應(yīng)用[N];人民郵電;2004年

9 ;互盈 分布式教育資源網(wǎng)解決方案[N];中國計算機報;2002年

10 ;啟明星辰推出分布式漏洞掃描系統(tǒng)[N];中國計算機報;2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 傅濤;基于數(shù)據(jù)挖掘的分布式網(wǎng)絡(luò)入侵協(xié)同檢測系統(tǒng)研究及實現(xiàn)[D];南京理工大學(xué);2008年

2 常光輝;大規(guī)模分布式可信監(jiān)控系統(tǒng)研究[D];重慶大學(xué);2011年

3 曹曉陽;面向?qū)ο蟮闹虚g件技術(shù)在企業(yè)環(huán)境中的應(yīng)用研究——CORBA技術(shù)應(yīng)用研究[D];電子科技大學(xué);2003年

4 王嵩;P2P媒體服務(wù)系統(tǒng)研究[D];中國科學(xué)技術(shù)大學(xué);2010年

5 王晉;一種基于移動代理的自適應(yīng)的分布式入侵檢測系統(tǒng)的架構(gòu)與實施[D];中國科學(xué)院研究生院（軟件研究所）;2005年

6 劉棣華;網(wǎng)絡(luò)入侵檢測系統(tǒng)及其自適應(yīng)性的研究與實現(xiàn)[D];東華大學(xué);2009年

7 周世杰;對等計算中的分布式路由算法及其安全性研究[D];電子科技大學(xué);2004年

8 滕少華;基于對象監(jiān)控的分布式協(xié)同入侵檢測[D];廣東工業(yè)大學(xué);2008年

9 張建偉;身份與位置標(biāo)識分離映射解析關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2010年

10 呂曉鵬;P2P技術(shù)在IPv4/IPv6混合網(wǎng)中應(yīng)用的關(guān)鍵問題研究[D];北京郵電大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 鄭大志;基于Web服務(wù)和CORBA的分布式網(wǎng)絡(luò)管理體系結(jié)構(gòu)研究[D];武漢科技大學(xué);2003年

2 黃鯤;一種分布式入侵監(jiān)測系統(tǒng)的研究[D];昆明理工大學(xué);2004年

3 劉濤;移動計算分布式路由算法研究[D];天津大學(xué);2004年

4 王兆龍;一種整合防火墻技術(shù)的分布式計費系統(tǒng)的設(shè)計與實現(xiàn)[D];吉林大學(xué);2006年

5 陳桐桐;基于OVAL的分布式漏洞檢測系統(tǒng)設(shè)計與實現(xiàn)[D];西北大學(xué);2011年

6 啜俊娜;基于Hadoop的分布式文件存儲服務(wù)平臺設(shè)計與實現(xiàn)[D];浙江大學(xué);2012年

7 李洪浩;分布式廣域網(wǎng)網(wǎng)絡(luò)信息監(jiān)控系統(tǒng)研究與實現(xiàn)[D];四川大學(xué);2003年

8 韓久學(xué);基于Linux的分布式智能郵件系統(tǒng)的研究與實現(xiàn)[D];大連海事大學(xué);2004年

9 金銘月;基于SOAP的分布式工作流管理系統(tǒng)研究[D];哈爾濱理工大學(xué);2005年

10 魏星;MANET環(huán)境中基于OLSR的完全分布式證書中心的設(shè)計與實現(xiàn)[D];湖南大學(xué);2005年

，

本文編號：585660