本文關(guān)鍵詞：Hadoop平臺(tái)的微博熱點(diǎn)事件挖掘

  更多相關(guān)文章： 微博 Hadoop 分布式 熱點(diǎn)事件

【摘要】：微博作為一種新興的網(wǎng)絡(luò)社交服務(wù),其即時(shí)通訊功能強(qiáng)大,用戶(hù)可利用各種手段在微博上實(shí)時(shí)、快捷地發(fā)布社會(huì)熱點(diǎn)事件.但是微博平臺(tái)在短時(shí)間內(nèi)發(fā)布大量信息的特點(diǎn)在一定程度上造成了信息的碎片化,而且迅速的信息更新速度易造成重要信息的不易檢索.本文采用Hadoop平臺(tái),利用其在大數(shù)據(jù)挖掘方面的優(yōu)勢(shì),提出挖掘微博中熱點(diǎn)詞的分布式算法,提取熱點(diǎn)詞組織熱點(diǎn)事件,方便用戶(hù)查詢(xún).此外提出了線性時(shí)間復(fù)雜度的檢測(cè)算法,檢測(cè)熱點(diǎn)事件的爆發(fā)時(shí)間段.文中采用Twitter和新浪微博上的數(shù)據(jù)集作為測(cè)試樣本,進(jìn)行了大量的實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明本文算法能有效的提取微博中的熱點(diǎn)事件.
【作者單位】： 廈門(mén)大學(xué)信息科學(xué)與技術(shù)學(xué)院;廈門(mén)大學(xué)深圳研究院;仟首網(wǎng)絡(luò)科技有限公司;
【關(guān)鍵詞】： 微博 Hadoop 分布式 熱點(diǎn)事件
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61102136,61001013)資助 福建省自然科學(xué)基金項(xiàng)目(2011J05158)資助 深圳市科技創(chuàng)新基礎(chǔ)研究項(xiàng)目(JCYJ20120618155655087)資助
【分類(lèi)號(hào)】：TP393.092
【正文快照】： 1引言微博作為一種新興的開(kāi)放式互聯(lián)網(wǎng)社交服務(wù),有以下特點(diǎn):傳播受眾群體的廣泛性;傳播途徑的草根性以及傳播內(nèi)容的原創(chuàng)性.其即時(shí)通訊功能十分強(qiáng)大,可利用各種手段實(shí)時(shí)、快捷、現(xiàn)場(chǎng)發(fā)布大的突發(fā)事件或引起全球關(guān)注的大事.然而,微博平臺(tái)短時(shí)間內(nèi)發(fā)布較大量信息的特點(diǎn)在一定程

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前3條

1 吳永輝;王曉龍;丁宇新;徐軍;郭鴻志;;基于主題的自適應(yīng)、在線網(wǎng)絡(luò)熱點(diǎn)發(fā)現(xiàn)方法及新聞推薦系統(tǒng)[J];電子學(xué)報(bào);2010年11期

2 韓忠明;陳妮;樂(lè)嘉錦;段大高;孫踐知;;面向熱點(diǎn)話題時(shí)間序列的有效聚類(lèi)算法研究[J];計(jì)算機(jī)學(xué)報(bào);2012年11期

3 李勁;張華;吳浩雄;向軍;;基于特定領(lǐng)域的中文微博熱點(diǎn)話題挖掘系統(tǒng)BTopicMiner[J];計(jì)算機(jī)應(yīng)用;2012年08期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王立才;孟祥武;張玉潔;;移動(dòng)網(wǎng)絡(luò)服務(wù)中基于認(rèn)知心理學(xué)的用戶(hù)偏好提取方法[J];電子學(xué)報(bào);2011年11期

2 張引;張斌;高克寧;郭朋偉;孫達(dá)明;;面向自主意識(shí)的標(biāo)簽個(gè)性化推薦方法研究[J];電子學(xué)報(bào);2012年12期

3 黃世平;黃晉;陳健;湯庸;;自動(dòng)建立信任的防攻擊推薦算法研究[J];電子學(xué)報(bào);2013年02期

4 溫源;王星;劉云;行新香;;一種基于PDBMLCA聚類(lèi)的網(wǎng)絡(luò)突發(fā)事件發(fā)現(xiàn)算法[J];北京交通大學(xué)學(xué)報(bào);2013年02期

5 江雨燕;李平;王清;;基于共享背景主題的Labeled LDA模型[J];電子學(xué)報(bào);2013年09期

6 吳振宇;胡軍;李德毅;;社會(huì)標(biāo)注系統(tǒng)冪律特性分析[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2014年02期

7 江林升;張春霞;;含關(guān)鍵字的新浪微博獲取與輿情分析[J];寶雞文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2014年01期

8 魏萌;楊文濤;;基于關(guān)鍵詞的微博熱點(diǎn)話題實(shí)時(shí)檢測(cè)方法[J];計(jì)算機(jī)與現(xiàn)代化;2013年10期

9 張武強(qiáng);穆瑞輝;;基于Dirichlet過(guò)程的層次話題模型研究[J];科學(xué)技術(shù)與工程;2013年27期

10 閆光輝;趙紅運(yùn);任亞縉;陳勇;;基于時(shí)間特性的微博熱門(mén)話題檢測(cè)算法研究[J];計(jì)算機(jī)應(yīng)用研究;2014年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前1條

1 彭楠峗;王厚峰;凌晨添;;基于層次聚類(lèi)的網(wǎng)絡(luò)新聞熱點(diǎn)發(fā)現(xiàn)[A];中國(guó)計(jì)算語(yǔ)言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 徐軍;面向金融信息檢索的體裁分類(lèi)與情感分析技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2011年

2 王立才;上下文感知推薦系統(tǒng)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

3 彭菲菲;網(wǎng)絡(luò)熱點(diǎn)話題發(fā)現(xiàn)的關(guān)鍵技術(shù)研究[D];中國(guó)礦業(yè)大學(xué)(北京);2012年

4 王龍;教育資源推薦服務(wù)中若干關(guān)鍵技術(shù)的研究[D];吉林大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 陳誠(chéng);個(gè)性化農(nóng)業(yè)信息推送技術(shù)研究[D];湖南農(nóng)業(yè)大學(xué);2012年

2 魯一杰;大規(guī)模新聞網(wǎng)絡(luò)視頻話題檢測(cè)與跟蹤技術(shù)研究[D];西南交通大學(xué);2012年

3 王政霄;基于微博的熱點(diǎn)事件挖掘與情感分析[D];上海交通大學(xué);2013年

4 王偉;Web挖掘技術(shù)及其在互聯(lián)網(wǎng)中的應(yīng)用研究[D];山東大學(xué);2013年

5 郭阿為;時(shí)序網(wǎng)絡(luò)熱點(diǎn)話題建模與分析[D];河北師范大學(xué);2013年

6 姚海波;微博熱點(diǎn)話題檢測(cè)與趨勢(shì)預(yù)測(cè)研究[D];華南理工大學(xué);2013年

7 吳登能;面向移動(dòng)互聯(lián)網(wǎng)的個(gè)性化新聞推薦算法研究[D];杭州師范大學(xué);2013年

8 李玉翔;基于網(wǎng)絡(luò)社區(qū)的用戶(hù)興趣建模與推薦技術(shù)研究[D];解放軍信息工程大學(xué);2013年

9 張思龍;微博熱點(diǎn)話題預(yù)判技術(shù)研究[D];解放軍信息工程大學(xué);2013年

10 蘇其龍;微博新詞發(fā)現(xiàn)研究[D];哈爾濱工業(yè)大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李斌,譚立湘,章勁松,莊鎮(zhèn)泉;面向數(shù)據(jù)挖掘的時(shí)間序列符號(hào)化方法研究[J];電路與系統(tǒng)學(xué)報(bào);2000年02期

2 高凱;;搜索引擎中信息動(dòng)態(tài)采集策略的研究[J];電子學(xué)報(bào);2007年10期

3 劉銘;王曉龍;劉遠(yuǎn)超;;基于主題分析的文本分割技術(shù)研究[J];電子學(xué)報(bào);2009年02期

4 詹艷艷;徐榮聰;陳曉云;;基于斜率提取邊緣點(diǎn)的時(shí)間序列分段線性表示方法[J];計(jì)算機(jī)科學(xué);2006年11期

5 楊一鳴;潘嶸;潘嘉林;楊強(qiáng);李磊;;時(shí)間序列分類(lèi)問(wèn)題的算法比較[J];計(jì)算機(jī)學(xué)報(bào);2007年08期

6 石晶;胡明;石鑫;戴國(guó)忠;;基于LDA模型的文本分割[J];計(jì)算機(jī)學(xué)報(bào);2008年10期

7 李?lèi)?ài)國(guó),覃征;在線分割時(shí)間序列數(shù)據(jù)[J];軟件學(xué)報(bào);2004年11期

8 孟濤;王繼民;閆宏飛;;網(wǎng)頁(yè)變化與增量搜集技術(shù)[J];軟件學(xué)報(bào);2006年05期

9 肖宇;于劍;;基于近鄰傳播算法的半監(jiān)督聚類(lèi)[J];軟件學(xué)報(bào);2008年11期

10 戴東波;湯春蕾;熊峗;;基于整體和局部相似性的序列聚類(lèi)算法[J];軟件學(xué)報(bào);2010年04期

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王鼎云;;對(duì)微博的發(fā)展?fàn)顩r和趨勢(shì)的冷思考[J];時(shí)代教育(教育教學(xué));2011年01期

2 王艷;;Twitter技術(shù)及其在情景教育中的應(yīng)用[J];中國(guó)西部科技;2010年16期

3 李士奇;;微博使用者應(yīng)具備的基本素養(yǎng)[J];科教導(dǎo)刊(上旬刊);2011年03期

4 張來(lái)勇;;淺析移動(dòng)互聯(lián)網(wǎng)技術(shù)的教育應(yīng)用[J];中國(guó)信息技術(shù)教育;2011年Z1期

5 劉穎錄;;淺析新網(wǎng)絡(luò)時(shí)代的微博傳播[J];商業(yè)文化(上半月);2011年05期

6 ;分布式漏洞掃描技術(shù)與系統(tǒng)——RJ-iToP助您明察IT系統(tǒng)安全狀態(tài)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2005年17期

7 賀耿;羅曉奔;;P2P網(wǎng)絡(luò)中基于用戶(hù)行為的分布式信任模型研究[J];計(jì)算機(jī)與數(shù)字工程;2006年06期

8 霍林;覃海生;;基于分布式的遠(yuǎn)程網(wǎng)絡(luò)信息管理系統(tǒng)的一種內(nèi)網(wǎng)數(shù)據(jù)安全保護(hù)方法[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年03期

9 唐峻;;網(wǎng)格技術(shù)在P2P系統(tǒng)中的應(yīng)用[J];福建電腦;2006年12期

10 高勇;趙振東;婁云永;;無(wú)尺度網(wǎng)絡(luò)中集散節(jié)點(diǎn)控制策略的研究[J];計(jì)算機(jī)工程與應(yīng)用;2009年34期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 劉輝蘭;李陶深;葛志輝;;基于代理的分布式入侵檢測(cè)系統(tǒng)中網(wǎng)絡(luò)代理的相關(guān)技術(shù)研究[A];廣西計(jì)算機(jī)學(xué)會(huì)2005年學(xué)術(shù)年會(huì)論文集[C];2005年

2 周詳;王龍明;;建立分布式防護(hù)的安全體系[A];中國(guó)煙草行業(yè)信息化研討會(huì)論文集[C];2004年

3 高長(zhǎng)壽;陳定方;郭蘊(yùn)華;周麗琨;;分布式路由器級(jí)拓?fù)浒l(fā)現(xiàn)技術(shù)研究[A];2005年十二省區(qū)市機(jī)械工程學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（湖北專(zhuān)集）[C];2005年

4 游爭(zhēng)光;劉建勛;唐明董;;分布式Web服務(wù)測(cè)試系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];CCF NCSC 2011——第二屆中國(guó)計(jì)算機(jī)學(xué)會(huì)服務(wù)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2011年

5 曾明霏;李陶深;;一種分布式網(wǎng)絡(luò)編碼的組播路由算法構(gòu)想[A];廣西計(jì)算機(jī)學(xué)會(huì)2007年年會(huì)論文集[C];2007年

6 王海威;王琰;;利用Web應(yīng)用技術(shù)向分布式三層結(jié)構(gòu)擴(kuò)展[A];2003年內(nèi)蒙古自治區(qū)自然科學(xué)學(xué)術(shù)年會(huì)優(yōu)秀論文集[C];2003年

7 李鵬;王晟;;基于Stackelberg的域間網(wǎng)絡(luò)資源配置研究[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

8 夏冰;夏敏捷;徐飛;鄭秋生;;一種分布式安全評(píng)估主控中心的研究與設(shè)計(jì)[A];計(jì)算機(jī)研究新進(jìn)展（2010）——河南省計(jì)算機(jī)學(xué)會(huì)2010年學(xué)術(shù)年會(huì)論文集[C];2010年

9 章洋;陳俊亮;;基于分布式事件的服務(wù)協(xié)同[A];CCF NCSC 2011——第二屆中國(guó)計(jì)算機(jī)學(xué)會(huì)服務(wù)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2011年

10 魏征;吳剛;;FT-OSGi:一種容錯(cuò)的分布式OSGi設(shè)計(jì)與實(shí)現(xiàn)[A];第七屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2011)論文集【poster】[C];2011年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 蓋俊飛 林楠;分布式ISA防火墻與服務(wù)器的配置[N];電腦報(bào);2003年

2 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

3 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 陳樂(lè);分布式三層易管理[N];中國(guó)計(jì)算機(jī)報(bào);2002年

5 任續(xù)燁;一個(gè)端口一個(gè)關(guān)[N];中國(guó)計(jì)算機(jī)報(bào);2004年

6 樂(lè);分布式三層網(wǎng)絡(luò)的構(gòu)建[N];中國(guó)電腦教育報(bào);2002年

7 謝厚亮 劉偉躍;構(gòu)建分布式超級(jí)計(jì)算機(jī)[N];計(jì)算機(jī)世界;2005年

8 周斌;分布式架構(gòu)在電信業(yè)的應(yīng)用[N];人民郵電;2004年

9 ;互盈 分布式教育資源網(wǎng)解決方案[N];中國(guó)計(jì)算機(jī)報(bào);2002年

10 ;啟明星辰推出分布式漏洞掃描系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2003年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 傅濤;基于數(shù)據(jù)挖掘的分布式網(wǎng)絡(luò)入侵協(xié)同檢測(cè)系統(tǒng)研究及實(shí)現(xiàn)[D];南京理工大學(xué);2008年

2 常光輝;大規(guī)模分布式可信監(jiān)控系統(tǒng)研究[D];重慶大學(xué);2011年

3 曹曉陽(yáng);面向?qū)ο蟮闹虚g件技術(shù)在企業(yè)環(huán)境中的應(yīng)用研究——CORBA技術(shù)應(yīng)用研究[D];電子科技大學(xué);2003年

4 王嵩;P2P媒體服務(wù)系統(tǒng)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2010年

5 王晉;一種基于移動(dòng)代理的自適應(yīng)的分布式入侵檢測(cè)系統(tǒng)的架構(gòu)與實(shí)施[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2005年

6 劉棣華;網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)及其自適應(yīng)性的研究與實(shí)現(xiàn)[D];東華大學(xué);2009年

7 周世杰;對(duì)等計(jì)算中的分布式路由算法及其安全性研究[D];電子科技大學(xué);2004年

8 滕少華;基于對(duì)象監(jiān)控的分布式協(xié)同入侵檢測(cè)[D];廣東工業(yè)大學(xué);2008年

9 張建偉;身份與位置標(biāo)識(shí)分離映射解析關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2010年

10 呂曉鵬;P2P技術(shù)在IPv4/IPv6混合網(wǎng)中應(yīng)用的關(guān)鍵問(wèn)題研究[D];北京郵電大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 鄭大志;基于Web服務(wù)和CORBA的分布式網(wǎng)絡(luò)管理體系結(jié)構(gòu)研究[D];武漢科技大學(xué);2003年

2 黃鯤;一種分布式入侵監(jiān)測(cè)系統(tǒng)的研究[D];昆明理工大學(xué);2004年

3 劉濤;移動(dòng)計(jì)算分布式路由算法研究[D];天津大學(xué);2004年

4 王兆龍;一種整合防火墻技術(shù)的分布式計(jì)費(fèi)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2006年

5 陳桐桐;基于OVAL的分布式漏洞檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];西北大學(xué);2011年

6 啜俊娜;基于Hadoop的分布式文件存儲(chǔ)服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2012年

7 李洪浩;分布式廣域網(wǎng)網(wǎng)絡(luò)信息監(jiān)控系統(tǒng)研究與實(shí)現(xiàn)[D];四川大學(xué);2003年

8 韓久學(xué);基于Linux的分布式智能郵件系統(tǒng)的研究與實(shí)現(xiàn)[D];大連海事大學(xué);2004年

9 金銘月;基于SOAP的分布式工作流管理系統(tǒng)研究[D];哈爾濱理工大學(xué);2005年

10 魏星;MANET環(huán)境中基于OLSR的完全分布式證書(shū)中心的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2005年

，

本文編號(hào)：585660