【摘要】：描述了一個(gè)微博熱點(diǎn)檢測(cè)系統(tǒng)。管理者通過它可以快速了解正在發(fā)生的或是已發(fā)生的微博熱點(diǎn)事件。系統(tǒng)采用調(diào)用微博API接口與改進(jìn)爬蟲程序相結(jié)合的方式獲取網(wǎng)頁數(shù)據(jù),由于網(wǎng)絡(luò)數(shù)據(jù)量巨大,為了提高效率,還采用了網(wǎng)頁清理技術(shù)。重點(diǎn)介紹了話題活性模型的方法,系統(tǒng)可以根據(jù)時(shí)間坐標(biāo)快速尋找熱點(diǎn)話題,提高了熱點(diǎn)話題發(fā)現(xiàn)的效率,大大降低了熱點(diǎn)話題發(fā)現(xiàn)的時(shí)間復(fù)雜度。
[Abstract]:A Weibo hot spot detection system is described. It allows managers to quickly understand what is happening or what is happening with Weibo hotspots. The system adopts the combination of calling the Weibo API interface and improving the crawler program to obtain the web page data. Because of the huge amount of network data, in order to improve the efficiency, it also adopts the technology of page cleaning. The method of topic activity model is introduced in detail. The system can quickly find hot topic according to time coordinate, improve the efficiency of hot topic discovery, and reduce the time complexity of hot topic discovery.
【作者單位】： 武漢郵電科學(xué)研究院通信與信息系統(tǒng);武漢虹旭信息技術(shù)有限責(zé)任公司;
【基金】：國家“863”計(jì)劃項(xiàng)目(2012BAH38B05)
【分類號(hào)】：TP393.092;TP391.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 周立柱,林玲;聚焦爬蟲技術(shù)研究綜述[J];計(jì)算機(jī)應(yīng)用;2005年09期

2 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2007年10期

3 丁杰;徐俊剛;;IPSMS:一個(gè)網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2010年04期

4 廉捷;周欣;曹偉;劉云;;新浪微博數(shù)據(jù)挖掘方案[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年10期

5 曾依靈;許洪波;;網(wǎng)絡(luò)熱點(diǎn)信息發(fā)現(xiàn)研究[J];通信學(xué)報(bào);2007年12期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王正;陸余良;劉金紅;施凡;;基于Lucene的互聯(lián)網(wǎng)文獻(xiàn)信息檢索系統(tǒng)的研究[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年05期

2 孫素芬;羅長(zhǎng)壽;張峻峰;于峰;張樹亮;;農(nóng)業(yè)信息資源整合系統(tǒng)研究與應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2007年22期

3 汪斌;張?jiān)苽?劉健;陳晶;;一種面向農(nóng)業(yè)信息主題網(wǎng)絡(luò)爬蟲的設(shè)計(jì)[J];安徽農(nóng)業(yè)科學(xué);2009年20期

4 廉捷;劉云;;網(wǎng)絡(luò)輿情中的信息預(yù)處理與自動(dòng)摘要算法[J];北京交通大學(xué)學(xué)報(bào);2010年05期

5 黃美璇;;基于聚類分析的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的設(shè)計(jì)[J];寶雞文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年04期

6 石矛;方勇;曾祥平;王長(zhǎng)輝;;IDM模型分析及其影響力改進(jìn)算法[J];成都信息工程學(xué)院學(xué)報(bào);2008年01期

7 任斌;毛應(yīng)爽;;基于本體的主動(dòng)學(xué)習(xí)主題爬行的研究與實(shí)現(xiàn)[J];長(zhǎng)春工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年01期

8 武昊;廖安平;何超英;侯東陽;;基于主題相關(guān)度的地理信息Web服務(wù)爬蟲研究[J];地理與地理信息科學(xué);2012年02期

9 毛曉蛟;;搜索引擎中網(wǎng)絡(luò)蜘蛛的研究與實(shí)現(xiàn)[J];電腦編程技巧與維護(hù);2010年18期

10 張超;閆宏印;;多線程網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦開發(fā)與應(yīng)用;2012年06期

相關(guān)會(huì)議論文 前7條

1 吳晨生;劉彥君;張魯冀;董曉晴;;科普搜索的研究與實(shí)現(xiàn)[A];數(shù)字博物館研究與實(shí)踐（2009）[C];2010年

2 王棟;陳勇;徐建良;;基于預(yù)測(cè)的BitTorrent種子評(píng)估方法[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

3 劉兵;胡學(xué)鋼;;基于多鏈接分析的主題爬蟲設(shè)計(jì)實(shí)現(xiàn)[A];全國第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

4 季晨;;橋梁無線長(zhǎng)期監(jiān)測(cè)、報(bào)警及狀態(tài)評(píng)估系統(tǒng)軟件設(shè)計(jì)[A];高速重載與普通鐵路橋隧運(yùn)營管理與檢測(cè)修理技術(shù)論文集（下冊(cè)）[C];2010年

5 戴玉剛;;藏文網(wǎng)頁采集技術(shù)研究[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會(huì)論文集[C];2007年

6 李恒訓(xùn);張華平;秦鵬;于滿泉;劉金剛;;基于主題詞的網(wǎng)絡(luò)熱點(diǎn)話題發(fā)現(xiàn)[A];第五屆全國信息檢索學(xué)術(shù)會(huì)議論文集[C];2009年

7 單鐵城;張安妮;馬德輝;;基于爬蟲改進(jìn)算法的個(gè)性化搜索引擎應(yīng)用研究[A];戰(zhàn)略性新興產(chǎn)業(yè)與科技支撐——2012年山東省科協(xié)學(xué)術(shù)年會(huì)論文集[C];2012年

相關(guān)博士學(xué)位論文 前10條

1 吳羽;面向時(shí)間敏感對(duì)象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

2 鄧斌;B2C在線評(píng)論中的客戶知識(shí)管理研究[D];電子科技大學(xué);2010年

3 張翔;文本挖掘技術(shù)研究及其在綜合風(fēng)險(xiǎn)信息網(wǎng)絡(luò)中的應(yīng)用[D];西北大學(xué);2011年

4 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測(cè)系統(tǒng)研究[D];北京郵電大學(xué);2011年

5 田俊華;基于本體知識(shí)庫的教學(xué)資源自動(dòng)采集技術(shù)研究[D];南京師范大學(xué);2011年

6 黃九鳴;面向輿情分析和屬性發(fā)現(xiàn)的網(wǎng)絡(luò)文本挖掘技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

7 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

8 王英;Deep Web數(shù)據(jù)集成關(guān)鍵技術(shù)研究[D];吉林大學(xué);2010年

9 萬源;基于語義統(tǒng)計(jì)分析的網(wǎng)絡(luò)輿情挖掘技術(shù)研究[D];武漢理工大學(xué);2012年

10 王占一;Web文本挖掘中若干問題的研究[D];北京郵電大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 呂芳芳;基于查詢擴(kuò)展的垂直搜索研究[D];山東科技大學(xué);2010年

2 翁巖青;網(wǎng)頁抓取策略研究[D];哈爾濱工程大學(xué);2010年

3 蔡宇虹;基于主題的元搜索引擎關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2010年

4 秦宏宇;網(wǎng)絡(luò)輿情熱點(diǎn)發(fā)現(xiàn)相關(guān)技術(shù)研究[D];哈爾濱工程大學(xué);2010年

5 王振超;基于Web2.0的藝術(shù)類網(wǎng)上考試系統(tǒng)的研究與實(shí)現(xiàn)[D];華東師范大學(xué);2010年

6 史煒;個(gè)性化搜索引擎的研究與設(shè)計(jì)[D];電子科技大學(xué);2010年

7 丁寶瓊;網(wǎng)絡(luò)文本信息采集分析關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];解放軍信息工程大學(xué);2009年

8 王允;網(wǎng)絡(luò)輿情數(shù)據(jù)獲取與話題分析技術(shù)研究[D];解放軍信息工程大學(xué);2010年

9 李海林;網(wǎng)絡(luò)輿情熱點(diǎn)信息發(fā)現(xiàn)及其傾向性研究[D];武漢理工大學(xué);2010年

10 沙有闖;基于Web文本挖掘的網(wǎng)絡(luò)口碑監(jiān)測(cè)系統(tǒng)研究[D];安徽大學(xué);2010年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 張彥超;劉云;李勇;沈波;;基于自動(dòng)生成模板的Web信息抽取技術(shù)[J];北京交通大學(xué)學(xué)報(bào);2009年05期

2 李盛韜,趙章界,余智華;基于主題的Web信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2003年17期

3 周立柱,林玲;聚焦爬蟲技術(shù)研究綜述[J];計(jì)算機(jī)應(yīng)用;2005年09期

4 李衛(wèi);劉建毅;何華燦;王樅;;基于主題的智能Web信息采集系統(tǒng)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2006年02期

5 姚峰;;Java平臺(tái)中Base64編碼/解碼算法的改進(jìn)[J];計(jì)算機(jī)應(yīng)用與軟件;2008年12期

6 劉挺,吳巖,王開鑄;串頻統(tǒng)計(jì)和詞形匹配相結(jié)合的漢語自動(dòng)分詞系統(tǒng)[J];中文信息學(xué)報(bào);1998年01期

7 歐健文,董守斌,蔡斌;模板化網(wǎng)頁主題信息的提取方法[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年S1期

8 傅向華,馮博琴,馬兆豐,何明;可在線增量自學(xué)習(xí)的聚焦爬行方法[J];西安交通大學(xué)學(xué)報(bào);2004年06期

相關(guān)碩士學(xué)位論文 前1條

1 鄒綱;中文新詞語自動(dòng)檢測(cè)研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2004年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 杜書杰,劉士才;用VB實(shí)現(xiàn)Windows95環(huán)境下的多媒體程序設(shè)計(jì)[J];計(jì)算機(jī)應(yīng)用研究;1998年03期

2 金舒元,戴亞非,杜躍進(jìn);基于WEB的數(shù)據(jù)庫發(fā)布技術(shù)[J];小型微型計(jì)算機(jī)系統(tǒng);1998年07期

3 劉廣聰,傅秀芬;Java組件機(jī)制——Java beans[J];通信世界;1998年03期

4 賀仁杰;WINDOWS95任務(wù)欄提示區(qū)圖標(biāo)的DELPHI實(shí)現(xiàn)[J];電腦編程技巧與維護(hù);1998年05期

5 郝衛(wèi)軍,劉護(hù)群;Web服務(wù)器與數(shù)據(jù)庫互連技術(shù)[J];計(jì)算機(jī)應(yīng)用;1999年S1期

6 陳菁華,王學(xué)東,潘婷;Web數(shù)據(jù)庫互連技術(shù)的比較[J];科技進(jìn)步與對(duì)策;2000年08期

7 陳剛,陳志強(qiáng),李國洪,孫東輝;Windows 9x串行通信程序設(shè)計(jì)[J];華北航天工業(yè)學(xué)院學(xué)報(bào);2000年01期

8 王成耀;關(guān)系數(shù)據(jù)庫通用表I/O API及應(yīng)用模板的實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2001年06期

9 郭天杰,齊玉東;Windows 9x,NT和2000下的API攔截技術(shù)[J];計(jì)算機(jī)應(yīng)用研究;2001年09期

10 朱霞,趙永強(qiáng);應(yīng)用API函數(shù)提高PowerBuilder程序的友好性[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2001年05期

相關(guān)會(huì)議論文 前10條

1 陳兵;高磊;;基于MAYA API的毛發(fā)系統(tǒng)實(shí)現(xiàn)[A];2011中國電影電視技術(shù)學(xué)會(huì)影視技術(shù)文集[C];2011年

2 陳云超;馬兆豐;;基于API函數(shù)攔截技術(shù)的跨進(jìn)程攻擊防護(hù)研究[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

3 方翔;吉國力;;Windows環(huán)境下數(shù)字圖象的顯示[A];2001中國控制與決策學(xué)術(shù)年會(huì)論文集[C];2001年

4 李必丹;任繼東;;在VB中使用DLL和Windows API[A];2000年晉冀魯豫鄂蒙六省區(qū)機(jī)械工程學(xué)會(huì)學(xué)術(shù)研討會(huì)論文集（河南分冊(cè)）[C];2000年

5 時(shí)達(dá)明;林鴻飛;;基于內(nèi)容相關(guān)度和語義分析的Blog熱點(diǎn)話題發(fā)現(xiàn)[A];內(nèi)容計(jì)算的研究與應(yīng)用前沿——第九屆全國計(jì)算語言學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

6 韓先培;劉康;趙軍;;基于布局特征與語言特征的網(wǎng)頁主要內(nèi)容塊發(fā)現(xiàn)[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

7 滕莉;;API系統(tǒng)及其在邊防檢查中的應(yīng)用[A];21世紀(jì)出入境（移民）管理研討會(huì)論文集[C];2008年

8 孫裔申;曹鳴;顧希;;MIS系統(tǒng)中基于電子文件的文檔管理設(shè)計(jì)[A];全國自動(dòng)化新技術(shù)學(xué)術(shù)交流會(huì)會(huì)議論文集（一）[C];2005年

9 楊毅;;基于HPD API的二次開發(fā)方法研究[A];中國航海學(xué)會(huì)航標(biāo)專業(yè)委員會(huì)測(cè)繪學(xué)組學(xué)術(shù)研討會(huì)學(xué)術(shù)交流論文集[C];2008年

10 李莉;彭成寶;張霞;;OpenBASE JDBC Driver的設(shè)計(jì)與實(shí)現(xiàn)[A];第十五屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1998年

相關(guān)重要報(bào)紙文章 前10條

1 薩維奧·羅德里格斯;開源無法阻止“云鎖定”[N];中國計(jì)算機(jī)報(bào);2010年

2 本報(bào)記者 于翔;W3C公布本地?cái)?shù)據(jù)庫存儲(chǔ)標(biāo)準(zhǔn)草案[N];網(wǎng)絡(luò)世界;2010年

3 周雪;Web安全：鑄造企業(yè)防護(hù)屏障[N];電腦商報(bào);2008年

4 樂天 編譯;性能與穩(wěn)定:“雪豹”的賣點(diǎn)[N];計(jì)算機(jī)世界;2009年

5 ;烏“云”中的SOA治理[N];網(wǎng)絡(luò)世界;2009年

6 編譯 劉琦;云應(yīng)用促開發(fā)思維轉(zhuǎn)變[N];中國計(jì)算機(jī)報(bào);2009年

7 本報(bào)記者 朱杰;打破專有環(huán)境 比拼二次開發(fā)接口[N];中國計(jì)算機(jī)報(bào);2009年

8 于翔;HTML 5締造Web應(yīng)用新世界？[N];網(wǎng)絡(luò)世界;2009年

9 微軟全球資深副總裁 張亞勤;未來計(jì)算在“云+端”[N];中國電子報(bào);2009年

10 本報(bào)記者 邊歆;安全目標(biāo):防患于未然[N];網(wǎng)絡(luò)世界;2009年

相關(guān)博士學(xué)位論文 前3條

1 劉銘;計(jì)算機(jī)病毒傳播模型及防控理論研究[D];華中科技大學(xué);2009年

2 曾穎;基于抽象解釋的軟件保護(hù)相關(guān)問題研究[D];解放軍信息工程大學(xué);2011年

3 史建琦;面向目標(biāo)代碼的實(shí)時(shí)操作系統(tǒng)形式化驗(yàn)證方法研究[D];華東師范大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 朱少龍;基于微博的社會(huì)化媒體分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2011年

2 李曉明;基于HTML5跨移動(dòng)終端平臺(tái)的微博系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2012年

3 韓旭芳;基于開放API的電子商務(wù)個(gè)性化服務(wù)推薦研究[D];石家莊鐵道大學(xué);2011年

4 高青娟;一種關(guān)鍵字驅(qū)動(dòng)的Java API自動(dòng)測(cè)試框架[D];太原科技大學(xué);2011年

5 華東;基于UEFI技術(shù)的BIOS系統(tǒng)分析及其API性能測(cè)試研究[D];西安電子科技大學(xué);2012年

6 張江;某種軟件API自動(dòng)化測(cè)試工具的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2009年

7 張江;某種軟件API自動(dòng)化測(cè)試工具的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2009年

8 胡維哲;基于Android和Open API的個(gè)人移動(dòng)地圖的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2010年

9 周愛華;基于大型機(jī)平臺(tái)IMS數(shù)據(jù)庫管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];中國地質(zhì)大學(xué)（北京）;2006年

10 黃武;高級(jí)電信計(jì)算架構(gòu)平臺(tái)硬件管理API設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2007年

，

本文編號(hào)：2122366