天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

云環(huán)境下基于RIHDBSCAN的微博事件檢測及跟蹤

發(fā)布時間:2020-01-22 10:32
【摘要】:微博近幾年有著飛速的發(fā)展和廣泛的影響。用戶通過網(wǎng)頁、手機、SMS等多種途徑,隨時隨地記錄見聞時事、參與話題討論等。對實時產生的大量微博文本進行分析和挖掘具有風險預警、輿論監(jiān)控等重要實際意義,也給文本挖掘領域帶來了新的挑戰(zhàn)。 針對微博的挖掘分析,國內外學者已經(jīng)取得了一定的成果。然而,為了提高從海量迅速增長的微博數(shù)據(jù)中挖掘新聞事件的速度和精度,需要采取新的更加有效的方法來處理即時更新的大量文本數(shù)據(jù)流。云計算技術是未來的趨勢,它能夠高效的完成海量數(shù)據(jù)的存儲和計算任務,將云計算技術和微博挖掘結合起來勢在必行。論文設計了一套完整的云環(huán)境下的微博事件檢測跟蹤模型。主要研究及創(chuàng)新點如下: ①制定機械化過濾規(guī)則,將抓取的微博文本按規(guī)則進行過濾,有效提高后續(xù)處理的效率。 ②在傳統(tǒng)TF-IDF算法的基礎上,提出動態(tài)權值計算方法FCF-DIDF。該算法基于微博轉發(fā)數(shù)和評論數(shù),能夠有效改善TF-IDF算法的不足,并考慮到微博文本集規(guī)模的不斷增加,適合處理微博短文本。 ③基于DBSCAN算法,提出基于代表點的增量層次密度聚類算法(RIHDBSCAN)。該算法分為三個步驟:生成初始簇、初始簇合并、選出代表點。算法執(zhí)行過程中只需要選取部分對象進行核心點檢測,大大降低了I/O開銷,屏蔽了數(shù)據(jù)輸入順序敏感性。RIHDBSAN算法在每輪事件檢測聚類算法執(zhí)行結束后,選出代表點組參與下輪的增量聚類,并通過增量聚類中簇結構和關鍵詞變化追蹤事件的發(fā)展軌跡。 ④針對單一節(jié)點處理海量微博數(shù)據(jù)面臨困境,將算法部署在Hadoop云計算平臺上。模型的四個部分:文本過濾、FCF-DIDF動態(tài)權值計算、余弦距離計算、RIHDBSCAN聚類,都并行在該平臺上。 通過在新浪微博平臺上抽取的數(shù)據(jù)進行實驗表明,表明論文提出的FCF-DIDF算法對比TF-IDF和UF-ITUF等有更高的性能,并且云框架的使用較好的提高了從大規(guī)模微博數(shù)據(jù)中挖掘新聞事件的效率,,適合用于海量數(shù)據(jù)的分析和挖掘。
【圖文】:

詞條,權值矩陣,文檔,向量空間模型


文檔-詞條權值矩陣Fig2.2.Theweightmatrixoftext-term

相似度,余弦,歐氏距離,文本


圖 2.3 歐氏距離和余弦相似度的區(qū)別2.3 The difference between Euclidean distance and Cosine sim,余弦相似度能夠有效規(guī)避文本間的差異表現(xiàn),場景,論文采用規(guī)范化的余弦公式計算余弦相似度續(xù)聚類分析有重要的影響。本章介紹了預處理關鍵首先提出根據(jù)機械化規(guī)則直接過濾文本,提高后提出一種改進的 FCF-DIDF 動態(tài)權值算法計算特公式來計算文本向量間的相似度,最后得到余弦模型,為聚類分析做好了數(shù)據(jù)準備。
【學位授予單位】:重慶大學
【學位級別】:碩士
【學位授予年份】:2014
【分類號】:TP393.092;TP391.1

【參考文獻】

相關期刊論文 前10條

1 蔡穎琨,謝昆青,馬修軍;屏蔽了輸入?yún)?shù)敏感性的DBSCAN改進算法[J];北京大學學報(自然科學版);2004年03期

2 倪維健;黃亞樓;李飛;劉賞;;一種基于加權多代表點的層次聚類算法[J];計算機科學;2005年05期

3 鄭斐然;苗奪謙;張志飛;高燦;;一種中文微博新聞話題檢測的方法[J];計算機科學;2012年01期

4 邱云飛;程亮;;微博突發(fā)話題檢測方法研究[J];計算機工程;2012年09期

5 洪宇;張宇;劉挺;李生;;話題檢測與跟蹤的評測及研究綜述[J];中文信息學報;2007年06期

6 路榮;項亮;劉明榮;楊青;;基于隱主題分析和文本聚類的微博客中新聞話題的發(fā)現(xiàn)[J];模式識別與人工智能;2012年03期

7 周紅芳;趙雪涵;周揚;;基于限定區(qū)域數(shù)據(jù)取樣的密度聚類算法[J];計算機應用;2012年08期

8 李勁;張華;吳浩雄;向軍;;基于特定領域的中文微博熱點話題挖掘系統(tǒng)BTopicMiner[J];計算機應用;2012年08期

9 周水庚,周傲英,金文,范曄,錢衛(wèi)寧;FDBSCAN:一種快速 DBSCAN算法(英文)[J];軟件學報;2000年06期

10 馬帥,王騰蛟,唐世渭,楊冬青,高軍;一種基于參考點和密度的快速聚類算法[J];軟件學報;2003年06期



本文編號:2571936

資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/guanlilunwen/ydhl/2571936.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權申明:資料由用戶afd83***提供,本站僅收錄摘要或目錄,作者需要刪除請E-mail郵箱bigeng88@qq.com
黄色三级日本在线观看| 亚洲中文字幕一区三区| 国产内射一级一片内射高清| 免费人妻精品一区二区三区久久久| 国产av一区二区三区麻豆| 亚洲av日韩一区二区三区四区| 大香蕉再在线大香蕉再在线| 国产欧美日产中文一区| 亚洲成人精品免费在线观看 | 中文字幕日韩欧美理伦片| 91在线国内在线中文字幕| 91日韩欧美中文字幕| 国产亚洲精品俞拍视频福利区| 91精品日本在线视频| 欧美大黄片在线免费观看| 亚洲欧美国产精品一区二区| 国产av精品高清一区二区三区| 国产丝袜美女诱惑一区二区| 亚洲男人天堂网在线视频| 中文字幕精品人妻一区| 99少妇偷拍视频在线| 成人精品视频在线观看不卡| 大香蕉伊人一区二区三区| 亚洲国产性感美女视频| 日韩黄色一级片免费收看| 日韩av生活片一区二区三区| 91一区国产中文字幕| 国产亚洲精品久久久优势| 亚洲国产丝袜一区二区三区四| 91免费一区二区三区| 欧美野外在线刺激在线观看| 国产成人精品一区在线观看| 亚洲专区一区中文字幕| 日本少妇三级三级三级| 国产成人精品综合久久久看| 在线视频三区日本精品| 国产极品粉嫩尤物一区二区| 又色又爽又无遮挡的视频| 日本免费熟女一区二区三区| 国产又粗又硬又长又爽的剧情 | 日韩国产精品激情一区|