社交媒體近幾年快速發(fā)展,微博逐漸發(fā)展成為了人們?nèi)粘Ｉ钪胁豢苫蛉钡囊环N社交媒體。微博輿情對(duì)社會(huì)具有極強(qiáng)的影響力,它實(shí)時(shí)地反映了大眾對(duì)各種事件的觀點(diǎn)和態(tài)度,是政府掌握事件輿情和發(fā)展動(dòng)態(tài)、企業(yè)了解民意的重要渠道。因此及時(shí)準(zhǔn)確地分析微博輿情對(duì)正確地預(yù)測(cè)和控制社會(huì)事態(tài)的發(fā)展、對(duì)促進(jìn)國(guó)家的經(jīng)濟(jì)建設(shè)和維護(hù)社會(huì)的安定團(tuán)結(jié)具有極其重要的意義。本文將針對(duì)微博輿情分析技術(shù)展開(kāi)深入研究,包含微博數(shù)據(jù)獲取、微博文本的預(yù)處理、文本聚類以及輿情結(jié)果分析這四個(gè)方面。本文的研究工作主要包括以下三個(gè)部分:第一部分采用密度峰值算法(CFSFDP)融合K-means算法方式完成微博文本聚類。密度峰值快速準(zhǔn)確地發(fā)現(xiàn)聚類中心彌補(bǔ)K-means算法選取聚類中心時(shí)具有隨機(jī)性的不足。但密度峰值算法存在截?cái)嗑嚯x需手動(dòng)設(shè)定、聚類中心選取較主觀的缺點(diǎn)。本文提出一種截?cái)嗑嚯x選取策略,找出最優(yōu)截?cái)嗑嚯x,然后對(duì)布局密度以及相對(duì)最小距離實(shí)行歸一化處理后,引入斜率變化計(jì)算方法實(shí)現(xiàn)自動(dòng)化確定聚類中心,最后利用K-means算法簡(jiǎn)單易操作的特點(diǎn)迭代聚類。將融合后算法和其他算法進(jìn)行實(shí)驗(yàn)操作后對(duì)比分析,驗(yàn)證本文算法在文本聚類方面的精確性和穩(wěn)定性,更好地挖掘...

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖3.1微博開(kāi)放平臺(tái)Fig.3.1WeiboOpenPlatform

19第3章微博數(shù)據(jù)采集獲取微博文本是進(jìn)行輿情分析實(shí)驗(yàn)的前提，微博文本數(shù)據(jù)的采集主要是利用微博搜索界面利用網(wǎng)頁(yè)提取技術(shù)來(lái)爬取數(shù)據(jù)，采集技術(shù)主要包括基于微博API的采集方式，另一種是手工開(kāi)發(fā)抓取程序的形式，本文接下來(lái)將詳細(xì)介紹這兩種不同的采集方式。3.1微博API數(shù)據(jù)采集方式3.1.....

圖3.4請(qǐng)求數(shù)據(jù)流Fig.3.4RequestDataFlow

23網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)是通過(guò)模擬瀏覽器行為向服務(wù)器發(fā)送請(qǐng)求從而獲得微博文本信息的過(guò)程，本章節(jié)主要介紹網(wǎng)絡(luò)爬蟲(chóng)爬取數(shù)據(jù)的方式中需要解決的關(guān)鍵性的問(wèn)題：對(duì)網(wǎng)頁(yè)抓包以及微博站點(diǎn)進(jìn)行分析，模擬瀏覽器行為請(qǐng)求并開(kāi)啟微博數(shù)據(jù)爬取，最后對(duì)存儲(chǔ)的微博數(shù)據(jù)存儲(chǔ)予以解析。爬蟲(chóng)方式獲取數(shù)據(jù)流程圖如圖3.....

圖3.5請(qǐng)求相應(yīng)信息Fig.3.5RequestCorrespondingInformation

23網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)是通過(guò)模擬瀏覽器行為向服務(wù)器發(fā)送請(qǐng)求從而獲得微博文本信息的過(guò)程，本章節(jié)主要介紹網(wǎng)絡(luò)爬蟲(chóng)爬取數(shù)據(jù)的方式中需要解決的關(guān)鍵性的問(wèn)題：對(duì)網(wǎng)頁(yè)抓包以及微博站點(diǎn)進(jìn)行分析，模擬瀏覽器行為請(qǐng)求并開(kāi)啟微博數(shù)據(jù)爬取，最后對(duì)存儲(chǔ)的微博數(shù)據(jù)存儲(chǔ)予以解析。爬蟲(chóng)方式獲取數(shù)據(jù)流程圖如圖3.....

圖3.6微博高級(jí)搜索Fig.3.6WeiboAdvancedSearch

24者工具中分析抓包過(guò)程。當(dāng)用戶訪問(wèn)微博點(diǎn)擊登錄時(shí)，如圖3.4所示的開(kāi)發(fā)者模式中可以看到捕捉的登錄請(qǐng)求數(shù)據(jù)流。Network可以查看所有加載的請(qǐng)求。由圖3.5所示，點(diǎn)擊左側(cè)的請(qǐng)求網(wǎng)址，可以通過(guò)右側(cè)的Headers看到頭部參數(shù)設(shè)置，這里面包含了請(qǐng)求的URL和相應(yīng)的信息，點(diǎn)擊Resp....

本文編號(hào)：3998259