【摘要】：社交媒體作為自然災(zāi)害發(fā)生期間獨(dú)特的信息來源,蘊(yùn)含豐富的災(zāi)情時(shí)空信息,對(duì)災(zāi)害事件的態(tài)勢(shì)感知和防災(zāi)減災(zāi)工作有著重要意義。然而,災(zāi)害輿情數(shù)據(jù)的獲取、存儲(chǔ)、處理和分析均面臨著重大挑戰(zhàn),因此如何有效提高數(shù)據(jù)獲取效率、實(shí)現(xiàn)高效地存儲(chǔ)檢索,如何從非結(jié)構(gòu)化社交媒體數(shù)據(jù)中快速提取災(zāi)害信息、探索時(shí)空分布趨勢(shì)以輔助災(zāi)情及時(shí)響應(yīng)評(píng)估是當(dāng)前亟待解決的問題。本文基于目前國(guó)內(nèi)最熱門的社交媒體平臺(tái)——新浪微博,研究并提出了顧及時(shí)空主題特征的分布式災(zāi)害輿情信息獲取與分析方法,從另一種視角反映現(xiàn)實(shí)災(zāi)害事件,研究?jī)?nèi)容主要包括:1)分布式框架下的災(zāi)害輿情精準(zhǔn)爬取與高效存儲(chǔ)技術(shù)。為解決現(xiàn)有微博信息采集方式存在的主題相關(guān)性缺乏和可選擇性不足等問題,提出了一種顧及災(zāi)害主題特征的爬行策略;針對(duì)多元化的災(zāi)害輿情數(shù)據(jù)時(shí)空檢索需求,提出并搭建了基于QBPSTR-tree的災(zāi)害輿情分布式存儲(chǔ)架構(gòu);在此基礎(chǔ)上,通過Scrapy框架的重新定制以及關(guān)鍵技術(shù)模塊的優(yōu)化改進(jìn),設(shè)計(jì)實(shí)現(xiàn)了面向新浪微博平臺(tái)的災(zāi)害數(shù)據(jù)獲取與存儲(chǔ)框架,可為災(zāi)情態(tài)勢(shì)感知提供精準(zhǔn)可靠的數(shù)據(jù)支持。2)災(zāi)害輿情信息時(shí)空-主題分析方法。構(gòu)建了一種基于文本主題語義和時(shí)空約束的主題分類模型,充分考慮災(zāi)害輿情數(shù)據(jù)的主題語義和時(shí)空聚集等特性,對(duì)災(zāi)害信息進(jìn)行實(shí)時(shí)提取分類;考慮到社交媒體用戶時(shí)空分布異質(zhì)性對(duì)分析的影響,基于用戶活躍度構(gòu)建了災(zāi)害輿情時(shí)空加權(quán)模型,在此基礎(chǔ)上,從時(shí)空雙重定位視角提出災(zāi)害輿情時(shí)空-主題演化過程的分析方法,充分挖掘?yàn)?zāi)害輿情數(shù)據(jù)與現(xiàn)實(shí)災(zāi)害事件之間的關(guān)聯(lián)性,為災(zāi)害事件時(shí)空模式的探索提供新的分析視角。搭建實(shí)驗(yàn)測(cè)試平臺(tái)并選取“臺(tái)風(fēng)山竹”為典型案例,驗(yàn)證本文研究方法的有效性。研究結(jié)果表明,本文方法能夠針對(duì)災(zāi)害事件時(shí)空主題特征,從海量微博數(shù)據(jù)中及時(shí)、準(zhǔn)確地獲取相關(guān)的輿情數(shù)據(jù),減少了非相關(guān)數(shù)據(jù)的干擾,有效提高大規(guī)模數(shù)據(jù)量場(chǎng)景下的存儲(chǔ)與檢索效率;通過災(zāi)害輿情主題分類模型,結(jié)合地理時(shí)空大數(shù)據(jù)分析與動(dòng)態(tài)可視化技術(shù),較全面地提取出社交媒體數(shù)據(jù)中的災(zāi)害主題信息,能夠反映現(xiàn)實(shí)災(zāi)害事件的發(fā)展態(tài)勢(shì),且經(jīng)加權(quán)處理后的災(zāi)害輿情數(shù)據(jù)能更好的體現(xiàn)災(zāi)害分布的時(shí)空格局,可為災(zāi)害事件的及時(shí)應(yīng)對(duì)提供分析參考。
【圖文】：

請(qǐng)求訪問初始ＵＲＬ并提取其中包含的所有ＵＲＬ地址，將有用的ＵＲＬ放置隊(duì)列逡逑中以待后續(xù)爬取，該過程一直循環(huán)直到條件不滿足時(shí)停止，最后將爬取到的數(shù)據(jù)逡逑保存管理起來（劉志杰，２０１７），，具體結(jié)構(gòu)如圖２．１所示。逡逑ｆ邋開始逡逑＼邐邐ｙ逡逑請(qǐng)求訪問逡逑初始ＵＲＬ逡逑卜解析網(wǎng)頁逡逑，，逡逑￥取數(shù)據(jù)，￥取目＆ＵＲＬ逡逑故入ＵＲＬ隊(duì)列逡逑Ａ邋．邋ＵＲＬ隊(duì)列是否為空？：：＞逡逑（邐結(jié)束邋）逡逑圖２．１通用網(wǎng)絡(luò)爬蟲流程圖逡逑互聯(lián)網(wǎng)中的數(shù)據(jù)規(guī)模龐大、結(jié)構(gòu)復(fù)雜且更新頻率高，網(wǎng)絡(luò)爬蟲通常需要解決逡逑ＩＩ逡逑

請(qǐng)求訪問初始ＵＲＬ并提取其中包含的所有ＵＲＬ地址，將有用的ＵＲＬ放置隊(duì)列逡逑中以待后續(xù)爬取，該過程一直循環(huán)直到條件不滿足時(shí)停止，最后將爬取到的數(shù)據(jù)逡逑保存管理起來（劉志杰，２０１７），具體結(jié)構(gòu)如圖２．１所示。逡逑ｆ邋開始逡逑＼邐邐ｙ逡逑請(qǐng)求訪問逡逑初始ＵＲＬ逡逑卜解析網(wǎng)頁逡逑，，逡逑￥取數(shù)據(jù)，￥取目＆ＵＲＬ逡逑故入ＵＲＬ隊(duì)列逡逑Ａ邋．邋ＵＲＬ隊(duì)列是否為空？：：＞逡逑（邐結(jié)束邋）逡逑圖２．１通用網(wǎng)絡(luò)爬蟲流程圖逡逑互聯(lián)網(wǎng)中的數(shù)據(jù)規(guī)模龐大、結(jié)構(gòu)復(fù)雜且更新頻率高，網(wǎng)絡(luò)爬蟲通常需要解決逡逑ＩＩ逡逑
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.1;X43

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫曉穎;荊建蕾;劉亞梅;常淑敏;;同伴拒絕兒童的初始沙盤特征分析[J];中國(guó)學(xué)校衛(wèi)生;2017年06期

2 鐘將;張淑芳;郭衛(wèi)麗;李雪;;主題特征格分析:一種用戶生成文本質(zhì)量評(píng)估方法[J];電子學(xué)報(bào);2018年09期

3 鄒永利;;學(xué)術(shù)文獻(xiàn)的非主題特征及其意義[J];中國(guó)圖書館學(xué)報(bào);2011年03期

4 馮維;;論新世紀(jì)美國(guó)文學(xué)的主題特征的轉(zhuǎn)化[J];鴨綠江(下半月版);2015年10期

5 袁毅;主題特征度在核心網(wǎng)站評(píng)價(jià)中的作用[J];情報(bào)雜志;2005年10期

6 楊金才;;論新世紀(jì)美國(guó)小說的主題特征[J];深圳大學(xué)學(xué)報(bào)(人文社會(huì)科學(xué)版);2014年02期

7 楊虎濤;;演化經(jīng)濟(jì)學(xué)的方法和主題特征及其演變——一種以“另類教規(guī)理論”為例的解釋[J];財(cái)經(jīng)研究;2010年01期

8 陳牧;;城市中公共活動(dòng)場(chǎng)所的主題特征及形成原理[J];中華建設(shè);2012年09期

9 洪流;曹慧;;歡樂自在[J];中國(guó)皮革;2005年24期

10 譚晶;王慶黨;;“文革”期間毛澤東主題繪畫的主題特征[J];青年文學(xué)家;2015年21期

相關(guān)會(huì)議論文 前2條

1 陳文亮;朱靖波;姚天順;;企業(yè)網(wǎng)絡(luò)監(jiān)管系統(tǒng)CNM的設(shè)計(jì)與實(shí)現(xiàn)[A];輝煌二十年——中國(guó)中文信息學(xué)會(huì)二十周年學(xué)術(shù)會(huì)議論文集[C];2001年

2 蔡黎;彭星源;柯登峰;趙軍;;少數(shù)民族漢語考試作文自動(dòng)評(píng)分的特征提取研究[A];第五屆全國(guó)青年計(jì)算語言學(xué)研討會(huì)論文集[C];2010年

相關(guān)重要報(bào)紙文章 前2條

1 記者 陳健;體育產(chǎn)業(yè)符合強(qiáng)主題特征[N];上海金融報(bào);2014年

2 山東省青州第二中學(xué) 李娟;小小說閱讀應(yīng)考策略[N];學(xué)知報(bào);2010年

相關(guān)博士學(xué)位論文 前2條

1 臧睦君;圖像場(chǎng)景識(shí)別的特征研究[D];吉林大學(xué);2015年

2 李文峰;基于主題模型的用戶建模研究[D];北京郵電大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 竺佳芳;顧及時(shí)空主題特征的分布式災(zāi)害輿情信息獲取與分析方法研究[D];浙江大學(xué);2019年

2 李家樂;基于深度學(xué)習(xí)的問題回答技術(shù)研究[D];北方工業(yè)大學(xué);2019年

3 曾慶旺;基于ResearchGate的科研合作者推薦研究與實(shí)現(xiàn)[D];北京交通大學(xué);2018年

4 鄭灶旭;基于主題特征和深度學(xué)習(xí)的情感分析算法研究[D];華南理工大學(xué);2018年

5 秦雨;基于主題特征的專家關(guān)系網(wǎng)絡(luò)構(gòu)建方法研究[D];昆明理工大學(xué);2015年

6 梁霄;博物館主題式設(shè)計(jì)實(shí)踐研究[D];延邊大學(xué);2014年

7 蘇庭波;產(chǎn)品評(píng)論的意見傾向分類技術(shù)研究[D];安徽工業(yè)大學(xué);2011年

8 易金鋒;營(yíng)造景區(qū)主題特征的建筑設(shè)計(jì)手法研究[D];西安建筑科技大學(xué);2010年

9 高潔;基于主題特征的情感分類及推薦算法研究[D];天津大學(xué);2016年

10 王晶;新時(shí)期以來中國(guó)大陸電影的“行走敘事”研究[D];山東師范大學(xué);2015年

本文編號(hào)：2667980