發(fā)布時間：2018-06-24 14:03

  本文選題：輿情分析 + Hadoop�。� 參考：《電子技術(shù)應(yīng)用》2017年03期

【摘要】：隨著Internet技術(shù)的迅速發(fā)展,網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)正在得到廣泛應(yīng)用。網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的數(shù)據(jù)量也急速膨脹,如何高效地存儲和管理這些海量的非結(jié)構(gòu)或半結(jié)構(gòu)化數(shù)據(jù)成為網(wǎng)絡(luò)輿情系統(tǒng)研發(fā)中的挑戰(zhàn)課題。傳統(tǒng)的關(guān)系數(shù)據(jù)庫和分布式計算等數(shù)據(jù)處理的方式也越來越不能適應(yīng)日益增長網(wǎng)絡(luò)大數(shù)據(jù)。針對微博數(shù)據(jù)的特點建立了一種面向微博輿情應(yīng)用的Hadoop存儲平臺的多層體系架構(gòu),并采用列數(shù)據(jù)庫設(shè)計多種微博結(jié)構(gòu)化數(shù)據(jù)的表結(jié)構(gòu),以及表之間的關(guān)系模型。測試結(jié)果表明,設(shè)計的存儲管理平臺具有檢索響應(yīng)速度快、可擴展性好等特點。
[Abstract]:With the rapid development of Internet technology, network public opinion monitoring system is widely used. The amount of data of network public opinion monitoring system also expands rapidly. How to store and manage these massive unstructured or semi-structured data efficiently becomes a challenge in the research and development of network public opinion system. The traditional data processing methods, such as relational database and distributed computing, can not adapt to the growing network big data. According to the characteristics of Weibo data, a multi-layer architecture of Weibo storage platform for Weibo public opinion application is established, and the table structure of various Weibo structured data and the relational model between tables are designed by using column database. The test results show that the designed storage management platform has the characteristics of fast retrieval response, good scalability and so on.
【作者單位】： 中國科學(xué)院大學(xué);清華大學(xué)電子工程系;清華大學(xué)網(wǎng)絡(luò)科學(xué)與網(wǎng)絡(luò)空間研究院;
【基金】：國家科技支撐計劃項目(2014BAH41B00) 國家自然基金項目(U1536201)
【分類號】：TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 梁麗雯;;網(wǎng)絡(luò)輿情分析師或成就業(yè)香餑餑[J];金融科技時代;2014年01期

2 ;做好輿情分析是有效引導(dǎo)的前提[J];中國記者;2001年03期

3 楊玫;;輿情分析:圖書館為領(lǐng)導(dǎo)決策服務(wù)的新探索[J];圖書館論壇;2006年05期

4 宋占茹;;圖書館開展網(wǎng)絡(luò)輿情分析工作初探[J];情報探索;2010年08期

5 何順蘭;王興起;胡宏宇;姜明;;多媒體輿情分析系統(tǒng)設(shè)計與研究[J];杭州電子科技大學(xué)學(xué)報;2010年05期

6 顏建華;劉巖;傅黎犁;劉亞民;;基于網(wǎng)絡(luò)的輿情分析系統(tǒng)及其應(yīng)用研究[J];醫(yī)學(xué)信息學(xué)雜志;2011年08期

7 侯文昌;;傳媒新角色—輿情分析師的專業(yè)素養(yǎng) “朝陽職業(yè)”四年成長史[J];中國記者;2011年09期

8 劉鵬飛;;“尋路”輿情分析師:一些心得,幾點忠告[J];中國記者;2011年09期

9 劉巖;傅黎犁;顏建華;;醫(yī)學(xué)情報研究機構(gòu)開展輿情分析服務(wù)的實踐[J];中華醫(yī)學(xué)圖書情報雜志;2012年01期

10 曹勁松;;政府形象傳播的輿情分析[J];江海學(xué)刊;2012年03期

相關(guān)會議論文 前4條

1 宋占茹;;圖書館網(wǎng)絡(luò)輿情分析工作新探[A];華北地區(qū)高校圖協(xié)第二十四屆學(xué)術(shù)年會論文（文章）匯編[C];2010年

2 何順蘭;王興起;胡宏宇;姜明;;多媒體輿情分析系統(tǒng)設(shè)計與研究[A];浙江省電子學(xué)會2010學(xué)術(shù)年會論文集[C];2010年

3 孫江;;天津薊縣萊德商廈火災(zāi)信息發(fā)布、媒體報道及網(wǎng)絡(luò)輿情分析[A];2013中國消防協(xié)會科學(xué)技術(shù)年會論文集[C];2013年

4 梁飛;呂洪波;姚錦峰;;輿情分析中語料庫降維[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

相關(guān)重要報紙文章 前10條

1 本報記者 降蘊彰;輿情分析師來了[N];經(jīng)濟觀察報;2013年

2 福建三明學(xué)院 鄭祥專;教育輿情分析須堅持“四性”[N];中國教育報;2009年

3 記者 王慶華;克旗全面啟動法律援助輿情分析工作[N];赤峰日報;2010年

4 本報記者 傅江平;輿情分析為食品安全監(jiān)管提供支撐[N];中國質(zhì)量報;2012年

5 記者 馬獻忠;“段子文化的輿情分析”課題結(jié)項[N];中國社會科學(xué)報;2011年

6 本報記者 孫艷敏;網(wǎng)絡(luò)輿情分析師：不只是替領(lǐng)導(dǎo)看看網(wǎng)[N];檢察日報;2013年

7 記者 魏志強　通訊員 杜勝輝;青工的心情 團委的事情[N];中國石油報;2010年

8 楊麗娟　張音;走近網(wǎng)絡(luò)輿情分析師[N];人民日報;2011年

9 于雅倩　本報記者 王寧;身邊煩惱有地兒說[N];丹東日報;2009年

10 趙強;回應(yīng)輿論關(guān)切 怎能語焉不詳[N];人民日報;2014年

相關(guān)博士學(xué)位論文 前1條

1 馮時;面向網(wǎng)絡(luò)輿情分析的觀點挖掘關(guān)鍵技術(shù)研究[D];東北大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 姜朋;山東大學(xué)輿情分析系統(tǒng)的設(shè)計與實現(xiàn)[D];山東大學(xué);2015年

2 唐霞;Hadoop調(diào)度器優(yōu)化及其在輿情分析中的應(yīng)用[D];北京化工大學(xué);2015年

3 馮佳明;深度詞匯網(wǎng)絡(luò)學(xué)習(xí)輿情監(jiān)測關(guān)鍵技術(shù)的研究[D];北京化工大學(xué);2015年

4 王曄;面向輿情分析的skyline查詢技術(shù)研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2013年

5 馬梅;基于大數(shù)據(jù)的網(wǎng)絡(luò)輿情分析系統(tǒng)模型研究[D];西安電子科技大學(xué);2014年

6 高衛(wèi)民;城市公安網(wǎng)絡(luò)輿情分析系統(tǒng)的設(shè)計與開發(fā)[D];天津大學(xué);2014年

7 黃斯琪;基于微博平臺的社交網(wǎng)絡(luò)輿情分析方法[D];南京郵電大學(xué);2015年

8 羅晶;校園輿情分析中的意見挖掘技術(shù)研究[D];東南大學(xué);2015年

9 梁超君;大數(shù)據(jù)背景下G政府輿情分析應(yīng)用研究[D];廣東工業(yè)大學(xué);2016年

10 譚造樂;基于Spark的輿情分析架構(gòu)研究[D];廣東工業(yè)大學(xué);2016年

，

本文編號：2061767