本文選題：大數(shù)據(jù)　切入點：Hadoop　出處：《復旦大學》2014年碩士論文　論文類型：學位論文

【摘要】：社交媒體是重要的互聯(lián)網(wǎng)傳播形式,用戶通過Facebook、Twitter、新浪微博等網(wǎng)絡(luò)媒體平臺可以分享觀念、看法和態(tài)度,形成巨大的社會影響力。通過社交網(wǎng)絡(luò)發(fā)動示威游行、顏色革命和政治斗爭,正成為互聯(lián)網(wǎng)上難以發(fā)現(xiàn)的社會活動,造成了潛在的社會和政府管理風險,需要使用特定技術(shù)手段對社交媒體進行監(jiān)控管理。社交網(wǎng)絡(luò)的信息產(chǎn)生快速,數(shù)據(jù)量巨大,同時內(nèi)容傳播范圍突破了傳統(tǒng)媒體的時空局限性,已有的網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)無法滿足海量數(shù)據(jù)的采集、存儲和分析需求�；谶@些問題,本文基于大數(shù)據(jù)技術(shù)設(shè)計社交媒體的分布式輿情監(jiān)測系統(tǒng),實現(xiàn)了Hadoop框架下文本數(shù)據(jù)的采集、存儲和分析過程,并使用網(wǎng)絡(luò)監(jiān)控技術(shù)實現(xiàn)區(qū)域性監(jiān)控。在充分研究輿情監(jiān)測系統(tǒng)的基礎(chǔ)上,設(shè)計了以Hadoop為基礎(chǔ)的監(jiān)控系統(tǒng)的結(jié)構(gòu)模型,該模型以層次化的方式運用不同的大數(shù)據(jù)技術(shù)解決相應(yīng)的監(jiān)控問題。實現(xiàn)了符合MapReduce編程模型的采集系統(tǒng)和海量數(shù)據(jù)的存儲模型；綜合利用字符串匹配算法、分詞技術(shù)和詞頻算法,實現(xiàn)分布式環(huán)境下的數(shù)據(jù)分析模型。整個監(jiān)控系統(tǒng)具備完成的大數(shù)據(jù)功能和數(shù)據(jù)分析能力,能夠作為不同監(jiān)控目標的實現(xiàn)基礎(chǔ)。
[Abstract]:Social media is an important form of Internet communication. Users can share ideas, opinions and attitudes through online media platforms such as Facebook Twitter, Sina Weibo, etc. Color revolutions and political struggles are becoming undetectable social activities on the Internet, creating potential social and government regulatory risks that require the use of specific technologies to monitor and manage social media. Because of the huge amount of data and the breakthrough of the limitation of the traditional media, the existing network public opinion monitoring system can not meet the demand of collecting, storing and analyzing the massive data. Based on these problems, the existing network public opinion monitoring system can not meet the needs of mass data collection, storage and analysis. Based on big data technology, this paper designs a distributed public opinion monitoring system based on social media, and realizes the collection, storage and analysis of text data under the Hadoop framework. Based on the research of public opinion monitoring system, the structure model of monitoring system based on Hadoop is designed. In this model, different big data techniques are used to solve the monitoring problem in a hierarchical way. The acquisition system and the storage model of massive data are realized in accordance with the MapReduce programming model, and the string matching algorithm is used synthetically. Word segmentation technology and word frequency algorithm to realize the data analysis model in the distributed environment. The whole monitoring system has completed big data function and data analysis ability and can be used as the basis for different monitoring objectives.
【學位授予單位】：復旦大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP393.09

【共引文獻】

相關(guān)期刊論文 前10條

1 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲探索[J];鞍山師范學院學報;2013年04期

2 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標準化;2013年10期

3 邵景峰;崔尊民;王進富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

4 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學學報;2013年03期

5 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學;2013年10期

6 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設(shè)計[J];電信科學;2013年12期

7 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學院學報;2014年01期

8 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學院學報;2014年01期

9 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學學報;2014年01期

10 丁玉成;諸葛晴鳳;沙行勉;;云計算環(huán)境下排序算法的性能分析[J];重慶大學學報;2014年04期

相關(guān)會議論文 前10條

1 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

2 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預測[A];2013年全國通信軟件學術(shù)會議論文集[C];2013年

3 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

4 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

5 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學術(shù)年會論文集[C];2014年

6 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進[A];第十九屆全國青年通信學術(shù)年會論文集[C];2014年

7 汪中琳;喬自知;郭景贊;;移動運維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構(gòu)[A];2014全國無線及移動通信學術(shù)大會論文集[C];2014年

8 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

9 龔琪慧;劉偉;李坤;游攀利;;基于大數(shù)據(jù)的水利數(shù)據(jù)中心建設(shè)[A];大數(shù)據(jù)時代的信息化建設(shè)——2015（第三屆）中國水利信息化與數(shù)字水利技術(shù)論壇論文集[C];2015年

10 張愷玉;陳磊;;一種基于Hadoop架構(gòu)的指揮系統(tǒng)大數(shù)據(jù)挖掘方法[A];第三屆中國指揮控制大會論文集（上冊）[C];2015年

相關(guān)博士學位論文 前10條

1 孫茂華;安全多方計算及其應(yīng)用研究[D];北京郵電大學;2013年

2 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術(shù)研究[D];北京郵電大學;2013年

3 胡德鵬;基于農(nóng)業(yè)本體問句分析的問答系統(tǒng)研究與架構(gòu)設(shè)計[D];中國農(nóng)業(yè)科學院;2013年

4 王金寶;云計算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學;2013年

5 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學;2013年

6 董超;基于網(wǎng)絡(luò)流量監(jiān)測的移動互聯(lián)網(wǎng)特征研究[D];北京郵電大學;2013年

7 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學;2013年

8 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學;2013年

9 盧風順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2012年

10 姜春茂;基于移動P2P的分布式存儲和傳輸機制研究[D];哈爾濱工程大學;2013年

相關(guān)碩士學位論文 前10條

1 李東升;基于Chord環(huán)的MongoDB數(shù)據(jù)均衡系統(tǒng)設(shè)計與實現(xiàn)[D];重慶大學;2013年

2 陳席林;分布式持久化緩存系統(tǒng)的研究與實現(xiàn)[D];重慶大學;2013年

3 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學;2013年

4 郭峰;基于云計算的虛擬化技術(shù)在高校教學服務(wù)中的應(yīng)用研究[D];北京工業(yè)大學;2013年

5 張丹;HDFS中文件存儲優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學;2013年

6 杜超利;時空要素驅(qū)動的事件網(wǎng)頁信息檢索方法研究[D];南京師范大學;2013年

7 潘吳斌;基于云計算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學;2013年

8 趙洪昌;云計算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學;2013年

9 汪洋;通信網(wǎng)云計算平臺資源調(diào)度策略與算法研究[D];南昌大學;2013年

10 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺及關(guān)鍵技術(shù)研究[D];河南大學;2013年

，

本文編號：1561427