本文選題：社交媒體　切入點：爬蟲　出處：《華東師范大學》2014年碩士論文　論文類型：學位論文

【摘要】：隨著Web2.0應用的快速發(fā)展,社交媒體作為社會感知器用于記錄人們日常生活、信息共享以及在線交友等,得到了商業(yè)界、政治界和學術界的廣泛重視。分析社交媒體數據可以了解用戶的關系網、理解用戶的在線行為以及挖掘用戶偏好,從而實現好友、產品以及服務的精準推薦；掌握信息在社交媒體中的傳播途徑和傳播方式可以觀測在線用戶的集群行為,使虛擬空間成久安之勢、建長治之業(yè)。因此,收集社交媒體數據,并感知用戶在虛擬社區(qū)上的集群行為是重要而迫切的研究課題。 由于社交媒體數據間具有強烈的依賴關系,傳統(tǒng)的抽樣技術不適用于收集社交媒體數據。另外,社交媒體數據的海量性、實時性和個性化等特點致使分析社交媒體數據成為一個非常有挑戰(zhàn)的任務。而微博作為一類典型的社交媒體,它幾乎具備當前社交媒體的所有特征。因此,本文以微博為載體研究了社交媒體數據的獲取以及信息在社交媒體上的傳播模型。主要貢獻如下： ·設計和實現了一種基于微博社交網絡結構的數據獲取方法。根據網絡中心化理論,選擇可信的、正常的種子用戶,通過微博平臺的關注網絡按照廣度優(yōu)先的策略設計了一個分布式爬蟲,爬取并發(fā)布了海量微博數據；同時,根據爬取的數據集討論了微博數據的實時獲取。 ·給出了微博流行度的形式化定義,提出微博的流行度應該用轉發(fā)量和可能被瀏覽次數這兩種不同的方式進行度量。它們分別從實際受到影響進一步傳播該信息的用戶數和可能瀏覽到此信息的用戶數兩個角度度量了微博的流行度。 ·研究了微博的生命周期和引爆點。分析表明大多數具有高流行度的微博生命周期小于48小時；并且微博在傳播過程中可能存在引爆點,即微博流行度會在信息傳播過程中出現二次或二次以上的爆炸式增加。觀察發(fā)現微博流行度隨時間變化服從Sigmoid函數,文章利用Sigmoid函數擬合微博流行度隨時間變化,同時給出估計模型參數的算法。實驗驗證了模型的有效性和參數估計的準確性。 ·建立了一個網上集群行為資源庫,該資源庫能以事件為單位,從時間、空間、情緒和傳播網絡這四個維度對事件進行可視化分析。該平臺可以幫助人們了解事件的具體發(fā)展,事件參與者的大致組成、民眾對事件的觀點分布,事件的主要推動者等更進一步的信息。 總的來說,本文以微博為載體,探索了基于社交網絡結構獲取社交媒體數據方法的可行性；基于收集的數據和流行度概念,對微博的傳播方式進行了建模,研究微博生命周期和引爆點；最后建立社交媒體用戶網上集群行為資源庫,從多個維度展示社交媒體數據在研究用戶集群行為中的作用。
[Abstract]:With the rapid development of Web2.0 applications, social media has been used as a social sensor to record people's daily lives, information sharing and online dating. The analysis of social media data can understand the user's network, understand the user's online behavior and excavate the user's preference, so as to realize the accurate recommendation of friends, products and services. How and how information is disseminated in social media allows you to observe the cluster behavior of online users, make the virtual space secure, and build a long-term business. Therefore, social media data are collected, And perceiving the cluster behavior of users in virtual community is an important and urgent research topic. Because of the strong dependency between social media data, traditional sampling techniques are not suitable for collecting social media data. The characteristics of real-time and personalization make it a challenging task to analyze social media data. Weibo, as a typical social media, has almost all the features of current social media. In this paper, Weibo is used as the carrier to study the acquisition of social media data and the dissemination model of information on social media. The main contributions are as follows:. 路designing and implementing a data acquisition method based on Weibo's social network structure. According to the theory of network centralization, we select trusted and normal seed users. Based on the focus network of Weibo platform, a distributed crawler is designed according to the strategy of breadth first, which crawls and publishes a mass of Weibo data. At the same time, according to the crawling data set, it discusses the real-time acquisition of Weibo data. 路give a formal definition of Weibo's popularity, It is suggested that the popularity of Weibo should be measured in two different ways, namely, the amount of forwarding and the number of times that the information may be browsed. They are further affected by the actual number of users who spread the information and the users who may browse to the information. Several two angles measure Weibo's popularity. 路studied Weibo's life cycle and tipping point. The analysis showed that the life cycle of the majority of those with high prevalence was less than 48 hours, and there might be a tipping point in the spread of Weibo. That is, Weibo's popularity will increase by two or more times in the process of information dissemination. It is found that Weibo's popularity varies with time from the Sigmoid function. The paper uses the Sigmoid function to fit the change of Weibo's popularity with time. At the same time, the algorithm of estimating the parameters of the model is given, and the validity of the model and the accuracy of the parameter estimation are verified by experiments. 路establish an online cluster behavior resource bank, which can visually analyze events in terms of events from the four dimensions of time, space, emotion and communication network. This platform can help people understand the specific development of events. The general composition of the event participants, the distribution of public views on the event, the main promoters of the event and other further information. In general, this paper takes Weibo as the carrier, explores the feasibility of acquiring social media data based on the social network structure, and builds a model for the transmission method of Weibo based on the collected data and the concept of popularity. The life cycle and tipping point of Weibo are studied. Finally, the social media users' online cluster behavior resource bank is established to demonstrate the role of social media data in the study of user cluster behavior from multiple dimensions.
【學位授予單位】：華東師范大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP393.092;G206

【共引文獻】

相關期刊論文 前10條

1 郎波;張博宇;;面向大數據的非結構化數據管理平臺關鍵技術[J];信息技術與標準化;2013年10期

2 邵景峰;崔尊民;王進富;白曉波;;大數據下紡織制造執(zhí)行系統(tǒng)的構建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內蒙古科技大學學報;2013年03期

4 辜曉進;洪芳芳;張可;;紙媒與微博的互動邏輯:基于“搗鳥窩”新聞的分析[J];國際新聞界;2013年09期

5 周琳達;沈陽;;社交媒體環(huán)境中編輯力的開發(fā)[J];編輯學刊;2014年01期

6 楊銀娟;;美國期刊營銷策略中的社會化媒體應用[J];出版發(fā)行研究;2014年01期

7 劉靜;李躍輝;楊苗苗;許靜;;基于MapReduce的電信客戶流失決策樹算法研究[J];電腦知識與技術;2013年30期

8 盧鑫;;淺論社交媒體對新聞生產的影響[J];東南傳播;2013年10期

9 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯接算法[J];電信科學;2013年10期

10 王鵬;黃焱;劉峰;安俊秀;;大數據技術中計算與數據的協作機制[J];成都信息工程學院學報;2014年01期

相關會議論文 前10條

1 王尚坤;趙潔;馬愛萍;;基于網絡的旅游營銷新方式[A];2014中國旅游科學年會論文集[C];2014年

2 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預測[A];2013年全國通信軟件學術會議論文集[C];2013年

3 紀雪梅;王芳;;在線社交網絡用戶情感傳播研究[A];2013中國信息經濟學會學術年會暨博士生論壇論文集[C];2013年

4 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

5 劉勇;王永慶;;掘金社會化媒體[A];第九屆（2014）中國管理學年會——管理與決策科學分會場論文集[C];2014年

6 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數據處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應用技術論壇論文集[C];2014年

7 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學術年會論文集[C];2014年

8 李超越;徐國勝;;Hadoop公平調度算法的改進[A];第十九屆全國青年通信學術年會論文集[C];2014年

9 蔣翠清;王齊林;劉士喜;丁勇;劉堯;;中文社會媒體環(huán)境下半監(jiān)督學習的汽車缺陷識別方法[A];第十六屆中國管理科學學術年會論文集[C];2014年

10 Xiaosong Zhou;Xu Sun;Sarah Sharples;;Methods to Study Serendipity[A];User Friendly 2014暨UXPA中國第十一屆用戶體驗行業(yè)年會論文集[C];2014年

相關博士學位論文 前10條

1 谷羽;微博客平臺的企業(yè)公益?zhèn)鞑D];華中科技大學;2013年

2 閆幸;企業(yè)微博互動對消費者品牌忠誠和購買意愿的影響機制研究[D];華中科技大學;2013年

3 李健;云計算環(huán)境下最小化運營開銷的調度技術研究[D];北京郵電大學;2013年

4 劉燦由;電子海圖云服務關鍵技術研究與實踐[D];解放軍信息工程大學;2013年

5 劉婷婷;面向云計算的數據安全保護關鍵技術研究[D];解放軍信息工程大學;2013年

6 周飛;顧客互動與渠道協同績效的關系研究[D];華南理工大學;2013年

7 韓晶;大數據服務若干關鍵技術研究[D];北京郵電大學;2013年

8 程祥;高效可靠的虛擬網絡映射技術研究[D];北京郵電大學;2013年

9 李韌;基于Hadoop的大規(guī)模語義Web本體數據查詢與推理關鍵技術研究[D];重慶大學;2013年

10 鄧莎莎;支持決策研討的文本分析方法研究[D];上海交通大學;2013年

相關碩士學位論文 前10條

1 龐勝楠;電視媒體與社交媒體互動研究[D];山東師范大學;2013年

2 劉佳霖;引入互聯網搜索量的市場需求預測模型研究[D];北京郵電大學;2013年

3 林品;從網眾亞文化到共用能指[D];北京大學;2013年

4 王惟迅;中國微博客平臺下網絡營銷效果影響因素探究[D];北京郵電大學;2013年

5 魏楊;基于新浪微博的企業(yè)負面網絡輿情傳播特征研究[D];安徽大學;2013年

6 周飛鳳;MapReduce在科學計算中的研究與改進[D];安徽大學;2013年

7 伊甜園;高校網絡輿情預警機制研究[D];華中師范大學;2013年

8 姚海波;微博熱點話題檢測與趨勢預測研究[D];華南理工大學;2013年

9 張敬;網絡輿情的熱點檢測及趨勢分析研究[D];華南理工大學;2013年

10 郭偉;大學生利用網絡再生資源研究[D];華中師范大學;2013年

，

本文編號：1597159