本文關(guān)鍵詞：社交網(wǎng)絡(luò)結(jié)構(gòu)特性研究

  更多相關(guān)文章： 社交網(wǎng)絡(luò) 度分布 同配性 互相關(guān)注率 并行化 分布式

【摘要】：近年來,隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,尤其移動(dòng)互聯(lián)網(wǎng)的普及,社交網(wǎng)絡(luò)作為一種比較真實(shí),穩(wěn)定的交友模式在社會(huì)上越來越受歡迎。尤其以Twitter, facebook,新浪微博為代表這類在線社交網(wǎng)絡(luò)呈現(xiàn)爆炸式發(fā)展。新浪微博官方數(shù)據(jù)顯示,截止到2013年3月,新浪微博的注冊(cè)用戶已經(jīng)超過5.3億。 社交網(wǎng)絡(luò)作為現(xiàn)實(shí)生活中真實(shí)關(guān)系在網(wǎng)絡(luò)上的一種拓展,所以具有一般人際網(wǎng)絡(luò)的特征,相對(duì)有序,結(jié)構(gòu)呈現(xiàn)一定的規(guī)律。基于此,我們認(rèn)為對(duì)社交網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行研究是可行的,對(duì)于促進(jìn)社交網(wǎng)絡(luò)的進(jìn)一步發(fā)展也具有重要意義。 本文以復(fù)雜網(wǎng)絡(luò)的基礎(chǔ)理論為依據(jù),結(jié)合圖論的相關(guān)知識(shí),對(duì)社交網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行深入的研究。首先搭建了穩(wěn)定的、高性能的數(shù)據(jù)采集平臺(tái)。在平臺(tái)上,使用并行化計(jì)算框架Hadoop作為核心技術(shù)設(shè)計(jì)了爬蟲模塊,對(duì)廣度優(yōu)先的基礎(chǔ)上做出改進(jìn),提出加權(quán)的廣度優(yōu)先算法作為爬蟲策略以實(shí)現(xiàn)隨機(jī)抽樣。在分布式存儲(chǔ)模塊,采用一致性哈希算法作為數(shù)據(jù)設(shè)備映射算法。對(duì)數(shù)據(jù)庫采用讀寫分離技術(shù)以及副本集技術(shù)提高數(shù)據(jù)庫集群的穩(wěn)定性和響應(yīng)速度。其次,對(duì)新浪微博真實(shí)網(wǎng)絡(luò)和去除人工干預(yù)之后的網(wǎng)絡(luò)做結(jié)構(gòu)性分析。采用最大似然估計(jì)的方法擬合度分布的曲線分析網(wǎng)絡(luò)的無尺度特性,基于Hadoop計(jì)算框架改進(jìn)的dijkstra算法計(jì)算平局最短路徑長度來分析網(wǎng)絡(luò)的小世界特性,通過互相關(guān)注率分析網(wǎng)絡(luò)的對(duì)稱性,通過計(jì)算網(wǎng)絡(luò)的皮爾遜系數(shù)來表征網(wǎng)絡(luò)的同配性,通過聯(lián)合度分布來測(cè)量網(wǎng)絡(luò)的入度分布和出度分布的相關(guān)性。 經(jīng)過分析得出新浪微博的真實(shí)網(wǎng)絡(luò)更像是一個(gè)信息發(fā)布,傳播的平臺(tái),經(jīng)過去除人工干預(yù)之后的網(wǎng)絡(luò)從結(jié)構(gòu)上更像是經(jīng)典的社交網(wǎng)絡(luò)。
【關(guān)鍵詞】：社交網(wǎng)絡(luò) 度分布 同配性 互相關(guān)注率 并行化 分布式
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.092
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-14
• 1.1 研究背景與意義9-10
• 1.1.1 研究背景9-10
• 1.1.2 研究意義10
• 1.2 國內(nèi)外研究現(xiàn)狀10-11
• 1.3 論文結(jié)構(gòu)及研究內(nèi)容11-14
• 第二章 社交網(wǎng)絡(luò)數(shù)據(jù)挖掘原理14-25
• 2.1 數(shù)據(jù)采集與存儲(chǔ)技術(shù)14-20
• 2.1.1 爬蟲策略介紹14-15
• 2.1.2 并行式計(jì)算框架Hadoop15-18
• 2.1.3 數(shù)據(jù)庫技術(shù)18-20
• 2.2 社交網(wǎng)絡(luò)建模分析技術(shù)20-24
• 2.2.1 復(fù)雜網(wǎng)絡(luò)模型20-22
• 2.2.2 復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)特征參數(shù)22-24
• 2.3 本章小結(jié)24-25
• 第三章 數(shù)據(jù)采集存儲(chǔ)平臺(tái)設(shè)計(jì)和實(shí)現(xiàn)25-43
• 3.1 整體框架設(shè)計(jì)25-26
• 3.2 采集平臺(tái)26-31
• 3.2.1 爬蟲策略26-28
• 3.2.2 分布式爬蟲模塊28-31
• 3.3 存儲(chǔ)平臺(tái)31-34
• 3.3.1 數(shù)據(jù)映射層32-33
• 3.3.2 分布式數(shù)據(jù)集群33-34
• 3.4 性能測(cè)試34-41
• 3.4.1 測(cè)試條件介紹35
• 3.4.2 測(cè)試結(jié)果分析35-39
• 3.4.3 數(shù)據(jù)結(jié)果描述39-41
• 3.5 本章小結(jié)41-43
• 第四章 社交網(wǎng)絡(luò)結(jié)構(gòu)特性分析43-63
• 4.1 無尺度特性44-50
• 4.1.1 計(jì)算過程45-46
• 4.1.2 結(jié)果分析46-50
• 4.2 小世界特性50-53
• 4.2.1 計(jì)算過程50-52
• 4.2.2 結(jié)果分析52-53
• 4.3 對(duì)稱性53-55
• 4.3.1 計(jì)算過程53-54
• 4.3.2 結(jié)果分析54-55
• 4.4 同配性55-59
• 4.4.1 計(jì)算過程55-57
• 4.4.2 結(jié)果分析57-59
• 4.5 度相關(guān)性59-62
• 4.5.1 計(jì)算過程59
• 4.5.2 結(jié)果分析59-62
• 4.6 本章小結(jié)62-63
• 第五章 總結(jié)與展望63-65
• 5.1 本文工作成果總結(jié)63
• 5.2 下一步研究工作63-65
• 參考文獻(xiàn)65-68
• 致謝68

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 汪濤,樊孝忠,顧益軍,劉林;基于概念分析的主題爬蟲設(shè)計(jì)[J];北京理工大學(xué)學(xué)報(bào);2004年10期

2 毛曉蛟;;搜索引擎中網(wǎng)絡(luò)蜘蛛的研究與實(shí)現(xiàn)[J];電腦編程技巧與維護(hù);2010年18期

3 劉剛;于力超;;搜索引擎中網(wǎng)絡(luò)蜘蛛的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦與信息技術(shù);2007年04期

4 包宇寧;使用Java編程解析HTML文檔[J];福建電腦;2004年09期

5 付濤;戴玉剛;周登;;鏈接分析在主題信息檢索系統(tǒng)中的應(yīng)用[J];電腦與電信;2009年01期

6 朱丹浩;王東波;Saeed-Ul Hassan;Peter Haddawy;;知識(shí)組織視角下關(guān)鍵詞網(wǎng)絡(luò)中的小世界現(xiàn)象[J];圖書與情報(bào);2013年06期

7 李嬋嬋;蔣國平;宋玉蓉;;動(dòng)態(tài)小世界社團(tuán)網(wǎng)絡(luò)上的病毒傳播研究[J];復(fù)雜系統(tǒng)與復(fù)雜性科學(xué);2014年03期

8 王洪偉;任豪;;社交網(wǎng)絡(luò)的有效信息量研究:基于節(jié)點(diǎn)強(qiáng)度的分析[J];北京工業(yè)大學(xué)學(xué)報(bào);2015年05期

9 王先培;田猛;董政呈;龍嘉川;代蕩蕩;朱國威;;通信光纜故障對(duì)電力網(wǎng)連鎖故障的影響[J];電力系統(tǒng)自動(dòng)化;2015年13期

10 張紅斌;;網(wǎng)上求職機(jī)器人的軟件設(shè)計(jì)[J];華東交通大學(xué)學(xué)報(bào);2006年01期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前3條

1 吳春胤;陳聯(lián)誠;俞守華;;基于AgMES的搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[A];農(nóng)業(yè)工程科技創(chuàng)新與建設(shè)現(xiàn)代農(nóng)業(yè)——2005年中國農(nóng)業(yè)工程學(xué)會(huì)學(xué)術(shù)年會(huì)論文集第三分冊(cè)[C];2005年

2 許映秋;楊占波;談?dòng)⒆?;基于多主體建模的危機(jī)信息傳播與控制策略研究[A];2014第二屆中國指揮控制大會(huì)論文集（下）[C];2014年

3 嚴(yán)嶺;李逸群;;網(wǎng)絡(luò)輿情事件中的微博炒作賬號(hào)發(fā)現(xiàn)方法研究[A];第29次全國計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2014年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 雷斌;基于Java技術(shù)的智能化搜索引擎的研究與設(shè)計(jì)[D];哈爾濱工程大學(xué);2010年

2 徐東麗;基于Crawler的Web服務(wù)搜索研究[D];大連海事大學(xué);2011年

3 趙思佳;基于規(guī)則引擎的個(gè)性化網(wǎng)頁爬蟲研究[D];中南大學(xué);2010年

4 金翠平;復(fù)雜網(wǎng)絡(luò)上各向異性Ashkin-Teller模型的相變[D];江西師范大學(xué);2011年

5 張志華;工程軟件網(wǎng)絡(luò)的復(fù)雜性與社團(tuán)結(jié)構(gòu)研究[D];石家莊鐵道大學(xué);2011年

6 喬小燕;一類圖值過程不具有大團(tuán)聚性的一個(gè)充分條件[D];南京航空航天大學(xué);2010年

7 王晶;基于垂直搜索技術(shù)的競(jìng)爭(zhēng)情報(bào)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2011年

8 黃丹;考慮代價(jià)的無標(biāo)度網(wǎng)絡(luò)抗攻擊性研究[D];中南民族大學(xué);2011年

9 亓玉娟;基于復(fù)雜網(wǎng)絡(luò)的病毒傳播研究[D];華中科技大學(xué);2011年

10 何速;社會(huì)電視用戶行為分析[D];國防科學(xué)技術(shù)大學(xué);2011年

，

本文編號(hào)：1000289