本文關(guān)鍵詞：基于Spark的大規(guī)模社交網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)算法設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 社區(qū)發(fā)現(xiàn) 大規(guī)模 標(biāo)簽傳播算法 Spark 并行化

【摘要】：近年來(lái),隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,加上移動(dòng)終端及移動(dòng)互聯(lián)網(wǎng)的逐漸普及,越來(lái)越多的人成為了社交網(wǎng)絡(luò)中的一員。社交網(wǎng)絡(luò)的不斷發(fā)展,導(dǎo)致了社交網(wǎng)絡(luò)的規(guī)模呈現(xiàn)出了爆炸式的增長(zhǎng)。社區(qū)發(fā)現(xiàn)也面臨著數(shù)據(jù)量大、復(fù)雜性高等問(wèn)題。由于傳統(tǒng)的社區(qū)發(fā)現(xiàn)算法大多數(shù)只能適用于一些小規(guī)模的網(wǎng)絡(luò)或者實(shí)驗(yàn)生成的網(wǎng)絡(luò),當(dāng)網(wǎng)絡(luò)中用戶數(shù)量的規(guī)模很大時(shí),使用傳統(tǒng)的社區(qū)發(fā)現(xiàn)算法受到了硬件及算法自身復(fù)雜度的限制,因此很難高效的來(lái)處理如此海量的數(shù)據(jù),嚴(yán)重制約了大規(guī)模社交網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)。本文針對(duì)傳統(tǒng)社區(qū)發(fā)現(xiàn)方法難以適應(yīng)大規(guī)模的社交網(wǎng)絡(luò)場(chǎng)景,采用Spark大數(shù)據(jù)處理框架將傳統(tǒng)的社區(qū)發(fā)現(xiàn)算法并行化,利用集群所具有的計(jì)算優(yōu)勢(shì)來(lái)處理海量的用戶數(shù)據(jù),降低算法執(zhí)行所消耗的時(shí)間。選取經(jīng)典的標(biāo)簽傳播方法作為基礎(chǔ)算法,在Spark平臺(tái)上進(jìn)行并行化拓展,實(shí)現(xiàn)了一種基于Spark的并行化社區(qū)發(fā)現(xiàn)算法,同時(shí)針對(duì)算法在實(shí)驗(yàn)過(guò)程中所產(chǎn)生的問(wèn)題對(duì)算法進(jìn)行了相應(yīng)的改進(jìn)。最后,通過(guò)使用Faceboo、Twitter社交網(wǎng)絡(luò)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),驗(yàn)證了本文所設(shè)計(jì)的算法的高效與簡(jiǎn)潔性。本論文的主要工作及創(chuàng)新點(diǎn)有以下幾方面：(1)首先,對(duì)傳統(tǒng)的社區(qū)發(fā)現(xiàn)算法進(jìn)行理論研究,同時(shí)對(duì)其并行化的可行性進(jìn)行分析；接著,對(duì)當(dāng)前流行的Spark等大數(shù)據(jù)處理工具作了理論與技術(shù)上的分析,為后續(xù)算法的并行化提供技術(shù)保障。(2)選擇傳統(tǒng)的標(biāo)簽傳播算法作為基礎(chǔ)算法,通過(guò)將其與Spark技術(shù)相結(jié)合進(jìn)行并行化實(shí)現(xiàn),解決了傳統(tǒng)標(biāo)簽算法難于解決大規(guī)模網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)的問(wèn)題；(3)為解決基于Spark的標(biāo)簽傳播算法在實(shí)驗(yàn)過(guò)程中表現(xiàn)出的隨機(jī)性較強(qiáng)等問(wèn)題,引入社區(qū)核心節(jié)點(diǎn)影響力的概念,并將其用于標(biāo)簽傳播算法之中。同時(shí)實(shí)現(xiàn)了基于Spark的PageRank算法來(lái)解決社區(qū)核心節(jié)點(diǎn)影響力的計(jì)算。通過(guò)在Spark平臺(tái)上實(shí)現(xiàn)了改進(jìn)前后的算法,對(duì)改進(jìn)前后算法所得的實(shí)驗(yàn)結(jié)果進(jìn)行了詳細(xì)的分析,并對(duì)出現(xiàn)的相關(guān)問(wèn)題進(jìn)行了深入探討。最后,通過(guò)幾組對(duì)比實(shí)驗(yàn)對(duì)兩種算法所發(fā)現(xiàn)社區(qū)質(zhì)量進(jìn)行了比較。
【關(guān)鍵詞】：社區(qū)發(fā)現(xiàn) 大規(guī)模 標(biāo)簽傳播算法 Spark 并行化
【學(xué)位授予單位】：揚(yáng)州大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP393.09
【目錄】：

• 摘要4-5
• Abstract5-9
• 第一章 緒論9-16
• 1.1 選題背景及其意義9-10
• 1.2 研究現(xiàn)狀10-14
• 1.2.1 基于圖算法的社區(qū)發(fā)現(xiàn)11
• 1.2.2 基于啟發(fā)式的算法11-13
• 1.2.3 基于模塊度優(yōu)化的社區(qū)發(fā)現(xiàn)算法13-14
• 1.3 本文主要工作及章節(jié)安排14-16
• 第二章 相關(guān)技術(shù)基礎(chǔ)16-31
• 2.1 社交網(wǎng)絡(luò)的表示16
• 2.2 社區(qū)發(fā)現(xiàn)16-18
• 2.3 Spark相關(guān)技術(shù)介紹18-24
• 2.3.1 Spark的架構(gòu)20-21
• 2.3.2 Spark運(yùn)行邏輯21-22
• 2.3.3 RDD22
• 2.3.4 GraphX22-23
• 2.3.5 Spark中圖數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)23-24
• 2.4 Pregel計(jì)算框架介紹24-28
• 2.5 Spark的優(yōu)勢(shì)28-29
• 2.6 社區(qū)質(zhì)量評(píng)價(jià)29-30
• 2.7 本章小結(jié)30-31
• 第三章 基于Spark的標(biāo)簽傳播算法31-48
• 3.1 傳統(tǒng)LPA算法31-33
• 3.2 基于Spark的并行化LPA算法33-37
• 3.2.1 Spark化圖數(shù)據(jù)處理33-34
• 3.2.2 LPA算法Spark化實(shí)現(xiàn)34-37
• 3.3 實(shí)驗(yàn)平臺(tái)架構(gòu)及數(shù)據(jù)集37-40
• 3.3.1 實(shí)驗(yàn)系統(tǒng)架構(gòu)37-39
• 3.3.2 實(shí)驗(yàn)數(shù)據(jù)39-40
• 3.4 實(shí)驗(yàn)40-47
• 3.4.1 Facebook數(shù)據(jù)集40-43
• 3.4.2 Twitter數(shù)據(jù)集43-45
• 3.4.3 實(shí)驗(yàn)分析45-46
• 3.4.4 實(shí)驗(yàn)對(duì)比46-47
• 3.5 本章小結(jié)47-48
• 第四章 基于Spark的改進(jìn)的標(biāo)簽傳播算法48-60
• 4.1 算法思想48-50
• 4.2 社區(qū)核心節(jié)點(diǎn)影響力50-53
• 4.2.1 PageRank算法51
• 4.2.2 基于Spark的PageRank算法51-53
• 4.3 基于Spark的改進(jìn)的標(biāo)簽傳播算法實(shí)現(xiàn)53-54
• 4.4 實(shí)驗(yàn)54-59
• 4.4.1 Facebook數(shù)據(jù)集55-56
• 4.4.2 Twitter數(shù)據(jù)集56-57
• 4.4.3 兩個(gè)算法實(shí)驗(yàn)結(jié)果的對(duì)比分析57-59
• 4.5 本章小結(jié)59-60
• 第五章 總結(jié)和展望60-63
• 5.1 本文工作總結(jié)60-62
• 5.2 進(jìn)一步工作62-63
• 參考文獻(xiàn)63-67
• 致謝67-68

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 ;基于位置的手機(jī)社交網(wǎng)絡(luò)“貝多”正式發(fā)布[J];中國(guó)新通信;2008年06期

2 曹增輝;;社交網(wǎng)絡(luò)更偏向于用戶工具[J];信息網(wǎng)絡(luò);2009年11期

3 ;美國(guó):印刷企業(yè)青睞社交網(wǎng)絡(luò)營(yíng)銷(xiāo)新方式[J];中國(guó)包裝工業(yè);2010年Z1期

4 李智惠;柳承燁;;韓國(guó)移動(dòng)社交網(wǎng)絡(luò)服務(wù)的類(lèi)型分析與促進(jìn)方案[J];現(xiàn)代傳播(中國(guó)傳媒大學(xué)學(xué)報(bào));2010年08期

5 賈富;;改變一切的社交網(wǎng)絡(luò)[J];互聯(lián)網(wǎng)天地;2011年04期

6 譚拯;;社交網(wǎng)絡(luò):連接與發(fā)現(xiàn)[J];廣東通信技術(shù);2011年07期

7 陳一舟;;社交網(wǎng)絡(luò)的發(fā)展趨勢(shì)[J];傳媒;2011年12期

8 殷樂(lè);;全球社交網(wǎng)絡(luò)新態(tài)勢(shì)及文化影響[J];新聞與寫(xiě)作;2012年01期

9 許麗;;社交網(wǎng)絡(luò):孤獨(dú)年代的集體狂歡[J];上海信息化;2012年09期

10 李玲麗;吳新年;;科研社交網(wǎng)絡(luò)的發(fā)展現(xiàn)狀及趨勢(shì)分析[J];圖書(shū)館學(xué)研究;2013年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 趙云龍;李艷兵;;社交網(wǎng)絡(luò)用戶的人格預(yù)測(cè)與關(guān)系強(qiáng)度研究[A];第七屆（2012）中國(guó)管理學(xué)年會(huì)商務(wù)智能分會(huì)場(chǎng)論文集（選編）[C];2012年

2 宮廣宇;李開(kāi)軍;;對(duì)社交網(wǎng)絡(luò)中信息傳播的分析和思考——以人人網(wǎng)為例[A];首屆華中地區(qū)新聞與傳播學(xué)科研究生學(xué)術(shù)論壇獲獎(jiǎng)?wù)撐腫C];2010年

3 楊子鵬;喬麗娟;王夢(mèng)思;楊雪迎;孟子冰;張禹;;社交網(wǎng)絡(luò)與大學(xué)生焦慮緩解[A];心理學(xué)與創(chuàng)新能力提升——第十六屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議論文集[C];2013年

4 畢雪梅;;體育虛擬社區(qū)中的體育社交網(wǎng)絡(luò)解析[A];第九屆全國(guó)體育科學(xué)大會(huì)論文摘要匯編(4)[C];2011年

5 杜p，

本文編號(hào)：883364