本文關(guān)鍵詞：基于分布式的譜聚類(lèi)算法在虛擬社區(qū)發(fā)現(xiàn)上的應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

【摘要】：社交網(wǎng)絡(luò)中由于用戶(hù)年齡、職業(yè)、興趣等的不同會(huì)呈現(xiàn)出社區(qū)結(jié)構(gòu)特性,社區(qū)發(fā)現(xiàn)是社區(qū)結(jié)構(gòu)特性的研究基礎(chǔ)和核心。社區(qū)發(fā)現(xiàn)可以分析不同社群間用戶(hù)的關(guān)系、發(fā)現(xiàn)隱藏在社區(qū)內(nèi)部的規(guī)律、追蹤網(wǎng)絡(luò)中的熱點(diǎn)話(huà)題等,對(duì)好友推薦、精準(zhǔn)營(yíng)銷(xiāo)等都具有非常重要的作用。目前有大量的社區(qū)發(fā)現(xiàn)方法,而譜聚類(lèi)方法是基于圖理論的社區(qū)發(fā)現(xiàn)算法,適用于社交網(wǎng)絡(luò)這種可以抽象成用戶(hù)關(guān)系圖的數(shù)據(jù)。傳統(tǒng)的譜聚類(lèi)算法因?yàn)闀r(shí)間復(fù)雜度高等原因大多應(yīng)用在節(jié)點(diǎn)規(guī)模比較小的網(wǎng)絡(luò)上,而社交網(wǎng)絡(luò)則是具有海量用戶(hù)的網(wǎng)絡(luò),這對(duì)傳統(tǒng)的譜聚類(lèi)算法提出了挑戰(zhàn)。本文主要研究?jī)?nèi)容就是將現(xiàn)在應(yīng)用非常廣泛的分布式大數(shù)據(jù)計(jì)算框架Hadoop應(yīng)用到大規(guī)模社區(qū)發(fā)現(xiàn)中,針對(duì)社交網(wǎng)絡(luò)數(shù)據(jù)的特性,設(shè)計(jì)了合理的用戶(hù)相似度模型,彌補(bǔ)了傳統(tǒng)的譜聚類(lèi)算法無(wú)法確定聚類(lèi)個(gè)數(shù)、計(jì)算耗時(shí)長(zhǎng)等缺陷,使其在大規(guī)模社區(qū)發(fā)現(xiàn)問(wèn)題上的效率得以提高,以解決傳統(tǒng)譜聚類(lèi)算法只能適用于小規(guī)模社區(qū)發(fā)現(xiàn)等問(wèn)題。本文針對(duì)譜聚類(lèi)算法無(wú)法確定社區(qū)個(gè)數(shù)的缺點(diǎn),提出了在社區(qū)結(jié)構(gòu)明顯的場(chǎng)景下應(yīng)用基于PageRank的社區(qū)數(shù)目發(fā)現(xiàn)算法,得益于PageRank算法良好的并行性,使其可以在大規(guī)模數(shù)據(jù)集中運(yùn)用并行計(jì)算來(lái)提高發(fā)現(xiàn)社區(qū)數(shù)目的效率;在社區(qū)結(jié)構(gòu)不明顯的網(wǎng)絡(luò)中,提出基于模塊度優(yōu)化的譜聚類(lèi)算法來(lái)發(fā)現(xiàn)社區(qū)數(shù)目。本文選用被公眾使用較多的微博社交網(wǎng)絡(luò)作為實(shí)驗(yàn)驗(yàn)證,微博中用戶(hù)有微博內(nèi)容、關(guān)注、粉絲、交互、個(gè)人信息等眾多的屬性。本文綜合四類(lèi)用戶(hù)屬性信息,構(gòu)建了更加合理的用戶(hù)相似度模型。針對(duì)譜聚類(lèi)算法應(yīng)用于社交網(wǎng)絡(luò)這個(gè)特殊場(chǎng)景提出了使用HBase存儲(chǔ)中間結(jié)果、控制分塊大小、使用Uber模式等一系列Hadoop優(yōu)化策略。
【關(guān)鍵詞】：分布式 譜聚類(lèi) 虛擬社區(qū)發(fā)現(xiàn)
【學(xué)位授予單位】：暨南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP311.13
【目錄】：

• 摘要3-4
• ABSTRACT4-7
• 第一章 緒論7-13
• 1.1 研究背景及意義7-8
• 1.2 課題國(guó)內(nèi)外研究現(xiàn)狀8-11
• 1.3 論文研究的主要內(nèi)容11-12
• 1.4 本章小結(jié)12-13
• 第二章 相關(guān)理論13-24
• 2.1 k-means算法理論13-14
• 2.2 譜聚類(lèi)算法14-20
• 2.3 Hadoop概述20-23
• 2.4 本章小結(jié)23-24
• 第三章 分布式環(huán)境中譜聚類(lèi)算法實(shí)現(xiàn)24-32
• 3.1 k-means并行計(jì)算策略24
• 3.2 基于Normalized的譜聚類(lèi)算法24-25
• 3.3 用戶(hù)特征選取25-27
• 3.4 聚類(lèi)個(gè)數(shù)確定27-28
• 3.5 譜聚類(lèi)并行化設(shè)計(jì)28-29
• 3.6 Hadoop性能調(diào)優(yōu)29-31
• 3.7 本章小結(jié)31-32
• 第四章 實(shí)驗(yàn)驗(yàn)證32-43
• 4.1 實(shí)驗(yàn)環(huán)境32
• 4.2 實(shí)驗(yàn)數(shù)據(jù)介紹32-35
• 4.3 社區(qū)數(shù)目確定35-37
• 4.4 算法精確度實(shí)驗(yàn)37-39
• 4.5 算法執(zhí)行效率實(shí)驗(yàn)39-42
• 4.6 本章小結(jié)42-43
• 第五章 總結(jié)與展望43-45
• 5.1 論文工作總結(jié)43
• 5.2 未來(lái)工作展望43-45
• 參考文獻(xiàn)45-49
• 致謝49

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 蔡曉妍;戴冠中;楊黎斌;;譜聚類(lèi)算法綜述[J];計(jì)算機(jī)科學(xué);2008年07期

2 汪中;劉貴全;陳恩紅;;基于模糊K-harmonic means的譜聚類(lèi)算法[J];智能系統(tǒng)學(xué)報(bào);2009年02期

3 孫昌思核;孔萬(wàn)增;戴國(guó)駿;;一種自動(dòng)確定類(lèi)個(gè)數(shù)的譜聚類(lèi)算法[J];杭州電子科技大學(xué)學(xué)報(bào);2010年02期

4 蘭洋;;改進(jìn)譜聚類(lèi)算法在高等院校人才選拔中的應(yīng)用[J];信陽(yáng)師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年04期

5 張力文;丁世飛;許新征;朱紅;徐麗;;一種基于成對(duì)約束的譜聚類(lèi)算法[J];廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年04期

6 施培蓓;郭玉堂;胡玉娟;俞駿;;多尺度的譜聚類(lèi)算法[J];計(jì)算機(jī)工程與應(yīng)用;2011年08期

7 楊曉慧;王莉莉;李登峰;;一種新的層次譜聚類(lèi)算法[J];上海理工大學(xué)學(xué)報(bào);2014年01期

8 朱強(qiáng)生;何華燦;周延泉;;譜聚類(lèi)算法對(duì)輸入數(shù)據(jù)順序的敏感性[J];計(jì)算機(jī)應(yīng)用研究;2007年04期

9 金慧珍;趙遼英;;多層自動(dòng)確定類(lèi)別的譜聚類(lèi)算法[J];計(jì)算機(jī)應(yīng)用;2008年05期

10 孫大雷;孟凡榮;閆秋艷;;一種初始化不敏感的譜聚類(lèi)算法[J];微電子學(xué)與計(jì)算機(jī);2012年07期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 呂紹高;統(tǒng)計(jì)學(xué)習(xí)中回歸與正則化譜聚類(lèi)算法的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 李純;快速譜聚類(lèi)算法的研究與應(yīng)用[D];哈爾濱工程大學(xué);2012年

2 董彬;一種基于主動(dòng)學(xué)習(xí)的半監(jiān)督譜聚類(lèi)算法研究[D];中國(guó)礦業(yè)大學(xué);2015年

3 劉萍萍;基于特征間隙檢測(cè)簇?cái)?shù)的譜聚類(lèi)算法研究[D];南京郵電大學(xué);2015年

4 孫承祥;雙饋型風(fēng)電機(jī)組的風(fēng)電場(chǎng)建模研究[D];華北電力大學(xué);2015年

5 崔慧嶺;一種面向大數(shù)據(jù)的文本聚類(lèi)算法[D];湖北師范大學(xué);2016年

6 徐大海;基于分布式的譜聚類(lèi)算法在虛擬社區(qū)發(fā)現(xiàn)上的應(yīng)用研究[D];暨南大學(xué);2016年

7 鄭楊帆;基于圖論的譜聚類(lèi)算法研究和實(shí)現(xiàn)[D];華南理工大學(xué);2012年

8 高倩;基于模糊理論的譜聚類(lèi)算法研究與應(yīng)用[D];江南大學(xué);2009年

9 宋少宇;基于流形距離核的譜聚類(lèi)算法研究及其應(yīng)用[D];哈爾濱工程大學(xué);2012年

10 孟超;分布式環(huán)境下譜聚類(lèi)算法研究[D];北京郵電大學(xué);2013年

  本文關(guān)鍵詞：基于分布式的譜聚類(lèi)算法在虛擬社區(qū)發(fā)現(xiàn)上的應(yīng)用研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：252013