本文關(guān)鍵詞：基于興趣的微博網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)

  更多相關(guān)文章： 社區(qū)發(fā)現(xiàn) 鏈接 內(nèi)容 Hadoop 微博

【摘要】：隨著社會媒體(social media)的蓬勃發(fā)展,世界各地數(shù)以億計的網(wǎng)民在互聯(lián)網(wǎng)上交流經(jīng)驗、分享觀點、發(fā)布帖子以及從事大量的日常活動,使得互聯(lián)網(wǎng)成為一個充滿活力與朝氣的領(lǐng)域。這些海量信息由每一個社會中的個體收集、整理和發(fā)布,同時又被無數(shù)的用戶閱讀和傳播并給予及時反饋。它在一定程度上代表了一個線上的人類社會,它積累了海量的可存儲信息,這些信息涉及到人類生活的方方面面,蘊含著巨大的價值。微博網(wǎng)絡(luò)便是社會媒體中的杰出代表,自從微博在中國建立,其便得到快速發(fā)展。時至今日,其已經(jīng)對中國的社會形態(tài)產(chǎn)生了巨大的影響。微博已經(jīng)積累的巨量的數(shù)據(jù),有必要對其進行研究和挖掘,通過對微博數(shù)據(jù)的研究,可以更好的了解和理解人類的行為模式,同時也可以更好的指導產(chǎn)品的開發(fā),進而更好的服務(wù)我們的生活。社會網(wǎng)絡(luò)歸根結(jié)底是一個網(wǎng)絡(luò),由結(jié)點和邊組成。社區(qū)(community)是網(wǎng)絡(luò)中的子圖,社區(qū)內(nèi)部的結(jié)點盡可能緊密,社區(qū)間的結(jié)點盡可能稀疏。對社會網(wǎng)絡(luò)進行社區(qū)發(fā)現(xiàn)是了解和理解社會網(wǎng)絡(luò)的一個重要途徑。當前學者們已經(jīng)提出了很多社區(qū)發(fā)現(xiàn)方法,但是具體到微博網(wǎng)絡(luò),依然需要改進和優(yōu)化,本文根據(jù)微博網(wǎng)絡(luò)的特點,研究對微博網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)方法。本文的主要研究工作如下：(1)對微博網(wǎng)絡(luò)中用戶關(guān)系進行分析,針對其具體的鏈接關(guān)系屬性,提出了新的用戶相似性和用戶社區(qū)相似性度量方法,基于層次社區(qū)發(fā)現(xiàn)算法思想,構(gòu)建了一個適用于微博網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)方法并通過實驗分析表明了其有效性。(2)充分利用微博網(wǎng)絡(luò)信息,對微博內(nèi)容進行提取和量化,結(jié)合上邊的鏈接相似性算法,提出了一種融合內(nèi)容和鏈接的框架D-CODICIL,并通過分析表明了其有效性。(3)為了適應(yīng)微博網(wǎng)絡(luò)的海量數(shù)據(jù),針對融合內(nèi)容和鏈接的框架比較耗時的階段,本文嘗試對其進行分布式改造,基于Hadoop的MapReduce計算模型,通過三個MapReduce作業(yè)將其并行化,結(jié)果表明Hadoop的應(yīng)用可以大大提高算法的計算效率。
【關(guān)鍵詞】：社區(qū)發(fā)現(xiàn) 鏈接 內(nèi)容 Hadoop 微博
【學位授予單位】：北京交通大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP393.09
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-12
• 1 引言12-22
• 1.1 研究背景12-13
• 1.2 研究的意義13-15
• 1.2.1 社區(qū)發(fā)現(xiàn)13-14
• 1.2.2 社區(qū)發(fā)現(xiàn)在微博分析的意義14-15
• 1.3 研究現(xiàn)狀與面臨的挑戰(zhàn)15-20
• 1.3.1 常見社區(qū)發(fā)現(xiàn)方法15-19
• 1.3.2 社區(qū)發(fā)現(xiàn)面臨的問題與挑戰(zhàn)19-20
• 1.4 本文的主要研究內(nèi)容20-21
• 1.5 本文組織結(jié)構(gòu)21-22
• 2 社會媒體網(wǎng)絡(luò)分析22-27
• 2.1 社會媒體網(wǎng)絡(luò)屬性22-24
• 2.1.1 度分布22-23
• 2.1.2 聚類系數(shù)23
• 2.1.3 平均路徑長度23-24
• 2.2 微博網(wǎng)絡(luò)24
• 2.3 本文數(shù)據(jù)集24
• 2.4 微博社區(qū)劃分評價方式24-26
• 2.4.1 非量化方式25
• 2.4.2 量化方式25-26
• 2.5 本章小結(jié)26-27
• 3 基于關(guān)注度的微博社區(qū)發(fā)現(xiàn)算法27-37
• 3.1 社會媒體用戶相似性27-29
• 3.2 微博用戶相似性特點29-30
• 3.3 微博相似性30-31
• 3.3.1 用戶間相似性30-31
• 3.3.2 社區(qū)間相似性31
• 3.4 算法總體思路31-32
• 3.5 算法偽代碼32
• 3.6 算法流程圖32-34
• 3.7 算法效果分析34-35
• 3.7.1 準確性和時間效率34
• 3.7.2 參數(shù)影響34-35
• 3.7.3 社區(qū)發(fā)現(xiàn)結(jié)果分析35
• 3.7.4 相似性分析35
• 3.8 本章小結(jié)35-37
• 4 融合內(nèi)容和鏈接信息的社區(qū)發(fā)現(xiàn)算法37-49
• 4.1 相關(guān)背景37-39
• 4.1.1 融合信息社區(qū)發(fā)現(xiàn)發(fā)展37-38
• 4.1.2 CODICIL38-39
• 4.2 用戶相似性39-40
• 4.2.1 TFIDF39-40
• 4.2.2 內(nèi)容相似性40
• 4.2.3 融合內(nèi)容和鏈接信息的相似性40
• 4.3 微博社區(qū)發(fā)現(xiàn)方法D-CODICIL詳述40-43
• 4.3.1 微博內(nèi)容向量化40-41
• 4.3.2 方法框架41-43
• 4.3.3 算法說明43
• 4.3.4 社區(qū)劃分43
• 4.4 算法效果分析43-47
• 4.4.1 準確性與時間效率44-45
• 4.4.2 參數(shù)影響45-46
• 4.4.3 社區(qū)結(jié)點初步分析46-47
• 4.5 本章小結(jié)47-49
• 5 D-CODICIL的分布式處理49-64
• 5.1 HADOOP平臺以及MAPREDUCE模型49-58
• 5.1.1 產(chǎn)生背景49
• 5.1.2 Hadoop49-51
• 5.1.3 HDFS文件系統(tǒng)51-54
• 5.1.4 MapReduce計算模型54-58
• 5.2 微博社區(qū)算法并行化58-62
• 5.2.1 傳統(tǒng)算法分析58-59
• 5.2.2 算法并行化59-62
• 5.3 實驗結(jié)果分析62-63
• 5.3.1 實驗環(huán)境62
• 5.3.2 Hadoop安裝62
• 5.3.3 實驗結(jié)果62-63
• 5.4 本章小結(jié)63-64
• 6 結(jié)論64-66
• 6.1 本文主要工作64-65
• 6.2 未來展望65-66
• 參考文獻66-69
• 作者簡歷及攻讀碩士學位期間取得的研究成果69-71
• 學位論文數(shù)據(jù)集71

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉明忠;孫旭東;;網(wǎng)絡(luò)、網(wǎng)絡(luò)信息的安全與維護[J];科技信息(科學教研);2007年11期

2 姚俊萍;李新社;封富君;李曉軍;;從美軍網(wǎng)絡(luò)空間發(fā)展看我軍網(wǎng)絡(luò)空間安全[J];才智;2013年10期

3 溫道安,井輝;設(shè)計院組建網(wǎng)絡(luò)淺析[J];安徽建筑;2000年03期

4 唐勇;構(gòu)建新世紀的網(wǎng)絡(luò)[J];微電腦世界;2002年07期

5 武海龍;;校園網(wǎng)絡(luò)的安全分析及防范措施[J];科技信息;2009年02期

6 郭巖;盧濤;楊利偉;;對網(wǎng)絡(luò)建設(shè)管理及其維護的探析[J];甘肅科技;2013年13期

7 郭波 ,施小蕾;網(wǎng)絡(luò)經(jīng)濟安全與全球企業(yè)競爭新規(guī)范[J];黑龍江對外經(jīng)貿(mào);2002年Z1期

8 曹丹;楊莉軍;;信息網(wǎng)絡(luò)化與道德教育[J];電腦知識與技術(shù);2006年14期

9 錢惠新;;網(wǎng)絡(luò)空間安全技術(shù)博弈的成因探究[J];信息與電腦(理論版);2013年09期

10 孫國林;網(wǎng)絡(luò)傳播發(fā)展綜述[J];成都大學學報(自然科學版);2004年01期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 周云;;基于網(wǎng)絡(luò)中心的信息服務(wù)模式[A];四川省通信學會2011年學術(shù)年會論文集[C];2011年

2 呂紅慶;賈英民;;基于網(wǎng)絡(luò)環(huán)境的H_∞狀態(tài)反饋控制器設(shè)計[A];第二十四屆中國控制會議論文集（上冊）[C];2005年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 袁藝　郭靜 唐振剛;網(wǎng)絡(luò)空間不可“窄化”和“泛化”[N];中國國防報;2012年

2 ;為“超級碗”搭建臨時網(wǎng)絡(luò)[N];網(wǎng)絡(luò)世界;2009年

3 ;構(gòu)筑企業(yè)網(wǎng)絡(luò)堅盾[N];中國計算機報;2005年

4 郝葉力;賽博空間：“狼煙四起”的新戰(zhàn)場[N];解放軍報;2011年

5 ;構(gòu)建內(nèi)外結(jié)合的防火墻結(jié)構(gòu)[N];人民郵電;2006年

6 金非;“網(wǎng)絡(luò)戰(zhàn)爭”只是“網(wǎng)絡(luò)涂鴉”[N];經(jīng)濟日報;2003年

7 大慶油田有限責任公司錄井公司 崔新 北京電信達網(wǎng)絡(luò)技術(shù)有限公司 董為群;輕松把握網(wǎng)絡(luò)脈博[N];網(wǎng)絡(luò)世界;2001年

8 李庚辰;網(wǎng)絡(luò)文化亟待建立道德規(guī)范[N];解放軍報;2006年

9 陳維義;端點威脅就像禽流感[N];中國計算機報;2006年

10 本報記者 張旭軍;有線無線統(tǒng)一管理成真[N];網(wǎng)絡(luò)世界;2007年

中國博士學位論文全文數(shù)據(jù)庫 前7條

1 柳爽;復雜網(wǎng)絡(luò)同步控制的若干問題研究[D];上海大學;2015年

2 關(guān)曉蘭;網(wǎng)絡(luò)社會生態(tài)系統(tǒng)形成機理研究[D];北京交通大學;2011年

3 盧宏超;基于蛋白網(wǎng)絡(luò)聚類的基因功能研究[D];中國科學院研究生院（計算技術(shù)研究所）;2006年

4 譚婷婷;網(wǎng)絡(luò)微內(nèi)容推薦方法及支持系統(tǒng)研究[D];華中科技大學;2011年

5 汪榮貴;Bayes網(wǎng)絡(luò)理論及其在目標檢測中應(yīng)用研究[D];合肥工業(yè)大學;2004年

6 易軍;針對不確定非線性對象的網(wǎng)絡(luò)學習控制系統(tǒng)研究[D];上海大學;2007年

7 高建喜;網(wǎng)絡(luò)的網(wǎng)絡(luò)的魯棒性及一致性研究[D];上海交通大學;2012年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 薛慶元;基于興趣的微博網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)[D];北京交通大學;2016年

2 彭軍;藍牙家居控制網(wǎng)絡(luò)的研究與設(shè)計[D];大連理工大學;2006年

3 陸程遂;IMS網(wǎng)絡(luò)DNS欺騙防御方法研究與實現(xiàn)[D];北京交通大學;2009年

4 侯田;基于多目標優(yōu)化算法的網(wǎng)絡(luò)社區(qū)檢測方法研究[D];西安電子科技大學;2012年

5 孫鵬;基于無線網(wǎng)絡(luò)的遠程心電監(jiān)護系統(tǒng)設(shè)計[D];天津理工大學;2012年

6 宋明浩;車載控制網(wǎng)絡(luò)的應(yīng)用節(jié)點設(shè)計與實現(xiàn)[D];清華大學;2005年

7 鐘偉勝;基于網(wǎng)絡(luò)的實時調(diào)度策略研究[D];湖南師范大學;2009年

8 邢曉慶;企業(yè)E-Learning網(wǎng)絡(luò)學習行為分析及研究[D];昆明理工大學;2012年

9 趙新波;網(wǎng)絡(luò)流量趨勢預(yù)測算法及在網(wǎng)管中的應(yīng)用[D];哈爾濱工程大學;2004年

10 楊政安;基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)流量異常檢測系統(tǒng)研究[D];天津大學;2007年

，

本文編號：1033715