本文關(guān)鍵詞：網(wǎng)絡(luò)數(shù)據(jù)的分析方法研究

  更多相關(guān)文章： 復(fù)雜網(wǎng)絡(luò) 譜方法 模塊度 Spark 分布式計算

【摘要】：隨著數(shù)據(jù)的爆炸式的增長,我們已經(jīng)進入大數(shù)據(jù)時代,如何從這些數(shù)據(jù)資源中挖掘出有價值的信息,正在成為工業(yè)界和學(xué)術(shù)界的熱點之一.而網(wǎng)絡(luò)數(shù)據(jù)是一種重要的數(shù)據(jù)形式,通常從各種復(fù)雜系統(tǒng)收集到的數(shù)據(jù)形式是孤立的,將數(shù)據(jù)之間隱含相互關(guān)系的鏈接整合處理后就形成一個復(fù)雜網(wǎng)絡(luò).因此對網(wǎng)絡(luò)數(shù)據(jù)的研究分析是深入理解大數(shù)據(jù)內(nèi)涵價值的途徑之一.本文在第二章綜述了復(fù)雜網(wǎng)絡(luò)的啟發(fā)式社區(qū)發(fā)現(xiàn)方法.考慮含有節(jié)點鄰域信息的新模塊度函數(shù)的社區(qū)發(fā)現(xiàn)方法和最優(yōu)分組下標(biāo)度參數(shù)的選擇問題,通過譜松弛方法求解模塊度函數(shù)的最大化問題,最終利用新算法快速求解,并通過真實網(wǎng)絡(luò)數(shù)據(jù)驗證算法能更好的發(fā)現(xiàn)社區(qū).進一步,要研究龐大數(shù)據(jù)量的網(wǎng)絡(luò)數(shù)據(jù)結(jié)構(gòu)的性質(zhì)與形成機制：必須先實現(xiàn)對于真實網(wǎng)絡(luò)數(shù)據(jù)的獲取,從而驗證算法的有效性.而分布式計算是快速高效處理數(shù)據(jù)的框架,因此開展基于分布式計算框架的數(shù)據(jù)處理是必由之路.本文第三章,面對真實的網(wǎng)絡(luò)數(shù)據(jù),我們實現(xiàn)了從網(wǎng)頁上收集數(shù)據(jù)并對于此數(shù)據(jù)基于Spark分布式計算框架高效快速的完成了對數(shù)據(jù)的清洗與整理.
【關(guān)鍵詞】：復(fù)雜網(wǎng)絡(luò) 譜方法 模塊度 Spark 分布式計算
【學(xué)位授予單位】：西北大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：O157.5;TP311.13
【目錄】：

• 中文摘要3-4
• 英文摘要4-6
• 第一章 緒論6-9
• §1.1 引言6-7
• §1.2 本文主要工作7-9
• 第二章 網(wǎng)絡(luò)數(shù)據(jù)結(jié)構(gòu)的社區(qū)發(fā)現(xiàn)方法9-17
• §2.1 啟發(fā)式社區(qū)發(fā)現(xiàn)方法概述9-10
• §2.2 模塊度函數(shù)Q~(Dist)最大化及算法10-13
• §2.3 實驗13-16
• §2.4 本章小結(jié)16-17
• 第三章 基于Spark框架的網(wǎng)絡(luò)數(shù)據(jù)獲取17-26
• §3.1 分布式計算框架17-19
• §3.2 Spark分布式計算框架19-21
• §3.3 基于Spark的大眾點評數(shù)據(jù)分析21-23
• §3.4 本章小結(jié)23-26
• 總結(jié)與展望26-32
• 參考文獻32-35
• 攻讀碩士學(xué)位期間取得的科研成果35-36
• 致謝36

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前7條

1 朱云溪;;基于數(shù)據(jù)碰撞消除的Web網(wǎng)絡(luò)數(shù)據(jù)蔽障傳輸算法[J];科技通報;2013年10期

2 任世賢;;網(wǎng)絡(luò)數(shù)據(jù)回路異常的科學(xué)發(fā)現(xiàn)[J];自然科學(xué)進展;2008年12期

3 鐘衛(wèi);淺談網(wǎng)絡(luò)數(shù)據(jù)的加密[J];甘肅科技;2005年03期

4 鐘衛(wèi);淺談網(wǎng)絡(luò)數(shù)據(jù)的加密[J];甘肅科技;2005年04期

5 魏英韜;;對通信網(wǎng)絡(luò)數(shù)據(jù)的探討[J];黑龍江科技信息;2011年03期

6 王巖;;多元化計算機網(wǎng)絡(luò)傳輸方式的解析[J];科技資訊;2013年26期

7 ;[J];;年期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 鄧金鵬;;基于IP欺騙技術(shù)網(wǎng)絡(luò)數(shù)據(jù)阻斷的實現(xiàn)[A];科技創(chuàng)新與產(chǎn)業(yè)發(fā)展（A卷）——第七屆沈陽科學(xué)學(xué)術(shù)年會暨渾南高新技術(shù)產(chǎn)業(yè)發(fā)展論壇文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前4條

1 本報駐堪培拉記者 陳小方;澳洲擬展開管控“網(wǎng)絡(luò)數(shù)據(jù)”行動[N];光明日報;2012年

2 劉其丕 李曉飛;環(huán)保型阻燃網(wǎng)絡(luò)數(shù)據(jù)線纜在津推出[N];中國有色金屬報;2005年

3 中國政法大學(xué) 朱巍;從蘋果“后門”看網(wǎng)絡(luò)數(shù)據(jù)侵權(quán)責(zé)任[N];北京日報;2014年

4 記者 于揚;世紀(jì)互聯(lián)為用戶管起防火墻[N];中國計算機報;2001年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前8條

1 楊小芳;網(wǎng)絡(luò)數(shù)據(jù)的可視化研究與實現(xiàn)[D];北京郵電大學(xué);2014年

2 許彥如;考慮偏好的網(wǎng)絡(luò)數(shù)據(jù)可視化分析[D];華東師范大學(xué);2012年

3 張成海;網(wǎng)絡(luò)數(shù)據(jù)的交互可視分析[D];華東師范大學(xué);2015年

4 韓路;網(wǎng)絡(luò)數(shù)據(jù)的分析方法研究[D];西北大學(xué);2015年

5 呂鵬飛;基于LINUX的網(wǎng)絡(luò)數(shù)據(jù)抓取識別系統(tǒng)的設(shè)計與實現(xiàn)[D];青島理工大學(xué);2014年

6 陳明建;高速網(wǎng)絡(luò)數(shù)據(jù)的存儲及內(nèi)容監(jiān)控[D];福州大學(xué);2006年

7 李鵬;高速網(wǎng)絡(luò)數(shù)據(jù)的獲取和還原[D];大連海事大學(xué);2006年

8 李袖;電信3G網(wǎng)絡(luò)數(shù)據(jù)分流的四川師范大學(xué)WLAN設(shè)計與實現(xiàn)[D];電子科技大學(xué);2013年

，

本文編號：1012511