【摘要】：在互聯(lián)網(wǎng)科技高度發(fā)達(dá)的今天,大數(shù)據(jù)逐漸成為計(jì)算領(lǐng)域的關(guān)注點(diǎn)和難點(diǎn),具有非常重要的理論意義和研究價(jià)值。復(fù)雜網(wǎng)絡(luò)社區(qū)檢測問題就是當(dāng)前一個(gè)非常重要的研究熱點(diǎn)。為了實(shí)現(xiàn)對復(fù)雜網(wǎng)絡(luò)更高精度和更高效率的社區(qū)檢測,本文主要是采用Hadoop并行計(jì)算平臺(tái)進(jìn)行算法并行化的設(shè)計(jì),目的是有效解決大規(guī)模復(fù)雜網(wǎng)絡(luò)的社區(qū)檢測問題。首先,采用Hadoop平臺(tái)對復(fù)雜網(wǎng)絡(luò)社區(qū)檢測過程進(jìn)行分布式并行計(jì)算模型的設(shè)計(jì),并結(jié)合HDFS模型進(jìn)行復(fù)雜網(wǎng)絡(luò)原始數(shù)據(jù)的并行化社區(qū)檢測劃分,然后結(jié)合HDFS模型并行批處理優(yōu)勢實(shí)現(xiàn)對復(fù)雜網(wǎng)絡(luò)社區(qū)檢測過程的并行化處理。(1)針對復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)采用Hadoop平臺(tái)實(shí)現(xiàn),并在此基礎(chǔ)上實(shí)現(xiàn)對復(fù)雜網(wǎng)絡(luò)的分布式社區(qū)并行發(fā)現(xiàn)。(2)基于Cluster-dp方法原理設(shè)計(jì)的基于秩的中心分散稀疏選擇方法,對于社區(qū)發(fā)現(xiàn)過程的初始種子選取過程進(jìn)行了改進(jìn),實(shí)現(xiàn)了較好的效果。結(jié)合傳統(tǒng)的K-means聚類算法,對復(fù)雜社區(qū)網(wǎng)絡(luò)中的節(jié)點(diǎn)進(jìn)行類別的區(qū)分,實(shí)現(xiàn)社區(qū)結(jié)構(gòu)的有效檢測。專門針對網(wǎng)絡(luò)社區(qū)中的個(gè)體的稀疏關(guān)系,設(shè)計(jì)了一種用于社區(qū)節(jié)點(diǎn)個(gè)體屬性加強(qiáng)的聚類算法,稱為EkNN算法,降低數(shù)據(jù)噪聲對于社區(qū)發(fā)現(xiàn)過程產(chǎn)生的影響。(3)針對復(fù)雜網(wǎng)絡(luò)社區(qū)中的重疊結(jié)構(gòu),考慮采用基于Hadoop框架設(shè)計(jì)并行KNN算法的復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)方法,目的是提高社區(qū)發(fā)現(xiàn)過程的算法性能。設(shè)計(jì)了基于Hadoop并行框架下的Mapreduce-KNN并行聚類算法,實(shí)現(xiàn)了社區(qū)發(fā)現(xiàn)過程的效率提升。(4)針對復(fù)雜網(wǎng)絡(luò)社區(qū)檢測問題,對關(guān)聯(lián)規(guī)則算法進(jìn)行改進(jìn),主要解決關(guān)聯(lián)規(guī)則算法中存在的計(jì)算冗余問題,設(shè)計(jì)了具有單約束的社區(qū)檢測關(guān)聯(lián)規(guī)則算法,同時(shí)為了降低復(fù)雜網(wǎng)絡(luò)社區(qū)檢測算法中的計(jì)算量,本文結(jié)合Hadoop計(jì)算框架中的Mapreduce模型對關(guān)聯(lián)規(guī)則算法進(jìn)行并行化設(shè)計(jì)。實(shí)驗(yàn)結(jié)果顯示,本文所提的復(fù)雜網(wǎng)絡(luò)社區(qū)檢測算法具有更佳的社區(qū)檢測結(jié)果和檢測效率,對于處理互聯(lián)網(wǎng)科技高度發(fā)達(dá)今天的社區(qū)檢測問題具有非常重要的研究價(jià)值。
【圖文】：

HDFS系統(tǒng)

主要執(zhí)行的合并操作，這種操作方式能夠快速提升文件的訪問時(shí)效性enode 還起到對文件系統(tǒng)和訪問控制端之間的訪問速度控制，Nameno用是對客戶端數(shù)據(jù)訪問起到一定的中介和媒介的作用，如果客戶端能統(tǒng)中的元數(shù)據(jù)，則客戶端可實(shí)現(xiàn)對 Datenode 數(shù)據(jù)的有效訪問，并實(shí)現(xiàn) D數(shù)據(jù)的同步寫入。從數(shù)據(jù)的保密性上看，HDSF 系統(tǒng)對于客戶端系統(tǒng)是透明的[79]，，用SF 系統(tǒng)的訪問比較簡單，而從內(nèi)部看，HDSF 系統(tǒng)中的數(shù)據(jù)和文件可表據(jù)塊形式，將這些數(shù)據(jù)信息進(jìn)行單一節(jié)點(diǎn)的存儲(chǔ)。這種存儲(chǔ)方式的優(yōu)以較為完整的保證系統(tǒng)的可靠性，用戶交互過程中無需關(guān)注系統(tǒng)的復(fù)實(shí)現(xiàn)對 HDSF 系統(tǒng)的利用。(2) HBase：該分布式計(jì)算框架實(shí)質(zhì)上是基于 HDSF 系統(tǒng)實(shí)現(xiàn)的，其實(shí) NoSQL 數(shù)據(jù)庫，這種分布式的計(jì)算形式非常適于大數(shù)據(jù)操作對象的動(dòng)。HDSF 系統(tǒng)在結(jié)構(gòu)實(shí)現(xiàn)上同關(guān)系類型的數(shù)據(jù)庫之間存在較為顯著的差對數(shù)據(jù)存儲(chǔ)方式進(jìn)行定義，具有典型的四維結(jié)構(gòu)形式，見圖 2-4 系統(tǒng)示。
【學(xué)位授予單位】：湖北工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP311.13;O157.5

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 蔣盛益;楊博泓;王連喜;;一種基于增量式譜聚類的動(dòng)態(tài)社區(qū)自適應(yīng)發(fā)現(xiàn)算法[J];自動(dòng)化學(xué)報(bào);2015年12期

2 劉海洋;王志海;黃丹;孫艷歌;;基于評分矩陣局部低秩假設(shè)的成列協(xié)同排名算法[J];軟件學(xué)報(bào);2015年11期

3 李春英;湯庸;湯志康;黃泳航;袁成哲;趙劍冬;;面向大規(guī)模學(xué)術(shù)社交網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)模型[J];計(jì)算機(jī)應(yīng)用;2015年09期

4 于海;趙玉麗;崔坤;朱志良;;一種基于交叉熵的社區(qū)發(fā)現(xiàn)算法[J];計(jì)算機(jī)學(xué)報(bào);2015年08期

5 辛宇;楊靜;謝志強(qiáng);;基于數(shù)據(jù)場分析的語義重疊社區(qū)發(fā)現(xiàn)算法[J];中國科學(xué):信息科學(xué);2015年07期

6 張英杰;龔中漢;陳乾坤;;基于免疫離散差分進(jìn)化算法的復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)[J];自動(dòng)化學(xué)報(bào);2015年04期

7 王淑敏;高媛;孫建飛;;興趣社區(qū)引導(dǎo)的機(jī)會(huì)社會(huì)網(wǎng)絡(luò)節(jié)點(diǎn)移動(dòng)模型[J];計(jì)算機(jī)仿真;2015年02期

8 周小平;梁循;張海燕;;基于R-C模型的微博用戶社區(qū)發(fā)現(xiàn)[J];軟件學(xué)報(bào);2014年12期

9 齊立磊;趙丹丹;;基于復(fù)雜網(wǎng)絡(luò)的城市公交系統(tǒng)優(yōu)化研究[J];西南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年07期

10 鄒丹;竇勇;郭松;;基于GPU的稀疏矩陣Cholesky分解[J];計(jì)算機(jī)學(xué)報(bào);2014年07期

本文編號：2710774