針對(duì)傳統(tǒng)的社團(tuán)發(fā)現(xiàn)算法存在生成結(jié)果冗余、復(fù)雜度高、大量迭代計(jì)算、沒(méi)有考慮地理位置信息等問(wèn)題,提出一種改進(jìn)的社團(tuán)發(fā)現(xiàn)算法SIACD（on Spark use Improved Apriori to achieve Community Detection algorithm）,通過(guò)改進(jìn)關(guān)聯(lián)規(guī)則算法在Spark集群上挖掘無(wú)線城市中的社團(tuán)數(shù)據(jù)。首先,為解決傳統(tǒng)的社團(tuán)發(fā)現(xiàn)算法未考慮地理位置信息的問(wèn)題,SIACD算法選用無(wú)線城市中MAC地址數(shù)據(jù),并將該數(shù)據(jù)映射到布爾矩陣中進(jìn)行數(shù)據(jù)預(yù)處理。其次,為解決傳統(tǒng)的社團(tuán)發(fā)現(xiàn)算法復(fù)雜度高及大量迭代計(jì)算的問(wèn)題,SIACD算法利用基于項(xiàng)數(shù)的布爾向量交運(yùn)算改進(jìn)Apriori算法,減少非關(guān)鍵計(jì)算。最后,SIACD算法利用Spark基于內(nèi)存計(jì)算的特性,在Spark集群平臺(tái)上實(shí)現(xiàn)該算法的并行化計(jì)算。實(shí)驗(yàn)結(jié)果表明,傳統(tǒng)的社團(tuán)發(fā)現(xiàn)算法及Apriori算法均不滿足大數(shù)據(jù)時(shí)代對(duì)計(jì)算速度的要求,SIACD算法能有效挖掘社團(tuán)成員的頻繁項(xiàng)集,具備可擴(kuò)展性及并行化性能,解決了生成結(jié)果冗余、復(fù)雜度高、迭代計(jì)算等問(wèn)題,對(duì)大數(shù)據(jù)的處理能力和計(jì)算效率更好。SIACD算法性能優(yōu)勢(shì)明顯,降低了計(jì)算時(shí)... 

【文章來(lái)源】：遼寧工程技術(shù)大學(xué)遼寧省

【文章頁(yè)數(shù)】：59 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

CS算法圖解

遼寧工程技術(shù)大學(xué)碩士學(xué)位論文72.1.3T-CS算法針對(duì)CS算法在權(quán)重排序過(guò)程中生成大量冗余的邊和團(tuán)的問(wèn)題。文獻(xiàn)[27]提出了一種基于樹的T-CS算法，該算法從二叉樹的邊存儲(chǔ)結(jié)構(gòu)，預(yù)先權(quán)重排序，有序團(tuán)搜素等方面CS算法進(jìn)行改進(jìn)。T-CS算法在結(jié)果準(zhǔn)確性的前提下，并解決了CS算法權(quán)重排序過(guò)程生成結(jié)果冗余的問(wèn)題，同時(shí)也延續(xù)了CS算法優(yōu)勢(shì)。（1）特殊二叉樹存儲(chǔ)定義2.5連接節(jié)點(diǎn)：由左指針（向左子樹）leftpoint、右指針（向右子樹）rightpoint、節(jié)點(diǎn)名nodename、連接該節(jié)點(diǎn)的邊數(shù)edagenumber四部分組成。定義2.6邊節(jié)點(diǎn)：由左指針、節(jié)點(diǎn)名、權(quán)重weight、標(biāo)志位flag（flag=1表示未遍歷）四部分組成。定義2.7特殊的二叉樹：由leftpoint、rightpoint、nodename、edagenumber、weight、flag組成，即由連接節(jié)點(diǎn)和邊節(jié)點(diǎn)組成。根節(jié)點(diǎn)作為連接節(jié)點(diǎn)。連接節(jié)點(diǎn)的左子樹為邊節(jié)點(diǎn)，右子樹為連接節(jié)點(diǎn)。邊節(jié)點(diǎn)的左子樹為邊節(jié)點(diǎn)。特殊二叉樹及其對(duì)應(yīng)的無(wú)向有權(quán)圖如圖2.2和圖2.3所示。圖2.2特殊二叉樹Figure2.2Specialbinarytrees圖2.3無(wú)向有權(quán)圖Figure2.3Undirectedweightedgraphs如圖2.2所示，根節(jié)點(diǎn)A為連接節(jié)點(diǎn)，A的左子樹為邊節(jié)點(diǎn)C，A的右子樹為連接節(jié)點(diǎn)B，C的左子樹為邊節(jié)點(diǎn)E，E左子樹為空，B的左子樹為邊節(jié)點(diǎn)C，C的左子樹為邊節(jié)點(diǎn)D，D的左子樹為空。

無(wú)向有權(quán)圖

【參考文獻(xiàn)】：
期刊論文
[1]試論全媒體時(shí)代的電視媒體變革:互聯(lián)網(wǎng)+[J]. 李煥征,李聰.  當(dāng)代電視. 2019(01)
[2]關(guān)聯(lián)分析在學(xué)生成績(jī)數(shù)據(jù)挖掘的應(yīng)用[J]. 狄曉嬌.  電腦知識(shí)與技術(shù). 2018(34)
[3]無(wú)線城市社團(tuán)發(fā)現(xiàn)的研究——在Spark上利用改進(jìn)關(guān)聯(lián)規(guī)則實(shí)現(xiàn)社團(tuán)發(fā)現(xiàn)的算法[J]. 王永貴,徐山珊,肖成龍.  計(jì)算機(jī)科學(xué)與探索. 2019(09)
[4]改進(jìn)CPM的移動(dòng)通信用戶關(guān)系圈挖掘[J]. 陳少權(quán),杜翠鳳.  移動(dòng)通信. 2018(04)
[5]基于Spark無(wú)線城市社團(tuán)發(fā)現(xiàn)算法的研究[J]. 王永貴,徐山珊,肖成龍.  計(jì)算機(jī)應(yīng)用研究. 2018(12)
[6]一種基于Newman快速算法改進(jìn)的社團(tuán)劃分算法[J]. 付常雷.  計(jì)算機(jī)技術(shù)與發(fā)展. 2018(01)
[7]一種基于結(jié)構(gòu)信息的改進(jìn)CNM算法[J]. 呂振,李蘇雪,張傳亭,袁東風(fēng).  山東大學(xué)學(xué)報(bào)(工學(xué)版). 2017(01)
[8]基于Spark的并行頻繁模式挖掘算法[J]. 曹博,倪建成,李淋淋,于蘋蘋,姚彬修.  計(jì)算機(jī)工程與應(yīng)用. 2016(20)
[9]IABS:一個(gè)基于Spark的Apriori改進(jìn)算法[J]. 閆夢(mèng)潔,羅軍,劉建英,侯傳旺.  計(jì)算機(jī)應(yīng)用研究. 2017(08)
[10]基于Hadoop的關(guān)聯(lián)規(guī)則挖掘算法研究——以Apriori算法為例[J]. 劉木林,朱慶華.  計(jì)算機(jī)技術(shù)與發(fā)展. 2016(07)

碩士論文
[1]基于數(shù)據(jù)挖掘的稅收?qǐng)?zhí)法督察選案方法的研究與應(yīng)用[D]. 劉笑笑.湖北大學(xué) 2018
[2]復(fù)雜網(wǎng)絡(luò)重疊社團(tuán)發(fā)現(xiàn)算法研究[D]. 鄧國(guó)亮.蘭州大學(xué) 2018
[3]基于Spark的高考推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 孟真.山東師范大學(xué) 2017
[4]復(fù)雜網(wǎng)絡(luò)重疊社團(tuán)劃分算法研究與實(shí)現(xiàn)[D]. 康曉慧.電子科技大學(xué) 2016
[5]基于邊聚類的加權(quán)網(wǎng)絡(luò)社團(tuán)發(fā)現(xiàn)算法研究[D]. 詹治海.華南理工大學(xué) 2015
[6]社交網(wǎng)絡(luò)中基于地理位置特征的社團(tuán)發(fā)現(xiàn)方法研究與實(shí)現(xiàn)[D]. 蔣江濤.北京航空航天大學(xué) 2014



本文編號(hào)：3139601