【摘要】：隨著各種各樣的智能終端、傳感設(shè)備的普及,大量的流式數(shù)據(jù)由此產(chǎn)生,這些流式數(shù)據(jù)中蘊(yùn)藏著極大的價(jià)值。但流式數(shù)據(jù)多樣化、時(shí)序性、海量、持續(xù)不斷等特點(diǎn)導(dǎo)致了從其中挖掘出有用信息的難度倍增。聚類分析是數(shù)據(jù)挖掘中的一種方法,它是一種無(wú)監(jiān)督的學(xué)習(xí)方式,它無(wú)需對(duì)數(shù)據(jù)的先驗(yàn)認(rèn)知就可以根據(jù)數(shù)據(jù)間的相似度將數(shù)據(jù)進(jìn)行分組。利用聚類分析可以幫助人們對(duì)這些流式數(shù)據(jù)進(jìn)行分析,發(fā)現(xiàn)其中潛在的價(jià)值。本文主要對(duì)基于快速搜索與密度峰值CFSFDP(Clustering by Fast Search and Find of Density Peaks)聚類算法的不足提出兩點(diǎn)改進(jìn)。第一,針對(duì)CFSFDP算法在選擇聚類中心的時(shí)需要根據(jù)數(shù)據(jù)點(diǎn)的局部密度與距離繪制的決策圖人工輔助選擇的問(wèn)題,引入了簇中心權(quán)值的概念,并利用異常檢測(cè)的思想自動(dòng)選擇聚類中心。將數(shù)據(jù)集的聚類中心視為該數(shù)據(jù)集中的異常點(diǎn),通過(guò)對(duì)各數(shù)據(jù)點(diǎn)的簇中心權(quán)值進(jìn)行異常檢測(cè)自動(dòng)計(jì)算出數(shù)據(jù)集的聚類中心,并且通過(guò)實(shí)驗(yàn)證明了本文提出的聚類中心自動(dòng)選擇的方法與使用決策圖人工輔助選擇聚類中心的方法選擇出的聚類中心一致。第二,針對(duì)CFSFDP算法為減少噪聲對(duì)聚類結(jié)果分析的影響從而對(duì)簇進(jìn)行簇核心與簇光暈的劃分,將噪聲點(diǎn)劃入簇光暈中,但劃分結(jié)果不夠準(zhǔn)確的問(wèn)題,提出了簇內(nèi)局部密度的概念,并重新設(shè)計(jì)了簇核心與簇光暈的劃分標(biāo)準(zhǔn),使得對(duì)簇進(jìn)行簇核心和簇光暈劃分時(shí),處于簇邊緣部分的數(shù)據(jù)點(diǎn)被劃分入簇光暈中的概率降低,從而提高了對(duì)聚類結(jié)果分析的準(zhǔn)確性。最后為了使優(yōu)化后的CFSFDP算法可以應(yīng)用于流式數(shù)據(jù)的場(chǎng)景,本文針對(duì)Spark Streaming平臺(tái)并行化實(shí)現(xiàn)了優(yōu)化后的CFSFDP算法,并通過(guò)實(shí)驗(yàn)對(duì)優(yōu)化后的CFSFDP算法在Spark Streaming平臺(tái)上運(yùn)行的性能進(jìn)行了測(cè)試和分析,得出了優(yōu)化后的CFSFDP算法在Spark Streaming平臺(tái)上運(yùn)行時(shí)的聚類準(zhǔn)確率較好,運(yùn)行時(shí)間可以滿足實(shí)時(shí)性的要求,當(dāng)一個(gè)窗口間隔內(nèi)接收到的數(shù)據(jù)越多時(shí)其加速比和擴(kuò)展比都越大即集群內(nèi)計(jì)算節(jié)點(diǎn)增加帶來(lái)的效益越大的結(jié)論。
【圖文】：

合集就是原數(shù)據(jù)對(duì)象集合［４２］。逡逑雖然根據(jù)實(shí)際應(yīng)用環(huán)境的不同，進(jìn)行聚類分析時(shí)的選取的算法和執(zhí)行的步驟會(huì)略有逡逑不同，但聚類的流程卻是大致相似的。進(jìn)行聚類分析的大致流程如圖２．１所示，它主要逡逑包含以下幾個(gè)步驟［４３］：逡逑（１）

數(shù)據(jù)點(diǎn)之間的距離４S斡肫淥蕕閿脛嗬氳淖畬籩�。辶x希茫疲櫻疲模興惴ǜ菔蕕憔嗬耄び?xùn)V蕕愕木植棵芏戎換嬤憑霾咄跡ü褂鎂霾咤義賢既斯じㄖ∪∈菁木劾嘀行�，粙哳l木霾咄既繽跡玻菜盡＃茫疲櫻疲模興惴ńぶ靛義洗笄遙穡到洗蟮牡閎隙ㄎ氐木劾嘀行模叢誥霾咄賈寫(xiě)τ謨疑轄喬蠐肫淥惴擲朊麇義舷緣牡�。灾R范ㄊ菁木劾嘀行鬧笮枰齙謀憬Ｓ嗟姆薔劾嘀行牡氖蕕惆湊站皺義喜棵芏齲鏈喲蟮叫∫淮位值驕植棵芏缺繞涓咔矣脛嗬胱罱氖蕕闥詰拇刂小Ｔ阱義賢瓿閃朔薔劾嘀行氖蕕愕幕趾蟊愕玫攪順醪降木劾嘟峁�。辶x希玻板危卞危卞危卞五澹保靛危卞危卞危у危卞義希保靛澹鰣義希保板濉齦謀儷桑海鈴義�，r>嚴(yán)：■梊，逡逑：Ａ邋５邐？邋＿逡逑－１５邐Ｕ邐＿邋＿逡逑－２０邐－１０邐０邐１０邐２０邐0邋５邐１０邐１５邐２０邐２５逡逑Ｘ邐ｆ）逡逑ａ）原始數(shù)據(jù)集邐ｂ）決策圖逡逑圖２．２邋ＣＦＳＦＤＰ算法決策圖逡逑ＣＦＳＦＤＰ算法不同于ＤＢＳＣＡＮ等聚類算法，其對(duì)于較低密度的數(shù)據(jù)點(diǎn)沒(méi)有將它們逡逑判定為數(shù)據(jù)集的噪聲，而是為初步聚類得到的每一個(gè)簇引入了一個(gè)光暈的概念，，簇的光逡逑暈中就包含了其他算法中所定義的噪聲以及數(shù)據(jù)集中的離散點(diǎn)。ＣＦＳＦＤＰ算法將一個(gè)簇逡逑ＩＩ逡逑
【學(xué)位授予單位】：南京理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 金建國(guó);;聚類方法綜述[J];計(jì)算機(jī)科學(xué);2014年S2期

2 孫大為;張廣艷;鄭緯民;;大數(shù)據(jù)流式計(jì)算:關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J];軟件學(xué)報(bào);2014年04期

3 嚴(yán)霄鳳;張德馨;;大數(shù)據(jù)研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年04期

4 賀玲;吳玲達(dá);蔡益朝;;數(shù)據(jù)挖掘中的聚類算法綜述[J];計(jì)算機(jī)應(yīng)用研究;2007年01期

5 淦文燕,李德毅;基于核密度估計(jì)的層次聚類算法[J];系統(tǒng)仿真學(xué)報(bào);2004年02期

本文編號(hào)：2677616