本文關(guān)鍵詞：基于DBSCAN的分布式聚類(lèi)及增量聚類(lèi)的研究與應(yīng)用

  更多相關(guān)文章： DBSCAN 分布式聚類(lèi) 增量聚類(lèi) 核密度估計(jì) Storm

【摘要】：隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展,存在于人們?nèi)粘Ｉa(chǎn)生活中的數(shù)據(jù)呈海量式增長(zhǎng)。如何從海量數(shù)據(jù)中挖掘出隱含的信息對(duì)于指導(dǎo)人們的生產(chǎn)生活至關(guān)重要,而聚類(lèi)是數(shù)據(jù)挖掘的重要基礎(chǔ)。目前專(zhuān)家、學(xué)者對(duì)海量數(shù)據(jù)聚類(lèi)進(jìn)行了深入研究并取得了大量成果,但是如何提高海量數(shù)據(jù)的聚類(lèi)效率和聚類(lèi)精度仍是當(dāng)前的研究重點(diǎn)。本文主要工作如下:(1)針對(duì)傳統(tǒng)的DBSCAN(Density-Based Spatial Clustering of Applications with Noise)算法進(jìn)行研究,針對(duì)其內(nèi)存消耗嚴(yán)重以及對(duì)參數(shù)敏感的不足,提出了基于DBSCAN和核密度估計(jì)的分布式聚類(lèi)算法。該算法將海量數(shù)據(jù)分發(fā)到多個(gè)節(jié)點(diǎn)上,然后在每個(gè)節(jié)點(diǎn)上采用核密度估計(jì)方法得到本節(jié)點(diǎn)最優(yōu)參數(shù)Eps和MinPts,根據(jù)所得參數(shù)進(jìn)行局部聚類(lèi),最后提取所有局部聚類(lèi)結(jié)果中的核心對(duì)象、邊界信息和噪聲點(diǎn)按照合并規(guī)則進(jìn)行合并,得到最終聚類(lèi)結(jié)果。實(shí)驗(yàn)結(jié)果表明,該算法不僅提高聚類(lèi)效率,同時(shí)改善了聚類(lèi)質(zhì)量。(2)針對(duì)當(dāng)前聚類(lèi)算法在增量數(shù)據(jù)聚類(lèi)過(guò)程中的效率問(wèn)題,提出了基于DBSCAN的增量聚類(lèi)算法。面對(duì)不斷增長(zhǎng)的海量數(shù)據(jù),該算法只對(duì)增量數(shù)據(jù)進(jìn)行聚類(lèi),然后將聚類(lèi)結(jié)果按照密度可達(dá)規(guī)則納入到初始聚類(lèi)結(jié)果當(dāng)中,得到最終聚類(lèi)結(jié)果。增量聚類(lèi)算法避免了增量數(shù)據(jù)聚類(lèi)過(guò)程中初始數(shù)據(jù)的“二次聚類(lèi)”問(wèn)題,從而大大提高了增量數(shù)據(jù)的聚類(lèi)效率。(3)在分布式聚類(lèi)算法和增量聚類(lèi)算法的基礎(chǔ)上,結(jié)合分布式框架Storm,實(shí)現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)聚類(lèi)系統(tǒng)。該系統(tǒng)從各個(gè)站點(diǎn)的網(wǎng)絡(luò)設(shè)備中采集原始網(wǎng)絡(luò)數(shù)據(jù),然后對(duì)這些原始網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行清洗過(guò)濾和預(yù)處理,將其轉(zhuǎn)化成可用于聚類(lèi)的標(biāo)準(zhǔn)數(shù)據(jù)格式,最后對(duì)這些海量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分布式聚類(lèi)和增量聚類(lèi),生成聚類(lèi)結(jié)果。該系統(tǒng)完成了網(wǎng)絡(luò)流量數(shù)據(jù)的一站式聚類(lèi)處理,實(shí)現(xiàn)了對(duì)海量網(wǎng)絡(luò)數(shù)據(jù)穩(wěn)定、高效地聚類(lèi)分析。
【關(guān)鍵詞】：DBSCAN 分布式聚類(lèi) 增量聚類(lèi) 核密度估計(jì) Storm
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP311.13
【目錄】：

• 摘要4-5
• Abstract5-10
• 第1章 緒論10-16
• 1.1 研究背景和意義10-11
• 1.1.1 研究背景10
• 1.1.2 研究意義10-11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀11-13
• 1.2.1 國(guó)內(nèi)研究現(xiàn)狀11-12
• 1.2.2 國(guó)外研究現(xiàn)狀12-13
• 1.3 主要研究?jī)?nèi)容13-14
• 1.4 論文結(jié)構(gòu)14-16
• 第2章 背景知識(shí)與相關(guān)技術(shù)16-26
• 2.1 聚類(lèi)算法定義16
• 2.2 傳統(tǒng)聚類(lèi)算法分類(lèi)16-17
• 2.3 DBSCAN算法17-21
• 2.3.1 主要思想17
• 2.3.2 相關(guān)概念17-19
• 2.3.3 實(shí)現(xiàn)過(guò)程19-21
• 2.4 分布式計(jì)算21-25
• 2.4.1 基本定義21
• 2.4.2 Storm框架21-25
• 2.5 增量聚類(lèi)算法概述25
• 2.6 本章小結(jié)25-26
• 第3章 基于DBSCAN和核密度估計(jì)的分布式聚類(lèi)算法26-38
• 3.1 算法總體設(shè)計(jì)26-28
• 3.2 算法具體流程28-31
• 3.2.1 數(shù)據(jù)分發(fā)28
• 3.2.2 局部聚類(lèi)28-29
• 3.2.3 聚類(lèi)合并29-31
• 3.3 參數(shù)本地化策略31-33
• 3.3.1 核密度估計(jì)31-32
• 3.3.2 參數(shù)自適應(yīng)確定32-33
• 3.4 算法復(fù)雜度分析33-34
• 3.5 實(shí)驗(yàn)分析34-37
• 3.5.1 聚類(lèi)準(zhǔn)確率實(shí)驗(yàn)34-37
• 3.5.2 聚類(lèi)效率實(shí)驗(yàn)37
• 3.6 本章小結(jié)37-38
• 第4章 基于DBSCAN的增量聚類(lèi)算法38-48
• 4.1 增量聚類(lèi)算法流程設(shè)計(jì)38-39
• 4.2 算法合并規(guī)則和實(shí)現(xiàn)過(guò)程39-44
• 4.2.1 增量合并規(guī)則39-43
• 4.2.2 算法實(shí)現(xiàn)過(guò)程43-44
• 4.3 算法復(fù)雜度分析44
• 4.4 實(shí)驗(yàn)分析44-47
• 4.4.1 可行性實(shí)驗(yàn)45-46
• 4.4.2 高效性實(shí)驗(yàn)46-47
• 4.5 本章小結(jié)47-48
• 第5章 基于分布式增量聚類(lèi)算法的網(wǎng)絡(luò)數(shù)據(jù)聚類(lèi)系統(tǒng)實(shí)現(xiàn)48-64
• 5.1 系統(tǒng)整體架構(gòu)48-49
• 5.2 數(shù)據(jù)采集49-51
• 5.2.1 分布式采集49-50
• 5.2.2 數(shù)據(jù)緩存50-51
• 5.3 數(shù)據(jù)預(yù)處理51-56
• 5.3.1 數(shù)據(jù)過(guò)濾清洗51-54
• 5.3.2 流量特征統(tǒng)計(jì)54-56
• 5.4 分布式增量聚類(lèi)56-63
• 5.4.1 聚類(lèi)模塊的設(shè)計(jì)57-58
• 5.4.2 數(shù)據(jù)分發(fā)58
• 5.4.3 局部參數(shù)確認(rèn)58
• 5.4.4 局部聚類(lèi)58-60
• 5.4.5 聚類(lèi)合并60-62
• 5.4.6 增量聚類(lèi)62-63
• 5.5 本章小結(jié)63-64
• 結(jié)論64-66
• 參考文獻(xiàn)66-70
• 攻讀碩士學(xué)位期間所發(fā)表的學(xué)術(shù)論文70-72
• 致謝72

，

本文編號(hào)：577852