目前,股票交易、路況實時監(jiān)控和網(wǎng)絡(luò)入侵檢測等領(lǐng)域產(chǎn)生了海量的、按照時間持續(xù)到達的、實時動態(tài)變化的數(shù)據(jù)流。鑒于數(shù)據(jù)流不同于傳統(tǒng)靜態(tài)數(shù)據(jù)集,因此適合傳統(tǒng)靜態(tài)數(shù)據(jù)集挖掘的聚類算法已不能對其有效聚類。所以眾多專家根據(jù)數(shù)據(jù)流的特點,研發(fā)了許多面向數(shù)據(jù)流的聚類算法。其中,基于密度的數(shù)據(jù)流聚類算法DenStream由于能夠發(fā)現(xiàn)任意形狀簇和有效處理離群點,得到廣泛應(yīng)用。但是,該算法既不支持分布式并行計算,又不支持指定時間窗口內(nèi)實時數(shù)據(jù)流的演化分析,因此需要進一步改進,以提高算法的性能。針對DenStream算法不支持分布式并行計算的缺點,提出了分布式數(shù)據(jù)流聚類算法D-DenStream,將算法分成微簇初始化、在線微簇維護和離線聚類三個步驟執(zhí)行,其中在線微簇維護包括局部點實時更新和全局點合并兩個階段,在各局部點實時并行更新微簇,以實現(xiàn)分布式并行計算,在全局點合并微簇,以得到全局微簇。然后為了提高D-DenStream算法的處理效率,將其部署到Storm集群環(huán)境中。最后設(shè)計對比實驗驗證D-DenStream算法的聚類質(zhì)量和處理效率。實驗結(jié)果表明,D-DenStream算法具有同DenStream算法相近的... 

【文章來源】：山東理工大學(xué)山東省

【文章頁數(shù)】：71 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 論文的主要研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 數(shù)據(jù)流挖掘與聚類
    2.1 數(shù)據(jù)挖掘與數(shù)據(jù)流挖掘概述
        2.1.1 數(shù)據(jù)挖掘
        2.1.2 數(shù)據(jù)流模型
        2.1.3 數(shù)據(jù)流挖掘
        2.1.4 數(shù)據(jù)流挖掘的窗口模型
        2.1.5 數(shù)據(jù)流挖掘的實現(xiàn)技術(shù)
    2.2 聚類與數(shù)據(jù)流聚類概述
        2.2.1 聚類
        2.2.2 聚類算法
        2.2.3 數(shù)據(jù)流聚類算法
    2.3 基于密度的數(shù)據(jù)流聚類算法DenStream
        2.3.1 基本概念與性質(zhì)
        2.3.2 DenStream算法描述
        2.3.3 DenStream算法的不足
    2.4 分布式實時計算系統(tǒng)
        2.4.1 分布式實時計算系統(tǒng)介紹
        2.4.2 各系統(tǒng)的對比分析
    2.5 本章小結(jié)
第三章 分布式數(shù)據(jù)流聚類算法及其基于STORM的實現(xiàn)
    3.1 分布式數(shù)據(jù)流聚類算法D-DenStream
        3.1.1 D-DenStream算法的主要思想
        3.1.2 D-DenStream算法描述
    3.2 基于Storm的 D-DenStream算法方案設(shè)計
        3.2.1 基于Storm的 D-DenStream算法的關(guān)鍵問題
        3.2.2 基于Storm的 D-DenStream算法方案設(shè)計
    3.3 實驗與結(jié)果分析
        3.3.1 實驗環(huán)境
        3.3.2 環(huán)境搭建
        3.3.3 實驗結(jié)果分析
    3.4 本章小結(jié)
第四章 基于傾斜時間窗口的數(shù)據(jù)流聚類算法
    4.1 基于傾斜時間窗口的數(shù)據(jù)流聚類算法TTW-DenStream
        4.1.1 基本概念與性質(zhì)
        4.1.2 TTW-DenStream算法的主要思想
        4.1.3 TTW-DenStream算法描述
    4.2 TTW-DenStream算法的分布式方案設(shè)計
    4.3 基于Storm的分布式TTW-DenStream算法方案設(shè)計
    4.4 實驗與結(jié)果分析
        4.4.1 實驗環(huán)境
        4.4.2 ElasticSearch環(huán)境搭建
        4.4.3 實驗結(jié)果分析
    4.5 TTW-DenStream算法在載客熱點分析中的應(yīng)用
    4.6 本章小結(jié)
第五章 總結(jié)與展望
    5.1 本文小結(jié)
    5.2 未來展望
參考文獻
在讀期間公開發(fā)表的論文
致謝


【參考文獻】：
期刊論文
[1]基于降維和支持向量機的醫(yī)學(xué)診斷[J]. 張蕾,何萍,榮靜.  計算機時代. 2018(11)
[2]關(guān)聯(lián)規(guī)則挖掘及其在銀行金融服務(wù)中的應(yīng)用研究[J]. 王培靜,趙乃萱,王培吉.  時代金融. 2018(29)
[3]一種改進的K-means算法[J]. 尹寶勇,吳斌,劉建生.  江西理工大學(xué)學(xué)報. 2018(05)
[4]聚類算法綜述[J]. 王玉晗,羅鄧三郎.  科技資訊. 2018(24)
[5]聚類算法及其在護理管理中的應(yīng)用研究[J]. 降惠.  軟件工程. 2018(03)
[6]改進的DBSCAN聚類和LAOF兩階段混合數(shù)據(jù)離群點檢測方法[J]. 石鴻雁,馬曉娟.  小型微型計算機系統(tǒng). 2018(01)
[7]一種多維多粒度用戶興趣模型研究[J]. 陳輝.  小型微型計算機系統(tǒng). 2017(12)
[8]基于關(guān)聯(lián)規(guī)則算法的數(shù)據(jù)挖掘技術(shù)分析與研究[J]. 池云.  電腦編程技巧與維護. 2017(21)
[9]數(shù)據(jù)挖掘中的分類算法綜述[J]. 魏茂勝.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2017(06)
[10]聚類算法研究綜述[J]. 陳新泉,周靈晶,劉耀中.  集成技術(shù). 2017(03)

博士論文
[1]數(shù)據(jù)流聚類算法研究[D]. 萬仁霞.東華大學(xué) 2010
[2]數(shù)據(jù)流挖掘若干關(guān)鍵技術(shù)研究[D]. 吳楓.國防科學(xué)技術(shù)大學(xué) 2009
[3]流數(shù)據(jù)的頻繁項挖掘及聚類的關(guān)鍵技術(shù)研究[D]. 屠莉.南京航空航天大學(xué) 2009

碩士論文
[1]基于密度的數(shù)據(jù)流聚類算法研究[D]. 李省委.西安電子科技大學(xué) 2017
[2]基于出租汽車軌跡數(shù)據(jù)的城市載客熱點區(qū)域挖掘發(fā)現(xiàn)及空間活動特征研究[D]. 趙玲.長安大學(xué) 2017
[3]分布式流處理關(guān)鍵技術(shù)研究與應(yīng)用[D]. 熊俊杰.電子科技大學(xué) 2017
[4]基于大數(shù)據(jù)Hadoop平臺的出租車載客熱點區(qū)域挖掘研究[D]. 王鄭委.北京交通大學(xué) 2016
[5]基于云計算的出租車軌跡數(shù)據(jù)挖掘研究[D]. 張博.西安電子科技大學(xué) 2014
[6]基于空間聚類和Weka平臺的出租車載客熱點區(qū)域挖掘研究[D]. 劉盼盼.吉林大學(xué) 2014
[7]基于熱點載客區(qū)域的出租車應(yīng)急調(diào)度方案研究[D]. 溫雅靜.北京交通大學(xué) 2014
[8]數(shù)據(jù)流挖掘算法研究[D]. 何相志.電子科技大學(xué) 2008



本文編號：3154059