頻繁模式挖掘作為數(shù)據(jù)挖掘的基礎(chǔ)任務(wù)一直是數(shù)據(jù)挖掘領(lǐng)域中的研究熱點(diǎn)。近年來(lái),隨著智能終端、互聯(lián)網(wǎng)及無(wú)線傳感器網(wǎng)絡(luò)的快速發(fā)展,社會(huì)生活的各個(gè)領(lǐng)域出現(xiàn)了數(shù)據(jù)的爆炸式增長(zhǎng),這其中既包含傳統(tǒng)靜態(tài)數(shù)據(jù)的海量積累,同時(shí)也存在大規(guī)模動(dòng)態(tài)數(shù)據(jù)流的產(chǎn)生。這無(wú)疑對(duì)頻繁模式挖掘算法提出了更高的要求與挑戰(zhàn)。本文聚焦于頻繁模式挖掘算法,針對(duì)兩種不同的數(shù)據(jù)背景,對(duì)現(xiàn)存的經(jīng)典頻繁模式挖掘算法實(shí)現(xiàn)了改進(jìn)與優(yōu)化,提升了頻繁模式挖掘算法性能。并以企業(yè)智能化運(yùn)維監(jiān)控工作需求為出發(fā)點(diǎn),融合大數(shù)據(jù)處理框架與頻繁模式挖掘算法,實(shí)現(xiàn)了一套分布式集群監(jiān)控系統(tǒng)。本文的主要研究?jī)?nèi)容如下:1.研究基于靜態(tài)數(shù)據(jù)的頻繁模式挖掘算法。針對(duì)經(jīng)典頻繁模式挖掘算法FPGrowth在模式增長(zhǎng)過(guò)程中存在的缺陷,本文了提出一種鏈表模式樹(shù)結(jié)構(gòu)LP-Tree(Linked-list Pattern Tree),并以其為載體提出了一種基于靜態(tài)數(shù)據(jù)的頻繁模式挖掘算法LPTFPM(Linked-list Pattern Tree Frequent Pattern Mining),算法有效地提升了頻繁模式挖掘效率。在此基礎(chǔ)上,結(jié)合Spark分布式計(jì)算框架,設(shè)計(jì)了并行化頻...

【文章頁(yè)數(shù)】：101 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 基于靜態(tài)數(shù)據(jù)的頻繁模式挖掘算法
        1.2.2 基于數(shù)據(jù)流的頻繁模式挖掘算法
        1.2.3 頻繁模式挖掘在系統(tǒng)運(yùn)維監(jiān)控中的應(yīng)用
    1.3 研究?jī)?nèi)容
    1.4 結(jié)構(gòu)安排
第二章 相關(guān)技術(shù)和基礎(chǔ)理論
    2.1 頻繁模式挖掘理論基礎(chǔ)
    2.2 數(shù)據(jù)流處理模型
        2.2.1 數(shù)據(jù)流定義
        2.2.2 基于數(shù)據(jù)流挖掘所面臨的挑戰(zhàn)
        2.2.3 數(shù)據(jù)流挖掘中的常用技術(shù)
    2.3 分布式計(jì)算平臺(tái)
        2.3.1 Hadoop
        2.3.2 Spark
    2.4 本章小結(jié)
第三章 不同數(shù)據(jù)背景下的頻繁模式挖掘算法研究與實(shí)現(xiàn)
    3.1 基于靜態(tài)數(shù)據(jù)的頻繁模式挖掘算法研究與實(shí)現(xiàn)
        3.1.1 FP-Growth算法性能分析
        3.1.2 鏈表模式樹(shù)的結(jié)構(gòu)設(shè)計(jì)
        3.1.3 基于鏈表模式樹(shù)的頻繁模式挖掘算法LPTFPM的設(shè)計(jì)
        3.1.4 基于Spark的并行化頻繁模式挖掘算法PLPTFPM的設(shè)計(jì)
        3.1.5 PLPTFPM算法性能測(cè)試
    3.2 基于動(dòng)態(tài)數(shù)據(jù)流的頻繁模式挖掘算法研究與改進(jìn)
        3.2.1 FP-Stream與 DSTree性能分析
        3.2.2 基于時(shí)間窗口技術(shù)的數(shù)據(jù)流處理模型WDP-Tree的設(shè)計(jì)
        3.2.3 基于Spark Streaming的并行化頻繁模式挖掘算法WDPTMS
        3.2.4 算法性能測(cè)試
    3.3 本章小結(jié)
第四章 基于頻繁模式挖掘的分布式集群監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    4.1 需求分析
    4.2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
        4.2.1 總體設(shè)計(jì)
        4.2.2 開(kāi)發(fā)環(huán)境
        4.2.3 功能模塊設(shè)計(jì)與實(shí)現(xiàn)
    4.3 本章小結(jié)
第五章 系統(tǒng)測(cè)試與結(jié)果分析
    5.1 測(cè)試環(huán)境
    5.2 系統(tǒng)功能測(cè)試
        5.2.1 數(shù)據(jù)采集模塊
        5.2.2 數(shù)據(jù)接收模塊
        5.2.3 數(shù)據(jù)存儲(chǔ)模塊
        5.2.4 數(shù)據(jù)分析模塊
        5.2.5 結(jié)果展示模塊
    5.3 系統(tǒng)測(cè)試結(jié)論
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 論文總結(jié)
    6.2 未來(lái)工作展望
致謝
參考文獻(xiàn)



本文編號(hào)：3783858