伴隨著社會(huì)信息化的快速發(fā)展,大數(shù)據(jù)的發(fā)展態(tài)勢(shì)也同時(shí)趨于穩(wěn)定性的增長(zhǎng)。其中,數(shù)據(jù)規(guī)模的龐大和類型的多樣化,必然隱含著潛在的知識(shí)信息。當(dāng)今,大數(shù)據(jù)領(lǐng)域里依然存在著“數(shù)據(jù)量豐富,知識(shí)度匱乏”的問題。盡管近幾年的一些學(xué)者提出了知識(shí)庫發(fā)現(xiàn)的相關(guān)研究,但依然無法滿足日益劇增的復(fù)雜性需求。因此,如何將龐大的數(shù)據(jù)資源轉(zhuǎn)化成有價(jià)值的信息,如何有效的提升知識(shí)發(fā)現(xiàn)的效率,如何擴(kuò)展大數(shù)據(jù)分析技術(shù)的研究領(lǐng)域,成為當(dāng)今亟須解決的熱點(diǎn)性問題。針對(duì)這些問題,提出了基于Spark的計(jì)算引擎,對(duì)關(guān)聯(lián)規(guī)則挖掘算法進(jìn)行結(jié)構(gòu)優(yōu)化,并將改進(jìn)策略集成于分布式計(jì)算架構(gòu),同時(shí)能夠解決實(shí)際性問題。論文的主要研究?jī)?nèi)容具有如下四個(gè)部分:首先深入研究了關(guān)聯(lián)規(guī)則的相關(guān)理論,針對(duì)傳統(tǒng)算法的不足,確定優(yōu)化思路。其中引入唯一Prime理論,通過Prime映射將事務(wù)集數(shù)據(jù)化,提升壓縮率。摒棄傳統(tǒng)的HeadTable模式,規(guī)避了多次排序和頻繁模式基遞歸構(gòu)建的時(shí)間消耗。同時(shí)構(gòu)建一種新規(guī)則樹:PNFP-Tree,并以GCD（最大公約數(shù)）模式深度挖掘出頻繁項(xiàng)。針對(duì)Tree的規(guī)模問題,提出了向量剪枝與矩陣壓縮的方式,優(yōu)化整體挖掘效率。其次,提出了一種基于分布式的... 

【文章來源】：東華理工大學(xué)江西省

【文章頁數(shù)】：80 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 主要研究?jī)?nèi)容與創(chuàng)新點(diǎn)
    1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)理論與技術(shù)
    2.1 關(guān)聯(lián)挖掘相關(guān)概念
        2.1.1 數(shù)據(jù)挖掘概述
        2.1.2 關(guān)聯(lián)規(guī)則
    2.2 關(guān)聯(lián)規(guī)則常用算法
        2.2.1 Apriori算法原理
        2.2.2 FP-Growth算法原理
    2.3 分布式計(jì)算架構(gòu)
        2.3.1 基于Hadoop的分布式平臺(tái)
        2.3.2 Spark分布式計(jì)算引擎
        2.3.3 Spark與 MapReduce的對(duì)比分析
    2.4 本章小結(jié)
第3章 關(guān)聯(lián)挖掘算法的優(yōu)化策略
    3.1 頻繁模式算法分析與改進(jìn)思路
    3.2 基于唯一素?cái)?shù)理論的算法設(shè)計(jì)
        3.2.1 素?cái)?shù)理論概述
        3.2.2 基于唯一素?cái)?shù)的事務(wù)數(shù)據(jù)集轉(zhuǎn)換
    3.3 PNFP-tree的算法構(gòu)建
        3.3.1 定義PNFP-Tree數(shù)據(jù)結(jié)構(gòu)
        3.3.2 構(gòu)建PNFP-Tree
        3.3.3 向量剪枝與矩陣壓縮策略
    3.4 GCD模式挖掘與PNFPM算法優(yōu)化
    3.5 權(quán)值均衡分組策略
    3.6 本章小結(jié)
第4章 基于Spark的 PNFPM算法優(yōu)化與構(gòu)建
    4.1 基于Spark分布式的關(guān)聯(lián)挖掘算法優(yōu)化策略
    4.2 動(dòng)態(tài)流式數(shù)據(jù)過濾與TV數(shù)據(jù)集算法構(gòu)建
        4.2.1 動(dòng)態(tài)流式數(shù)據(jù)過濾
        4.2.2 構(gòu)建TV數(shù)據(jù)集算法
    4.3 基于Spark的 PNFP-tree構(gòu)建與剪枝壓縮算法
        4.3.1 構(gòu)造PNFP-tree算法
        4.3.2 向量剪枝與矩陣壓縮算法
    4.4 基于Spark的權(quán)值分組與GCD模式挖掘的優(yōu)化
    4.5 實(shí)驗(yàn)對(duì)比分析
        4.5.1 TV數(shù)據(jù)集轉(zhuǎn)換的緊密性分析
        4.5.2 PNFPM算法性能分析
    4.6 本章小結(jié)
第5章 基于Spark的 PNFPM算法在綜治工作中的決策應(yīng)用
    5.1 網(wǎng)格化綜治工作的場(chǎng)景應(yīng)用需求分析
    5.2 PNFPM關(guān)聯(lián)算法的多準(zhǔn)則決策挖掘研究
        5.2.1 關(guān)聯(lián)挖掘分析與多準(zhǔn)則決策過程
        5.2.2 結(jié)果分析
    5.3 本章小結(jié)
第6章 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 未來展望
致謝
攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)論文
參考文獻(xiàn)


【參考文獻(xiàn)】：
期刊論文
[1]利用spss軟件分析校園霸凌事件的發(fā)生規(guī)律以及預(yù)防[J]. 趙楠,王昕,李英娜,吳晟.  軟件. 2018(01)
[2]戰(zhàn)術(shù)導(dǎo)彈數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)及其關(guān)鍵技術(shù)[J]. 馬艷.  計(jì)算機(jī)測(cè)量與控制. 2017(11)
[3]數(shù)據(jù)挖掘隱私保護(hù)算法研究綜述[J]. 方躍堅(jiān),朱錦鐘,周文,李同亮.  信息網(wǎng)絡(luò)安全. 2017(02)
[4]一種結(jié)合散列與位表挖掘頻繁項(xiàng)目集算法[J]. 任永功,宋奎勇,寇香霞.  計(jì)算機(jī)科學(xué). 2010(12)
[5]一種最大壓縮誤差可控的高光譜圖像壓縮算法[J]. 宮久路,諶德榮,曹旭平,弓宇.  宇航學(xué)報(bào). 2009(06)
[6]基于粗糙集理論的邊坡穩(wěn)定性評(píng)價(jià)中因素權(quán)重確定方法的研究[J]. 王廣月,崔海麗,李倩.  巖土力學(xué). 2009(08)

博士論文
[1]人工免疫算法的優(yōu)化及其關(guān)鍵問題研究[D]. 舒萬能.武漢大學(xué) 2013

碩士論文
[1]分布式環(huán)境下數(shù)字地形分析并行化算法研究[D]. 夏燈城.中國地質(zhì)大學(xué) 2018
[2]基于改進(jìn)的個(gè)性化混合推薦算法的研究[D]. 鐘良月.浙江工商大學(xué) 2018
[3]基于大數(shù)據(jù)平臺(tái)的流連接算法及并行化研究[D]. 郎賢波.南京郵電大學(xué) 2017
[4]基于知識(shí)遷移的跨領(lǐng)域推薦算法研究[D]. 李林峰.北京交通大學(xué) 2017
[5]基于Spark平臺(tái)大數(shù)據(jù)推薦系統(tǒng)的研究[D]. 孟雅格.西安電子科技大學(xué) 2017
[6]MIMO-OFDM電力線通信系統(tǒng)中的次優(yōu)信號(hào)檢測(cè)算法研究[D]. 張杰.安徽工業(yè)大學(xué) 2017
[7]開放域事件抽取關(guān)鍵技術(shù)研究[D]. 蘇曉丹.解放軍信息工程大學(xué) 2017
[8]Hadoop環(huán)境下近似概念格的并行構(gòu)造算法研究[D]. 譚富林.昆明理工大學(xué) 2017
[9]基于FGBDT算法的貸款概率預(yù)測(cè)系統(tǒng)[D]. 胡紅祥.中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院) 2017
[10]數(shù)據(jù)挖掘技術(shù)在人力資源需求預(yù)測(cè)中的應(yīng)用研究[D]. 吳紫薇.華北電力大學(xué) 2017



本文編號(hào)：3198114