本文關(guān)鍵詞：制造物聯(lián)海量數(shù)據(jù)流模式挖掘算法研究

  更多相關(guān)文章： IOMT 頻繁項(xiàng)挖掘 Hadoop 閉頻繁項(xiàng) 海量數(shù)據(jù)流

【摘要】：制造物聯(lián)(Internet of Manufacturing Things, IOMT)是一種新型的制造與信息融合的生態(tài)系統(tǒng),將嵌入式、RFID、網(wǎng)絡(luò)、傳感器及執(zhí)行器等制造技術(shù)與電子信息技術(shù)相融合,實(shí)現(xiàn)對(duì)產(chǎn)品設(shè)計(jì)、制造與服務(wù)過程中信息資源與制造資源的動(dòng)態(tài)感知、智能處理、海量挖掘、與優(yōu)化控制的一種新型的信息服務(wù)模式與制造模式。IOMT部署了大量的感知節(jié)點(diǎn)在現(xiàn)場來實(shí)時(shí)監(jiān)控生產(chǎn)環(huán)境情況等,產(chǎn)生了海量的分布式制造數(shù)據(jù)流以及海量制造數(shù)據(jù)。傳統(tǒng)的頻繁模式挖掘算法無法滿足當(dāng)前制造物聯(lián)的應(yīng)用要求,因此設(shè)計(jì)高效可行的頻繁模式挖掘算法挖掘出有用知識(shí)就成為了新的挑戰(zhàn)。本文著重分析了IOMT內(nèi)產(chǎn)生的制造數(shù)據(jù)數(shù)量巨大和實(shí)時(shí)數(shù)據(jù)流海量分布的特點(diǎn),在對(duì)現(xiàn)有的數(shù)據(jù)流頻繁模式挖掘算法進(jìn)行深入研究的基礎(chǔ)上,提出并設(shè)計(jì)了面向IOMT這個(gè)特定環(huán)境下的海量數(shù)據(jù)流頻繁模式挖掘的高效算法,并通過實(shí)驗(yàn)仿真驗(yàn)證其高效性。本文的主要工作概括如下：(1)分析了傳統(tǒng)的頻繁項(xiàng)集挖掘算法以及數(shù)據(jù)流頻繁模式挖掘算法,并結(jié)合制造物聯(lián)中產(chǎn)生的數(shù)據(jù)特性,綜合分析它們的優(yōu)缺點(diǎn)。(2)針對(duì)制造物聯(lián)制造數(shù)據(jù)海量的特點(diǎn),而傳統(tǒng)的Aprioir算法面向海量數(shù)據(jù)挖掘效率低的問題,本文提出了一種基于MapReduce的高效頻繁模式挖掘算法。該算法首先采用AprioriTid算法來對(duì)原始的數(shù)據(jù)進(jìn)行預(yù)處理,刪除所有的低頻1-項(xiàng)集,然后計(jì)算出每次處理集(L)和最小支持度(N)的長度來確定Map操作結(jié)束后的最大合并項(xiàng)候選集。算法減少了Map任務(wù)中低頻項(xiàng)集的生成以及分散主機(jī)間的通信量,通過與已存算法進(jìn)行實(shí)驗(yàn)仿真對(duì)比表明：該算法大大的減少了內(nèi)存的占用,提高了挖掘效率。(3)針對(duì)制造物聯(lián)實(shí)時(shí)產(chǎn)生海量分布式制造流的特點(diǎn),以及感知節(jié)點(diǎn)計(jì)算能力不足和資源有限的問題。本文提出了一種基于MapReduce的數(shù)據(jù)流閉頻繁模式挖掘算法。該算法提出一種改進(jìn)的FP-Tree數(shù)據(jù)結(jié)構(gòu),通過對(duì)分布式節(jié)點(diǎn)構(gòu)建窗口樹IFP-Tree,然后動(dòng)態(tài)的對(duì)IFP-Tree進(jìn)行更新、減枝及挖掘,能夠迅速響應(yīng)查詢請求,返回任意時(shí)間窗口內(nèi)事務(wù)數(shù)據(jù)流的閉頻繁模式集。實(shí)驗(yàn)結(jié)果表明：該算法在保證挖掘結(jié)果準(zhǔn)確性的前提下,有效的縮短了用戶查詢響應(yīng)時(shí)間,且具有很好的可擴(kuò)展性。
【關(guān)鍵詞】：IOMT 頻繁項(xiàng)挖掘 Hadoop 閉頻繁項(xiàng) 海量數(shù)據(jù)流
【學(xué)位授予單位】：廣東工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13
【目錄】：

• 摘要4-5
• ABSTRACT5-13
• 第一章 緒論13-21
• 1.1 課題的研究背景及意義13-16
• 1.1.1 研究背景13-14
• 1.1.2 研究意義14-16
• 1.2 國內(nèi)外研究現(xiàn)狀16-18
• 1.2.1 海量數(shù)據(jù)頻繁模式挖掘算法研究現(xiàn)狀16-17
• 1.2.2 海量分布式數(shù)據(jù)流頻繁模式挖掘算法研究現(xiàn)狀17-18
• 1.3 課題來源及本文主要研究內(nèi)容與結(jié)構(gòu)18-19
• 1.3.1 課題來源18-19
• 1.3.2 本文研究內(nèi)容及創(chuàng)新點(diǎn)19
• 1.4 論文結(jié)構(gòu)19-21
• 第二章 相關(guān)概念及算法分析21-33
• 2.1 數(shù)據(jù)挖掘概述21-22
• 2.2 靜態(tài)數(shù)據(jù)集頻繁模式挖掘算法研究22-27
• 2.2.1 Apriori算法22-24
• 2.2.2 Apriori TID算法24-25
• 2.2.3 FP-Growth算法25-27
• 2.3 動(dòng)態(tài)數(shù)據(jù)流頻繁模式挖掘算法研究27-32
• 2.3.1 傳統(tǒng)數(shù)據(jù)流頻繁模式挖掘算法27-29
• 2.3.2 分布式數(shù)據(jù)流頻繁模式挖掘算法29-32
• 2.4 本章小結(jié)32-33
• 第三章 HADOOP概述33-39
• 3.1 Hadoop簡介33-34
• 3.2 Hadoop分布式文件系統(tǒng)34-36
• 3.2.1 HDFS系統(tǒng)架構(gòu)34-35
• 3.2.2 HDFS性能分析35-36
• 3.3 MapReduce編程模型36-38
• 3.3.1 MapReduce簡介36-37
• 3.3.2 MapReduce工作原理37
• 3.3.3 MapReduce數(shù)據(jù)流程37-38
• 3.4 本章小結(jié)38-39
• 第四章 海量數(shù)據(jù)頻繁模式挖掘算法39-54
• 4.1 問題描述39-41
• 4.2 IFAMR算法41-48
• 4.2.1 算法整體架構(gòu)41-42
• 4.2.2 算法具體流程42-45
• 4.2.3 算法示例45-48
• 4.3 實(shí)驗(yàn)仿真分析48-52
• 4.3.1 實(shí)驗(yàn)配置48-49
• 4.3.2 實(shí)驗(yàn)說明49
• 4.3.3 結(jié)果分析49-52
• 4.4 本章小結(jié)52-54
• 第五章 海量分布式數(shù)據(jù)流閉頻繁模式挖掘算法54-69
• 5.1 問題描述和理論基礎(chǔ)54-59
• 5.1.1 問題描述54-55
• 5.1.2 相關(guān)概念55-57
• 5.1.3 分布式窗口樹57-59
• 5.2 IFPM-DDS算法59-65
• 5.2.1 算法整體架構(gòu)59-60
• 5.2.2 算法具體流程60-65
• 5.3 實(shí)驗(yàn)仿真分析65-68
• 5.3.1 實(shí)驗(yàn)配置和說明65-66
• 5.3.2 結(jié)果分析66-68
• 5.4 本章小結(jié)68-69
• 結(jié)語與展望69-71
• 參考文獻(xiàn)71-75
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文75-76
• 攻讀學(xué)位期間參加的科研項(xiàng)目76-78
• 致謝78

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 唐穎峰;陳世平;;一種面向分布式數(shù)據(jù)流的閉頻繁模式挖掘方法[J];計(jì)算機(jī)應(yīng)用研究;2015年12期

2 何員子;;數(shù)據(jù)挖掘技術(shù)及應(yīng)用[J];信息通信;2014年12期

3 應(yīng)毅;劉亞軍;;MapReduce并行計(jì)算技術(shù)發(fā)展綜述[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2014年04期

4 戴小廷;;關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘算法及其在智能物流中的應(yīng)用分析[J];科技和產(chǎn)業(yè);2014年02期

5 侯瑞春;丁香乾;陶冶;王魯升;井潤環(huán);李建華;;制造物聯(lián)及相關(guān)技術(shù)架構(gòu)研究[J];計(jì)算機(jī)集成制造系統(tǒng);2014年01期

6 姚錫凡;于淼;陳勇;項(xiàng)子燦;;制造物聯(lián)的內(nèi)涵、體系結(jié)構(gòu)和關(guān)鍵技術(shù)[J];計(jì)算機(jī)集成制造系統(tǒng);2014年01期

7 董新華;李瑞軒;周灣灣;王聰;薛正元;廖東杰;;Hadoop系統(tǒng)性能優(yōu)化與功能增強(qiáng)綜述[J];計(jì)算機(jī)研究與發(fā)展;2013年S2期

8 周興華;陸建峰;湯九斌;;基于多線程技術(shù)的數(shù)據(jù)流頻繁模式挖掘[J];計(jì)算機(jī)應(yīng)用;2013年S1期

9 洪月華;;傳感器網(wǎng)絡(luò)分布式數(shù)據(jù)流的頻繁項(xiàng)集挖掘算法[J];計(jì)算機(jī)科學(xué);2013年02期

10 亓開元;韓燕波;趙卓峰;房俊;;支持高并發(fā)數(shù)據(jù)流處理的MapReduce中間結(jié)果緩存[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

，

本文編號(hào)：1109496