本文關(guān)鍵詞：面向時空數(shù)據(jù)的挖掘算法研究　出處：《北方工業(yè)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 大數(shù)據(jù) 高效用項集挖掘 MapReduce 數(shù)據(jù)挖掘 數(shù)據(jù)可視化

【摘要】：隨著社會的進步,各行業(yè)產(chǎn)生的數(shù)據(jù)量日益增大,如何能快速有效的利用這些數(shù)據(jù),發(fā)現(xiàn)其中價值,變得尤為重要。高效用項集挖掘作為數(shù)據(jù)挖掘的一個分支,在許多領(lǐng)域得到應(yīng)用。但由于大數(shù)據(jù)具有數(shù)據(jù)量大、種類多、價值密度低、時效高等特性,這就要求算法具有較高的時空效率。本文提出了基于MapReduce的高效用項集挖掘算法(HUIMR)。算法基于MapReduce框架,能夠適應(yīng)大數(shù)據(jù)環(huán)境。算法分為計數(shù)和挖掘兩個階段,在計數(shù)階段,使用MapReduce并行發(fā)現(xiàn)高事務(wù)加權(quán)效用項目表;在挖掘階段,定義了高事務(wù)加權(quán)效用樹,再基于模式增長策略,使用MapReduce并行挖掘高效用項集�；谛в弥岛鸵延袠撕灥臍v史數(shù)據(jù),本文提出了一種基于效用的并行化隨機森林算法。由于隨機森林是由若干棵決策樹構(gòu)成的,因此并行化隨機森林算法主要包括并行化建立決策樹和調(diào)用決策樹這兩步并行化流程。最后通過匯總各個決策樹的情況,來得到最終的結(jié)果。通過實驗證明,該算法在處理大規(guī)模數(shù)據(jù)集效果良好。論文設(shè)計實現(xiàn)了一套基于高效用項集挖掘的交通預(yù)測可視化系統(tǒng)。該系統(tǒng)以路口的交通數(shù)據(jù)為基礎(chǔ),通過閾值判定、刪除空值等操作,對數(shù)據(jù)進行預(yù)處理,接著將數(shù)據(jù)上傳到分布式文件系統(tǒng),通過利用HUIMR算法,得到高效用項集�；诖隧椉M而進行預(yù)測,并將歷史交通數(shù)據(jù)等信息進行可視化展示。
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.13

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前9條

1 施亮;錢雪忠;;基于MapReduce的約束頻繁項集挖掘算法[J];計算機工程與設(shè)計;2015年10期

2 陸化普;孫智源;屈聞聰;;大數(shù)據(jù)及其在城市智能交通系統(tǒng)中的應(yīng)用綜述[J];交通運輸系統(tǒng)工程與信息;2015年05期

3 宋威;吉紅蕾;李晉宏;;一種高效用項集并行挖掘算法[J];計算機工程與科學(xué);2015年03期

4 劉智慧;張泉靈;;大數(shù)據(jù)技術(shù)研究綜述[J];浙江大學(xué)學(xué)報(工學(xué)版);2014年06期

5 姚登舉;楊靜;詹曉娟;;基于隨機森林的特征選擇算法[J];吉林大學(xué)學(xué)報(工學(xué)版);2014年01期

6 何波;;基于頻繁模式樹的分布式關(guān)聯(lián)規(guī)則挖掘算法[J];控制與決策;2012年04期

7 陳光鵬;楊育彬;高陽;商琳;;一種基于MapReduce的頻繁閉項集挖掘算法[J];模式識別與人工智能;2012年02期

8 錢雪忠;惠亮;;關(guān)聯(lián)規(guī)則中改進FP-tree的最大頻繁模式挖掘算法[J];計算機工程與設(shè)計;2010年21期

9 欒麗華,吉根林;決策樹分類技術(shù)研究[J];計算機工程;2004年09期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 晏承玲;基于模糊理論的城市道路交通狀態(tài)判別研究[D];重慶大學(xué);2013年

2 蔡林霖;隨機森林的模型選擇及其并行化方法[D];哈爾濱工業(yè)大學(xué);2013年

3 朱振興;城市交通數(shù)據(jù)融合與交通態(tài)勢處理方法的研究[D];山東大學(xué);2011年

4 李軍華;云計算及若干數(shù)據(jù)挖掘算法的MapReduce化研究[D];電子科技大學(xué);2010年

5 李洪波;決策森林的子空間選擇和集成優(yōu)化[D];哈爾濱工業(yè)大學(xué);2009年

，

本文編號：1313797