本文關(guān)鍵詞：基于HADOOP平臺(tái)的并行關(guān)聯(lián)規(guī)則算法研究　出處：《天津工業(yè)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 數(shù)據(jù)挖掘 關(guān)聯(lián)規(guī)則 Hadoop 矩陣

【摘要】：在數(shù)據(jù)挖掘研究領(lǐng)域中,關(guān)聯(lián)規(guī)則算法因其具有目的明確、實(shí)現(xiàn)靈活、應(yīng)用范圍廣泛等特點(diǎn)成為挖掘數(shù)據(jù)深層價(jià)值的重要手段。在大數(shù)據(jù)時(shí)代,如何能夠以更低的成本以及更高效準(zhǔn)確的從海量數(shù)據(jù)中挖掘出有價(jià)值的信息,以幫助決策者更加科學(xué)的制定決策已成為數(shù)據(jù)挖掘領(lǐng)域的新課題。云計(jì)算的出現(xiàn)為海量數(shù)據(jù)挖掘帶來了新的解決方案。Hadoop是由Apache基金會(huì)開源實(shí)現(xiàn)的一種云計(jì)算技術(shù),,它的關(guān)鍵技術(shù)是Hadoop分布式文件系統(tǒng)和MapReduce并行編程框架。在深入研究傳統(tǒng)數(shù)據(jù)挖掘算法的基礎(chǔ)上,如何結(jié)合新的框架對(duì)傳統(tǒng)據(jù)挖掘算法進(jìn)行改進(jìn)使之能夠處理海量數(shù)據(jù)挖掘問題,是數(shù)據(jù)挖掘領(lǐng)域的一個(gè)熱點(diǎn)。本文首先詳細(xì)研究了云計(jì)算、Hadoop的分布式文件系統(tǒng)HDFS以及MapReduce并行編程框架。然后,對(duì)數(shù)據(jù)挖掘和關(guān)聯(lián)規(guī)則概念進(jìn)行了闡述,并對(duì)關(guān)聯(lián)規(guī)則中的經(jīng)典的Apriori算法進(jìn)行了詳細(xì)的分析研究,并在此基礎(chǔ)之上給出了算法的一個(gè)具體實(shí)例,然后將Apriori算法結(jié)合Hadoop平臺(tái)進(jìn)行并行化實(shí)現(xiàn)。在以上研究?jī)?nèi)容的基礎(chǔ)之上,通過引入矩陣的數(shù)據(jù)結(jié)構(gòu),根據(jù)矩陣的特點(diǎn)以及Apriori算法的性質(zhì)提出了基于Hadoop和矩陣的關(guān)聯(lián)規(guī)則挖掘改進(jìn)算法。最后,搭建Hadoop的實(shí)驗(yàn)環(huán)境,用java編程語言完成改進(jìn)算法的代碼編寫并調(diào)試,通過采用不同的實(shí)驗(yàn)數(shù)據(jù)集和實(shí)驗(yàn)條件對(duì)算法進(jìn)行測(cè)試。通過實(shí)驗(yàn)結(jié)果的對(duì)比分析,得出改進(jìn)算法具有更好的性能。
【學(xué)位授予單位】：天津工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 宮雨,武森,尹阿東,高學(xué)東;加權(quán)關(guān)聯(lián)規(guī)則的改進(jìn)算法[J];計(jì)算機(jī)工程與應(yīng)用;2004年22期

2 王華秋,曹長(zhǎng)修,王越;一種快速并行關(guān)聯(lián)規(guī)則算法研究及仿真[J];計(jì)算機(jī)應(yīng)用研究;2005年07期

3 陳濤;張瑋;;一個(gè)改進(jìn)的并行關(guān)聯(lián)規(guī)則算法研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2007年01期

4 張志鋒;鄧璐娟;劉秀梅;;關(guān)聯(lián)規(guī)則算法在郵政商函客戶關(guān)系中的應(yīng)用[J];計(jì)算機(jī)技術(shù)與發(fā)展;2008年12期

5 付寶君;;基于關(guān)聯(lián)規(guī)則算法的研究[J];科技信息(科學(xué)教研);2008年15期

6 王琳莎;林國(guó)龍;楊斌;;新的關(guān)聯(lián)規(guī)則算法在物流行業(yè)中的應(yīng)用[J];物流工程與管理;2009年03期

7 傅國(guó)強(qiáng);郭向勇;;動(dòng)態(tài)加權(quán)關(guān)聯(lián)規(guī)則算法的分析與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2010年23期

8 張瑞雪;;改進(jìn)的關(guān)聯(lián)規(guī)則算法在課堂教學(xué)評(píng)價(jià)中的應(yīng)用[J];產(chǎn)業(yè)與科技論壇;2011年06期

9 李琦,宋國(guó)新;在線挖掘關(guān)聯(lián)規(guī)則算法的改進(jìn)[J];華東理工大學(xué)學(xué)報(bào);2000年05期

10 辛志,劉少輝,史忠植;關(guān)聯(lián)規(guī)則算法的實(shí)現(xiàn)與改進(jìn)[J];計(jì)算機(jī)工程與應(yīng)用;2002年24期

相關(guān)會(huì)議論文 前4條

1 谷斌;靳艷峰;王磊;;關(guān)聯(lián)規(guī)則算法在郵政報(bào)刊征訂中的應(yīng)用研究[A];第十屆中國(guó)科協(xié)年會(huì)信息化與社會(huì)發(fā)展學(xué)術(shù)討論會(huì)分會(huì)場(chǎng)論文集[C];2008年

2 王爽;魏振鋼;;空間關(guān)聯(lián)規(guī)則算法在環(huán)境污染事故應(yīng)急處理系統(tǒng)中的應(yīng)用研究[A];第四屆中國(guó)智能計(jì)算大會(huì)論文集[C];2010年

3 譚軍;卜英勇;;一種具有反單調(diào)性的加權(quán)支持度-信任度框架[A];2011年全國(guó)電子信息技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2011年

4 高杰;李紹軍;錢鋒;;數(shù)據(jù)挖掘中關(guān)聯(lián)規(guī)則算法的研究及應(yīng)用[A];第十七屆全國(guó)過路控制會(huì)議論文集[C];2006年

相關(guān)碩士學(xué)位論文 前10條

1 李遠(yuǎn)博;基于關(guān)聯(lián)規(guī)則算法的旅游推薦研究[D];陜西師范大學(xué);2015年

2 畢巖;基于Hadoop的并行關(guān)聯(lián)算法的研究[D];南京郵電大學(xué);2015年

3 于娜;基于關(guān)聯(lián)規(guī)則算法的嫌疑程度關(guān)系發(fā)現(xiàn)方法研究[D];大連工業(yè)大學(xué);2015年

4 李自勝;基于動(dòng)態(tài)KMV模型和時(shí)序關(guān)聯(lián)規(guī)則的商業(yè)銀行信用風(fēng)險(xiǎn)研究[D];浙江財(cái)經(jīng)大學(xué);2016年

5 武霞;Hadoop平臺(tái)下基于聚類和關(guān)聯(lián)規(guī)則算法的工程車輛故障預(yù)測(cè)研究[D];太原科技大學(xué);2015年

6 張依歡;關(guān)聯(lián)規(guī)則算法在教學(xué)評(píng)價(jià)中的應(yīng)用研究[D];吉林大學(xué);2016年

7 李欣弘;基于關(guān)聯(lián)規(guī)則和情感分析的圖書推薦算法研究[D];吉林大學(xué);2016年

8 孫海艦;基于大數(shù)據(jù)的動(dòng)車組維修成本關(guān)鍵技術(shù)的研究[D];北京交通大學(xué);2016年

9 鄧吉君;關(guān)聯(lián)規(guī)則算法在互聯(lián)網(wǎng)教育領(lǐng)域的研究及應(yīng)用[D];湖南師范大學(xué);2016年

10 薛良勇;基于決策樹的操作系統(tǒng)隱通道研究[D];中國(guó)礦業(yè)大學(xué);2016年

，

本文編號(hào)：1323538