【摘要】：我國地質(zhì)災(zāi)害的發(fā)生較為頻繁,由于山體滑坡、泥石流等地質(zhì)災(zāi)害發(fā)生的次數(shù)和造成的危害不斷擴(kuò)大,推動了科研人員研究地質(zhì)災(zāi)害監(jiān)測技術(shù)的快速發(fā)展。本論文主要對地質(zhì)災(zāi)害監(jiān)測系統(tǒng)中所提供的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘,利用關(guān)聯(lián)規(guī)則分析方法對數(shù)據(jù)進(jìn)行深度分析,以達(dá)到更好的預(yù)測功能。本文主要是對傳統(tǒng)Apriori算法進(jìn)行改進(jìn),使之可以更適合應(yīng)用到地質(zhì)災(zāi)害監(jiān)測系統(tǒng)中海量數(shù)據(jù)的深度挖掘。針對傳統(tǒng)Apriori算法的不足,本課題在關(guān)聯(lián)規(guī)則的挖掘中引入了事務(wù)壓縮算法,在垂直數(shù)據(jù)格式下,對挖掘頻繁項(xiàng)集的步驟上進(jìn)行了優(yōu)化,并且針對單個計(jì)算機(jī)在一些方面存在著性能不足、不能較好處理大規(guī)模數(shù)據(jù)的弊端,提出了基于分布式編程模型改進(jìn)的MEC-Apriori(MapReduce-ECLAT-Compress-Apriori)新算法,并且用地質(zhì)災(zāi)害監(jiān)測系統(tǒng)所提供的數(shù)據(jù)驗(yàn)證了本算法的正確性。論文主要工作如下:1)分析了關(guān)聯(lián)規(guī)則算法中的Apriori算法和ECLAT算法的基本思想以及算法步驟和不足。2)為了優(yōu)化Apriori算法,將事務(wù)壓縮的特性引入到了改進(jìn)的算法中,優(yōu)化了改進(jìn)算法在挖掘頻繁項(xiàng)集的時(shí)間性能。3)基于ECLAT算法,用散列技術(shù)以及將水平數(shù)據(jù)轉(zhuǎn)換成垂直數(shù)據(jù)的方法,優(yōu)化傳統(tǒng)Apriori算法在挖掘頻繁1項(xiàng)集的時(shí)間效率。4)提出了基于分布式的MEC-Apriori算法,用分布式計(jì)算框架優(yōu)化傳統(tǒng)Apriori算法的時(shí)間性能。最后用UCI數(shù)據(jù)庫中的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)分析。5)為了進(jìn)一步驗(yàn)證本文算法設(shè)計(jì)的可行性,搭建了Hadoop集群環(huán)境,以地質(zhì)災(zāi)害系統(tǒng)監(jiān)測到的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,設(shè)計(jì)的并行算法在挖掘關(guān)聯(lián)規(guī)則在時(shí)間性能上,以及挖掘頻繁1項(xiàng)集上都有了顯著提高,成功的解決了傳統(tǒng)Apriori算法在挖掘頻繁項(xiàng)集以及候選項(xiàng)集上的時(shí)間效率低的缺點(diǎn)。并且用改進(jìn)關(guān)聯(lián)規(guī)則算法挖掘地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)中得到了潛在的價(jià)值信息。
【圖文】：

西安工業(yè)大學(xué)碩士學(xué)位論文監(jiān)測點(diǎn)傳出的大量數(shù)據(jù)，并要求高實(shí)時(shí)性的分析監(jiān)測線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)包含著數(shù)量眾多的傳感器，采集過這些龐大的數(shù)據(jù)量，如果想要處理好，，需要的計(jì)算量，如果用傳統(tǒng)的技術(shù)去處理海量的數(shù)據(jù)，會因?yàn)橛布诰虻慕Y(jié)果也會出現(xiàn)一些較大的差異[6]。然而地質(zhì)災(zāi)準(zhǔn)確性高，這就與傳統(tǒng)的數(shù)據(jù)挖掘出現(xiàn)了悖論。所以及分析的錯誤導(dǎo)致人民的生命財(cái)產(chǎn)安全受到危害。

挖掘的結(jié)果也會出現(xiàn)一些較大的差異[6]。然而地質(zhì)災(zāi)準(zhǔn)確性高，這就與傳統(tǒng)的數(shù)據(jù)挖掘出現(xiàn)了悖論。所以及分析的錯誤導(dǎo)致人民的生命財(cái)產(chǎn)安全受到危害。圖 1.1 泥石流災(zāi)害
【學(xué)位授予單位】：西安工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：P694;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃健;巨能攀;何朝陽;肖洋;;基于新一代信息技術(shù)的地質(zhì)災(zāi)害監(jiān)測預(yù)警系統(tǒng)建設(shè)[J];工程地質(zhì)學(xué)報(bào);2015年01期

2 鄭志嫻;;基于云計(jì)算的Apriori算法設(shè)計(jì)[J];莆田學(xué)院學(xué)報(bào);2014年05期

3 何朝陽;巨能攀;黃健;;地質(zhì)災(zāi)害海量監(jiān)測數(shù)據(jù)處理方法研究[J];安全與環(huán)境工程;2014年05期

4 劉振亞;張啟平;;國家電網(wǎng)發(fā)展模式研究[J];中國電機(jī)工程學(xué)報(bào);2013年07期

5 劉敏嫻;馬強(qiáng);寧以風(fēng);;基于頻繁矩陣的Apriori算法改進(jìn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2012年11期

6 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計(jì)與開發(fā)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

7 邱鳳翔;徐治皋;司風(fēng)琪;趙躍;;基于主元分析的關(guān)聯(lián)規(guī)則挖掘及在電廠中的應(yīng)用[J];電力系統(tǒng)自動化;2009年16期

8 鄧景毅;;關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘綜述[J];電腦學(xué)習(xí);2006年03期

9 何月順,杜萍,丁秋林;基于數(shù)據(jù)挖掘思想的故障模式分析[J];計(jì)算機(jī)應(yīng)用研究;2005年11期

10 何月順,丁秋林;計(jì)算機(jī)半結(jié)構(gòu)化數(shù)據(jù)源的數(shù)據(jù)挖掘技術(shù)研究[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2005年10期

相關(guān)會議論文 前1條

1 錢曉真;陳琰;黃文思;;基于Hadoop生態(tài)環(huán)境的大數(shù)據(jù)平臺在電網(wǎng)公司海量數(shù)據(jù)準(zhǔn)實(shí)時(shí)處理中的應(yīng)用[A];2016智能電網(wǎng)發(fā)展研討會論文集[C];2016年

相關(guān)博士學(xué)位論文 前4條

1 段功豪;基于多結(jié)構(gòu)數(shù)據(jù)挖掘的滑坡災(zāi)害預(yù)測模型研究[D];中國地質(zhì)大學(xué);2016年

2 劉曉慧;基于預(yù)案的突發(fā)地質(zhì)災(zāi)害智能應(yīng)急決策支持模型研究[D];中國地質(zhì)大學(xué);2014年

3 郭秀娟;基于關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘算法的研究[D];吉林大學(xué);2004年

4 毛國君;數(shù)據(jù)挖掘技術(shù)與關(guān)聯(lián)規(guī)則挖掘算法研究[D];北京工業(yè)大學(xué);2003年

相關(guān)碩士學(xué)位論文 前7條

1 劉思何;基于C#開發(fā)環(huán)境的一類滑坡監(jiān)測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山西大學(xué);2017年

2 吳哲超;高速公路工程處治滑坡監(jiān)測預(yù)警系統(tǒng)研究[D];長安大學(xué);2017年

3 劉君;基于GPS監(jiān)測技術(shù)的滑坡穩(wěn)定性研究[D];西南交通大學(xué);2017年

4 陳娜;基于Hadoop平臺的海量數(shù)據(jù)處理應(yīng)用[D];吉林大學(xué);2012年

5 白云龍;基于Hadoop的數(shù)據(jù)挖掘算法研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

6 楊宸鑄;基于HADOOP的數(shù)據(jù)挖掘研究[D];重慶大學(xué);2010年

7 莊波;數(shù)據(jù)流中頻繁模式挖掘方法的研究及應(yīng)用[D];山東師范大學(xué);2008年

本文編號：2631367