【摘要】：我國地質災害的發(fā)生較為頻繁,由于山體滑坡、泥石流等地質災害發(fā)生的次數(shù)和造成的危害不斷擴大,推動了科研人員研究地質災害監(jiān)測技術的快速發(fā)展。本論文主要對地質災害監(jiān)測系統(tǒng)中所提供的數(shù)據(jù)進行數(shù)據(jù)挖掘,利用關聯(lián)規(guī)則分析方法對數(shù)據(jù)進行深度分析,以達到更好的預測功能。本文主要是對傳統(tǒng)Apriori算法進行改進,使之可以更適合應用到地質災害監(jiān)測系統(tǒng)中海量數(shù)據(jù)的深度挖掘。針對傳統(tǒng)Apriori算法的不足,本課題在關聯(lián)規(guī)則的挖掘中引入了事務壓縮算法,在垂直數(shù)據(jù)格式下,對挖掘頻繁項集的步驟上進行了優(yōu)化,并且針對單個計算機在一些方面存在著性能不足、不能較好處理大規(guī)模數(shù)據(jù)的弊端,提出了基于分布式編程模型改進的MEC-Apriori(MapReduce-ECLAT-Compress-Apriori)新算法,并且用地質災害監(jiān)測系統(tǒng)所提供的數(shù)據(jù)驗證了本算法的正確性。論文主要工作如下:1)分析了關聯(lián)規(guī)則算法中的Apriori算法和ECLAT算法的基本思想以及算法步驟和不足。2)為了優(yōu)化Apriori算法,將事務壓縮的特性引入到了改進的算法中,優(yōu)化了改進算法在挖掘頻繁項集的時間性能。3)基于ECLAT算法,用散列技術以及將水平數(shù)據(jù)轉換成垂直數(shù)據(jù)的方法,優(yōu)化傳統(tǒng)Apriori算法在挖掘頻繁1項集的時間效率。4)提出了基于分布式的MEC-Apriori算法,用分布式計算框架優(yōu)化傳統(tǒng)Apriori算法的時間性能。最后用UCI數(shù)據(jù)庫中的數(shù)據(jù)集進行實驗分析。5)為了進一步驗證本文算法設計的可行性,搭建了Hadoop集群環(huán)境,以地質災害系統(tǒng)監(jiān)測到的數(shù)據(jù)進行實驗。實驗結果表明,設計的并行算法在挖掘關聯(lián)規(guī)則在時間性能上,以及挖掘頻繁1項集上都有了顯著提高,成功的解決了傳統(tǒng)Apriori算法在挖掘頻繁項集以及候選項集上的時間效率低的缺點。并且用改進關聯(lián)規(guī)則算法挖掘地質災害監(jiān)測數(shù)據(jù)中得到了潛在的價值信息。
【圖文】：

西安工業(yè)大學碩士學位論文監(jiān)測點傳出的大量數(shù)據(jù)，并要求高實時性的分析監(jiān)測線傳感器網(wǎng)絡節(jié)點包含著數(shù)量眾多的傳感器，采集過這些龐大的數(shù)據(jù)量，如果想要處理好，，需要的計算量，如果用傳統(tǒng)的技術去處理海量的數(shù)據(jù)，會因為硬件挖掘的結果也會出現(xiàn)一些較大的差異[6]。然而地質災準確性高，這就與傳統(tǒng)的數(shù)據(jù)挖掘出現(xiàn)了悖論。所以及分析的錯誤導致人民的生命財產安全受到危害。

挖掘的結果也會出現(xiàn)一些較大的差異[6]。然而地質災準確性高，這就與傳統(tǒng)的數(shù)據(jù)挖掘出現(xiàn)了悖論。所以及分析的錯誤導致人民的生命財產安全受到危害。圖 1.1 泥石流災害
【學位授予單位】：西安工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：P694;TP311.13

【參考文獻】

相關期刊論文 前10條

1 黃健;巨能攀;何朝陽;肖洋;;基于新一代信息技術的地質災害監(jiān)測預警系統(tǒng)建設[J];工程地質學報;2015年01期

2 鄭志嫻;;基于云計算的Apriori算法設計[J];莆田學院學報;2014年05期

3 何朝陽;巨能攀;黃健;;地質災害海量監(jiān)測數(shù)據(jù)處理方法研究[J];安全與環(huán)境工程;2014年05期

4 劉振亞;張啟平;;國家電網(wǎng)發(fā)展模式研究[J];中國電機工程學報;2013年07期

5 劉敏嫻;馬強;寧以風;;基于頻繁矩陣的Apriori算法改進[J];計算機工程與設計;2012年11期

6 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲平臺設計與開發(fā)[J];計算機研究與發(fā)展;2012年S1期

7 邱鳳翔;徐治皋;司風琪;趙躍;;基于主元分析的關聯(lián)規(guī)則挖掘及在電廠中的應用[J];電力系統(tǒng)自動化;2009年16期

8 鄧景毅;;關聯(lián)規(guī)則數(shù)據(jù)挖掘綜述[J];電腦學習;2006年03期

9 何月順,杜萍,丁秋林;基于數(shù)據(jù)挖掘思想的故障模式分析[J];計算機應用研究;2005年11期

10 何月順,丁秋林;計算機半結構化數(shù)據(jù)源的數(shù)據(jù)挖掘技術研究[J];哈爾濱工業(yè)大學學報;2005年10期

相關會議論文 前1條

1 錢曉真;陳琰;黃文思;;基于Hadoop生態(tài)環(huán)境的大數(shù)據(jù)平臺在電網(wǎng)公司海量數(shù)據(jù)準實時處理中的應用[A];2016智能電網(wǎng)發(fā)展研討會論文集[C];2016年

相關博士學位論文 前4條

1 段功豪;基于多結構數(shù)據(jù)挖掘的滑坡災害預測模型研究[D];中國地質大學;2016年

2 劉曉慧;基于預案的突發(fā)地質災害智能應急決策支持模型研究[D];中國地質大學;2014年

3 郭秀娟;基于關聯(lián)規(guī)則數(shù)據(jù)挖掘算法的研究[D];吉林大學;2004年

4 毛國君;數(shù)據(jù)挖掘技術與關聯(lián)規(guī)則挖掘算法研究[D];北京工業(yè)大學;2003年

相關碩士學位論文 前7條

1 劉思何;基于C#開發(fā)環(huán)境的一類滑坡監(jiān)測系統(tǒng)的設計與實現(xiàn)[D];山西大學;2017年

2 吳哲超;高速公路工程處治滑坡監(jiān)測預警系統(tǒng)研究[D];長安大學;2017年

3 劉君;基于GPS監(jiān)測技術的滑坡穩(wěn)定性研究[D];西南交通大學;2017年

4 陳娜;基于Hadoop平臺的海量數(shù)據(jù)處理應用[D];吉林大學;2012年

5 白云龍;基于Hadoop的數(shù)據(jù)挖掘算法研究與實現(xiàn)[D];北京郵電大學;2011年

6 楊宸鑄;基于HADOOP的數(shù)據(jù)挖掘研究[D];重慶大學;2010年

7 莊波;數(shù)據(jù)流中頻繁模式挖掘方法的研究及應用[D];山東師范大學;2008年

本文編號：2631367