【摘要】：近些年來,空間信息技術(shù)領(lǐng)域的高速發(fā)展使我們進(jìn)入信息變革的時(shí)代。空間數(shù)據(jù)通過傳感器或者其他數(shù)據(jù)收集設(shè)備源源不斷地收集起來,并呈指數(shù)級(jí)增長。為了能夠有效管理數(shù)據(jù),人們發(fā)展了數(shù)據(jù)庫技術(shù),并在此基礎(chǔ)上建立了空間信息系統(tǒng)。然而,空間信息系統(tǒng)目前仍然只能提供給我們數(shù)據(jù),卻給不了我們數(shù)據(jù)以外的信息。人們已經(jīng)不再滿足于數(shù)據(jù)表層的檢索與查詢,而是希望更深一步的認(rèn)識(shí)數(shù)據(jù),得到知識(shí)與發(fā)現(xiàn)。關(guān)聯(lián)規(guī)則挖掘可以從龐大的數(shù)據(jù)庫中發(fā)現(xiàn)人們感興趣的知識(shí),但是需要花費(fèi)大量的時(shí)間與資源。在空間關(guān)聯(lián)規(guī)則中引入并行計(jì)算,不但可以滿足人們對空間數(shù)據(jù)不斷增長的認(rèn)知要求,還可以降低數(shù)據(jù)挖掘時(shí)的時(shí)間與資源的消耗,以多臺(tái)微型計(jì)算機(jī)來完成大型機(jī)才能完成的工作。經(jīng)典的關(guān)聯(lián)規(guī)則有Apriori算法、DHP算法、Partition算法等等。它們主要應(yīng)用于顧客消費(fèi)分析、目錄設(shè)計(jì)、廣告郵件分析、銷售優(yōu)化、倉儲(chǔ)規(guī)劃、網(wǎng)絡(luò)故障分析等。 通過對劉永彬于2008年提出的TP-PB算法的研究,本文提出了一種類似計(jì)算向量內(nèi)積的并行關(guān)聯(lián)規(guī)則算法(Parallel Vectors Inner-product,PVI算法)用于遙感數(shù)據(jù)挖掘系統(tǒng)。算法通過改進(jìn)計(jì)算頻繁項(xiàng)目集方法和優(yōu)化數(shù)據(jù)讀取,使算法尋找頻繁項(xiàng)目集的效率大幅度提高。同時(shí)利用“廉價(jià)”的微型計(jì)算機(jī)資源,按照數(shù)據(jù)特點(diǎn)采用并行計(jì)算使得整個(gè)空間關(guān)聯(lián)規(guī)則的挖掘效率進(jìn)一步提高。經(jīng)過對并行空間關(guān)聯(lián)規(guī)則的研究,取得了如下研究成果: 1)簡化計(jì)算頻繁項(xiàng)集的方法。使用布爾型數(shù)據(jù)可以有效降低了PVI算法的復(fù)雜度,并且PVI算法使用類似計(jì)算向量內(nèi)積的方法來計(jì)算候選頻繁項(xiàng)集,并利用k-1階頻繁項(xiàng)集計(jì)算k階頻繁項(xiàng)集,大大簡化了計(jì)算步驟,提高了算法的并行性。 2)減少掃描數(shù)據(jù)庫次數(shù)。TP-PB算法發(fā)現(xiàn)知識(shí)時(shí)需要掃描數(shù)據(jù)庫2次,而PVI算法通過計(jì)算時(shí)記錄有效信息,只需掃描數(shù)據(jù)庫一次,相比于TP-PB算法減少了I/O操作。數(shù)據(jù)的I/O操作會(huì)占算法開銷的很大一部分,PVI算法減少了對數(shù)據(jù)庫的掃描,大大提高了算法效率。 3)空間關(guān)聯(lián)規(guī)則引入并行計(jì)算。PVI算法采取冗余存儲(chǔ)與減少I/O操作來降低任務(wù)完成時(shí)間�？刂茩C(jī)將挖掘任務(wù)分配后,并行機(jī)自行根據(jù)任務(wù)在本地讀取數(shù)據(jù),進(jìn)行知識(shí)發(fā)現(xiàn)。其次,為了使并行機(jī)盡量不處于空閑狀態(tài),應(yīng)將子任務(wù)數(shù)量劃分為并行機(jī)個(gè)數(shù)的整數(shù)倍并兼顧粒度。 4)將并行的空間關(guān)聯(lián)規(guī)則算法嵌入到遙感數(shù)據(jù)挖掘系統(tǒng)中,實(shí)現(xiàn)對海量遙感數(shù)據(jù)的展示與知識(shí)發(fā)現(xiàn)。采用B/S模式,使用戶可以通過網(wǎng)絡(luò)在網(wǎng)頁瀏覽器上隨時(shí)隨地查看遙感數(shù)據(jù)。系統(tǒng)采用微軟先進(jìn)的圖形開發(fā)工具WPF開發(fā)呈現(xiàn),并可以對遙感數(shù)據(jù)進(jìn)行漫游、放大、縮小、FullExtent等操作。在設(shè)置最小支持度閾值與最小置信度閾值后,提交遙感數(shù)據(jù)挖掘任務(wù)。
【圖文】：

2.2.3 并行性能評價(jià)與優(yōu)化給定并行算法，采用并行程序設(shè)計(jì)平臺(tái)，待完成實(shí)際問題的并行算法后，我們就是，利用各并行機(jī)上運(yùn)行程序，評價(jià)該并行算法的實(shí)際性能，找出并行算法的頸，使程序能夠得到性能優(yōu)化。性能評價(jià)和優(yōu)化是完成高質(zhì)量并行程序必不可少步驟。首先，我們需要弄清楚并行程序執(zhí)行時(shí)間的組成。眾所周知，串行程序的獨(dú)享處理器資源，它的運(yùn)行時(shí)間近似等于程序指令執(zhí)行花費(fèi)的 CPU 時(shí)間。但是程序需要分配并行任務(wù)，其執(zhí)行時(shí)間應(yīng)該為從并行程序開始執(zhí)行，到各個(gè)進(jìn)程執(zhí)，，墻上時(shí)鐘走過的時(shí)間，也稱之為墻上時(shí)間（Wall Time）[16]。對于各個(gè)進(jìn)程，墻可進(jìn)一步分解為計(jì)算消耗時(shí)間、通信消耗時(shí)間、同步消耗時(shí)間、空閑進(jìn)程時(shí)間。串行算法在某臺(tái)并行機(jī)上代碼執(zhí)行時(shí)間為 ，而該程序并行化后，P 個(gè)進(jìn)程在 P 機(jī)上并行執(zhí)行所需要的時(shí)間為 ，則該并行程序在該并行系統(tǒng)上的加速比 可：

對具體的空間數(shù)據(jù)特點(diǎn)、地理特征我們知之甚里面存放著許多空間數(shù)據(jù)，而數(shù)據(jù)類型也多為 Polyline是以一條線一個(gè)面存在的，都是連續(xù)的。如果我們?nèi)园盐覀儗⑹ズ芏嘀R(shí)的發(fā)現(xiàn)；而另一方面，領(lǐng)域?qū)＜铱赡男┦腔コ獾�，如果我們在做挖掘前將其剪枝就可以大結(jié)果及分析并行空間關(guān)聯(lián)規(guī)則的算法還屬于空白階段空間關(guān)聯(lián)規(guī)則，與意義不大（經(jīng)典的數(shù)據(jù)挖掘無法直接搬到空間數(shù)據(jù)挖掘上、軟件的環(huán)境下，把 TP-PB 算法與 PVI 算法拿來做測試比和最小置信度閾值下，兩個(gè)算法執(zhí)行時(shí)間比較如下圖 3-7 所io 2008 開發(fā)工具 C#語言編寫。
【學(xué)位授予單位】：河南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2011
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 薛愛萍;任志國;;空間數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)[J];中國市場;2011年32期

2 金育嬋;;數(shù)據(jù)挖掘技術(shù)中基于關(guān)聯(lián)規(guī)則算法的研究[J];科技傳播;2011年12期

3 楊海玲;;淺議數(shù)據(jù)挖掘在高校圖書館信息服務(wù)中的作用[J];農(nóng)業(yè)圖書情報(bào)學(xué)刊;2011年07期

4 辛浩;;基于關(guān)聯(lián)規(guī)則的中文姓名識(shí)別方法[J];宿州學(xué)院學(xué)報(bào);2011年05期

5 忻凌;王麗;;可視化關(guān)聯(lián)規(guī)則對疾病相關(guān)因素的發(fā)現(xiàn)[J];醫(yī)學(xué)信息(上旬刊);2011年08期

6 壽先紅;;數(shù)據(jù)挖掘技術(shù)在圖書借閱分析系統(tǒng)中的應(yīng)用與研究[J];電腦知識(shí)與技術(shù);2011年26期

7 張皓;;數(shù)據(jù)挖掘技術(shù)在構(gòu)建學(xué)生成績預(yù)警系統(tǒng)的應(yīng)用[J];電腦知識(shí)與技術(shù);2011年19期

8 郎振紅;;網(wǎng)絡(luò)化物業(yè)管理系統(tǒng)中數(shù)據(jù)挖掘的應(yīng)用[J];沈陽教育學(xué)院學(xué)報(bào);2011年04期

9 張雨真;李偉;張慧慧;顏雪松;;基于XML構(gòu)建KDD框架的研究[J];武漢船舶職業(yè)技術(shù)學(xué)院學(xué)報(bào);2011年04期

10 齊戰(zhàn)勝;高峰;騰達(dá);;數(shù)據(jù)挖掘技術(shù)在計(jì)算機(jī)取證中的應(yīng)用研究[J];信息網(wǎng)絡(luò)安全;2011年09期

相關(guān)會(huì)議論文 前10條

1 雷小鋒;謝昆青;馬修軍;;一種有效的空間關(guān)聯(lián)規(guī)則挖掘方法[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

2 李陽;徐錫山;韓偉紅;鄭黎明;徐鏡湖;;網(wǎng)絡(luò)安全事件關(guān)聯(lián)規(guī)則的自動(dòng)化生成方法研究與實(shí)踐[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

3 左萬利;劉居紅;;包含正負(fù)屬性的關(guān)聯(lián)規(guī)則及其挖掘[A];第十六屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1999年

4 王寧;董淳;胡運(yùn)發(fā);陶曉鵬;;面向集合的關(guān)聯(lián)規(guī)則挖掘算法[A];第十五屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1998年

5 周煥銀;張永;;關(guān)聯(lián)規(guī)則候選項(xiàng)頻度規(guī)律研究[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

6 方艷;別榮芳;;關(guān)聯(lián)規(guī)則的有趣性研究[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

7 黃曉燕;許龍飛;;基于關(guān)聯(lián)規(guī)則的網(wǎng)絡(luò)入侵檢測技術(shù)的應(yīng)用研究[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2006年

8 李慶忠;張世棟;董國慶;;在數(shù)據(jù)多維體中進(jìn)行關(guān)聯(lián)規(guī)則的挖掘[A];第十六屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1999年

9 韓濤;張春海;;關(guān)系數(shù)據(jù)庫中關(guān)聯(lián)規(guī)則的高效挖掘算法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

10 潘海為;李建中;張煒;;挖掘腦部醫(yī)學(xué)圖像中的關(guān)聯(lián)規(guī)則[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 楊純;裴韜：做科學(xué)要挑感興趣的冷門[N];科技日報(bào);2008年

2 嚴(yán)寧;挖掘數(shù)據(jù)尋保險(xiǎn)商機(jī)[N];網(wǎng)絡(luò)世界;2007年

3 王培森;從Web挖到競爭情報(bào)[N];中國計(jì)算機(jī)報(bào);2003年

4 南京市地方稅務(wù)局信息管理處、計(jì)算機(jī)中心 明靖 朱嵐;數(shù)據(jù)挖潛讓業(yè)務(wù)說話[N];中國計(jì)算機(jī)報(bào);2006年

5 本報(bào)記者 袁躍;點(diǎn)擊七彩人生[N];財(cái)會(huì)信報(bào);2005年

6 王瑋 蔡蓮紅;數(shù)據(jù)挖掘走入語音處理[N];計(jì)算機(jī)世界;2001年

7 貴州省移動(dòng)通信公司 蘇思妮;讓信息去主動(dòng)尋找用戶[N];通信產(chǎn)業(yè)報(bào);2004年

8 ;選擇SIM的十大理由[N];中國計(jì)算機(jī)報(bào);2008年

9 主持人 李禾;數(shù)據(jù)挖掘技術(shù)如何驅(qū)動(dòng)經(jīng)濟(jì)車輪[N];科技日報(bào);2007年

10 陳星霖;NIDS：老樹發(fā)新枝[N];網(wǎng)絡(luò)世界;2009年

相關(guān)博士學(xué)位論文 前10條

1 方兆寶;基于空間數(shù)據(jù)挖掘的MCSs時(shí)空演變規(guī)律研究[D];中國礦業(yè)大學(xué)（北京）;2004年

2 賈俊杰;空間數(shù)據(jù)挖掘中若干關(guān)鍵技術(shù)研究[D];長安大學(xué);2009年

3 鄭向群;農(nóng)產(chǎn)品產(chǎn)地污染綜合知識(shí)挖掘系統(tǒng)的研究[D];天津大學(xué);2009年

4 牛繼強(qiáng);面向土地用途分區(qū)的空間數(shù)據(jù)挖掘[D];武漢大學(xué);2010年

5 肖波;可信關(guān)聯(lián)規(guī)則挖掘算法研究[D];北京郵電大學(xué);2009年

6 王越;分布式關(guān)聯(lián)規(guī)則挖掘的方法研究[D];重慶大學(xué);2003年

7 葉小飛;基于自發(fā)呈報(bào)系統(tǒng)與循證醫(yī)學(xué)的藥品不良反應(yīng)信號(hào)挖掘[D];第二軍醫(yī)大學(xué);2011年

8 Vital Delmas MABONZO;大型數(shù)據(jù)庫有效挖掘關(guān)聯(lián)規(guī)則新方法研究[D];大連海事大學(xué);2012年

9 牛成林;增量數(shù)據(jù)挖掘及其在電站運(yùn)行優(yōu)化中的理論研究及應(yīng)用[D];華北電力大學(xué)（北京）;2010年

10 李學(xué)明;計(jì)算機(jī)數(shù)據(jù)的關(guān)聯(lián)規(guī)則挖掘理論和算法研究[D];重慶大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 張冬冬;空間數(shù)據(jù)挖掘中PVI算法的研究與應(yīng)用[D];河南大學(xué);2011年

2 涂明;關(guān)聯(lián)規(guī)則增量式更新算法研究[D];合肥工業(yè)大學(xué);2010年

3 王景;基于關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘的研究[D];廣西大學(xué);2003年

4 岳慧穎;含有時(shí)空約束的關(guān)聯(lián)規(guī)則挖掘方法研究[D];哈爾濱工程大學(xué);2004年

5 聶倩雯;基于關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘和擴(kuò)展貝葉斯網(wǎng)絡(luò)的電網(wǎng)故障診斷方法研究[D];西南交通大學(xué);2010年

6 趙春勝;基于關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘方法在電廠脫硫監(jiān)測中的應(yīng)用研究[D];內(nèi)蒙古大學(xué);2011年

7 蔣秀英;數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則算法優(yōu)化研究及應(yīng)用[D];山東師范大學(xué);2003年

8 吳倩;基于關(guān)聯(lián)規(guī)則的零售業(yè)CRM的設(shè)計(jì)和實(shí)現(xiàn)[D];華東師范大學(xué);2011年

9 孫彤;活性炭纖維吸附和解吸中的數(shù)據(jù)挖掘技術(shù)[D];遼寧工程技術(shù)大學(xué);2004年

10 王爍;關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘中經(jīng)典頻集算法改進(jìn)的研究[D];天津大學(xué);2003年

本文編號(hào)：2606114