【摘要】：近些年來,空間信息技術(shù)領(lǐng)域的高速發(fā)展使我們進入信息變革的時代�？臻g數(shù)據(jù)通過傳感器或者其他數(shù)據(jù)收集設(shè)備源源不斷地收集起來,并呈指數(shù)級增長。為了能夠有效管理數(shù)據(jù),人們發(fā)展了數(shù)據(jù)庫技術(shù),并在此基礎(chǔ)上建立了空間信息系統(tǒng)。然而,空間信息系統(tǒng)目前仍然只能提供給我們數(shù)據(jù),卻給不了我們數(shù)據(jù)以外的信息。人們已經(jīng)不再滿足于數(shù)據(jù)表層的檢索與查詢,而是希望更深一步的認識數(shù)據(jù),得到知識與發(fā)現(xiàn)。關(guān)聯(lián)規(guī)則挖掘可以從龐大的數(shù)據(jù)庫中發(fā)現(xiàn)人們感興趣的知識,但是需要花費大量的時間與資源。在空間關(guān)聯(lián)規(guī)則中引入并行計算,不但可以滿足人們對空間數(shù)據(jù)不斷增長的認知要求,還可以降低數(shù)據(jù)挖掘時的時間與資源的消耗,以多臺微型計算機來完成大型機才能完成的工作。經(jīng)典的關(guān)聯(lián)規(guī)則有Apriori算法、DHP算法、Partition算法等等。它們主要應(yīng)用于顧客消費分析、目錄設(shè)計、廣告郵件分析、銷售優(yōu)化、倉儲規(guī)劃、網(wǎng)絡(luò)故障分析等。 通過對劉永彬于2008年提出的TP-PB算法的研究,本文提出了一種類似計算向量內(nèi)積的并行關(guān)聯(lián)規(guī)則算法(Parallel Vectors Inner-product,PVI算法)用于遙感數(shù)據(jù)挖掘系統(tǒng)。算法通過改進計算頻繁項目集方法和優(yōu)化數(shù)據(jù)讀取,使算法尋找頻繁項目集的效率大幅度提高。同時利用“廉價”的微型計算機資源,按照數(shù)據(jù)特點采用并行計算使得整個空間關(guān)聯(lián)規(guī)則的挖掘效率進一步提高。經(jīng)過對并行空間關(guān)聯(lián)規(guī)則的研究,取得了如下研究成果: 1)簡化計算頻繁項集的方法。使用布爾型數(shù)據(jù)可以有效降低了PVI算法的復雜度,并且PVI算法使用類似計算向量內(nèi)積的方法來計算候選頻繁項集,并利用k-1階頻繁項集計算k階頻繁項集,大大簡化了計算步驟,提高了算法的并行性。 2)減少掃描數(shù)據(jù)庫次數(shù)。TP-PB算法發(fā)現(xiàn)知識時需要掃描數(shù)據(jù)庫2次,而PVI算法通過計算時記錄有效信息,只需掃描數(shù)據(jù)庫一次,相比于TP-PB算法減少了I/O操作。數(shù)據(jù)的I/O操作會占算法開銷的很大一部分,PVI算法減少了對數(shù)據(jù)庫的掃描,大大提高了算法效率。 3)空間關(guān)聯(lián)規(guī)則引入并行計算。PVI算法采取冗余存儲與減少I/O操作來降低任務(wù)完成時間�？刂茩C將挖掘任務(wù)分配后,并行機自行根據(jù)任務(wù)在本地讀取數(shù)據(jù),進行知識發(fā)現(xiàn)。其次,為了使并行機盡量不處于空閑狀態(tài),應(yīng)將子任務(wù)數(shù)量劃分為并行機個數(shù)的整數(shù)倍并兼顧粒度。 4)將并行的空間關(guān)聯(lián)規(guī)則算法嵌入到遙感數(shù)據(jù)挖掘系統(tǒng)中,實現(xiàn)對海量遙感數(shù)據(jù)的展示與知識發(fā)現(xiàn)。采用B/S模式,使用戶可以通過網(wǎng)絡(luò)在網(wǎng)頁瀏覽器上隨時隨地查看遙感數(shù)據(jù)。系統(tǒng)采用微軟先進的圖形開發(fā)工具WPF開發(fā)呈現(xiàn),并可以對遙感數(shù)據(jù)進行漫游、放大、縮小、FullExtent等操作。在設(shè)置最小支持度閾值與最小置信度閾值后,提交遙感數(shù)據(jù)挖掘任務(wù)。
【圖文】：

2.2.3 并行性能評價與優(yōu)化給定并行算法，采用并行程序設(shè)計平臺，待完成實際問題的并行算法后，我們就是，利用各并行機上運行程序，評價該并行算法的實際性能，找出并行算法的頸，使程序能夠得到性能優(yōu)化。性能評價和優(yōu)化是完成高質(zhì)量并行程序必不可少步驟。首先，我們需要弄清楚并行程序執(zhí)行時間的組成。眾所周知，串行程序的獨享處理器資源，它的運行時間近似等于程序指令執(zhí)行花費的 CPU 時間。但是程序需要分配并行任務(wù)，其執(zhí)行時間應(yīng)該為從并行程序開始執(zhí)行，到各個進程執(zhí)，，墻上時鐘走過的時間，也稱之為墻上時間（Wall Time）[16]。對于各個進程，墻可進一步分解為計算消耗時間、通信消耗時間、同步消耗時間、空閑進程時間。串行算法在某臺并行機上代碼執(zhí)行時間為 ，而該程序并行化后，P 個進程在 P 機上并行執(zhí)行所需要的時間為 ，則該并行程序在該并行系統(tǒng)上的加速比 可：

對具體的空間數(shù)據(jù)特點、地理特征我們知之甚里面存放著許多空間數(shù)據(jù)，而數(shù)據(jù)類型也多為 Polyline是以一條線一個面存在的，都是連續(xù)的。如果我們?nèi)园盐覀儗⑹ズ芏嘀R的發(fā)現(xiàn)；而另一方面，領(lǐng)域?qū)＜铱赡男┦腔コ獾�，如果我們在做挖掘前將其剪枝就可以大結(jié)果及分析并行空間關(guān)聯(lián)規(guī)則的算法還屬于空白階段空間關(guān)聯(lián)規(guī)則，與意義不大（經(jīng)典的數(shù)據(jù)挖掘無法直接搬到空間數(shù)據(jù)挖掘上、軟件的環(huán)境下，把 TP-PB 算法與 PVI 算法拿來做測試比和最小置信度閾值下，兩個算法執(zhí)行時間比較如下圖 3-7 所io 2008 開發(fā)工具 C#語言編寫。
【學位授予單位】：河南大學
【學位級別】：碩士
【學位授予年份】：2011
【分類號】：TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 薛愛萍;任志國;;空間數(shù)據(jù)挖掘系統(tǒng)設(shè)計[J];中國市場;2011年32期

2 金育嬋;;數(shù)據(jù)挖掘技術(shù)中基于關(guān)聯(lián)規(guī)則算法的研究[J];科技傳播;2011年12期

3 楊海玲;;淺議數(shù)據(jù)挖掘在高校圖書館信息服務(wù)中的作用[J];農(nóng)業(yè)圖書情報學刊;2011年07期

4 辛浩;;基于關(guān)聯(lián)規(guī)則的中文姓名識別方法[J];宿州學院學報;2011年05期

5 忻凌;王麗;;可視化關(guān)聯(lián)規(guī)則對疾病相關(guān)因素的發(fā)現(xiàn)[J];醫(yī)學信息(上旬刊);2011年08期

6 壽先紅;;數(shù)據(jù)挖掘技術(shù)在圖書借閱分析系統(tǒng)中的應(yīng)用與研究[J];電腦知識與技術(shù);2011年26期

7 張皓;;數(shù)據(jù)挖掘技術(shù)在構(gòu)建學生成績預警系統(tǒng)的應(yīng)用[J];電腦知識與技術(shù);2011年19期

8 郎振紅;;網(wǎng)絡(luò)化物業(yè)管理系統(tǒng)中數(shù)據(jù)挖掘的應(yīng)用[J];沈陽教育學院學報;2011年04期

9 張雨真;李偉;張慧慧;顏雪松;;基于XML構(gòu)建KDD框架的研究[J];武漢船舶職業(yè)技術(shù)學院學報;2011年04期

10 齊戰(zhàn)勝;高峰;騰達;;數(shù)據(jù)挖掘技術(shù)在計算機取證中的應(yīng)用研究[J];信息網(wǎng)絡(luò)安全;2011年09期

相關(guān)會議論文 前10條

1 雷小鋒;謝昆青;馬修軍;;一種有效的空間關(guān)聯(lián)規(guī)則挖掘方法[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2003年

2 李陽;徐錫山;韓偉紅;鄭黎明;徐鏡湖;;網(wǎng)絡(luò)安全事件關(guān)聯(lián)規(guī)則的自動化生成方法研究與實踐[A];全國計算機安全學術(shù)交流會論文集·第二十五卷[C];2010年

3 左萬利;劉居紅;;包含正負屬性的關(guān)聯(lián)規(guī)則及其挖掘[A];第十六屆全國數(shù)據(jù)庫學術(shù)會議論文集[C];1999年

4 王寧;董淳;胡運發(fā);陶曉鵬;;面向集合的關(guān)聯(lián)規(guī)則挖掘算法[A];第十五屆全國數(shù)據(jù)庫學術(shù)會議論文集[C];1998年

5 周煥銀;張永;;關(guān)聯(lián)規(guī)則候選項頻度規(guī)律研究[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2003年

6 方艷;別榮芳;;關(guān)聯(lián)規(guī)則的有趣性研究[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2004年

7 黃曉燕;許龍飛;;基于關(guān)聯(lián)規(guī)則的網(wǎng)絡(luò)入侵檢測技術(shù)的應(yīng)用研究[A];第二十三屆中國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2006年

8 李慶忠;張世棟;董國慶;;在數(shù)據(jù)多維體中進行關(guān)聯(lián)規(guī)則的挖掘[A];第十六屆全國數(shù)據(jù)庫學術(shù)會議論文集[C];1999年

9 韓濤;張春海;;關(guān)系數(shù)據(jù)庫中關(guān)聯(lián)規(guī)則的高效挖掘算法[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2004年

10 潘海為;李建中;張煒;;挖掘腦部醫(yī)學圖像中的關(guān)聯(lián)規(guī)則[A];第十八屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2001年

相關(guān)重要報紙文章 前10條

1 本報記者 楊純;裴韜：做科學要挑感興趣的冷門[N];科技日報;2008年

2 嚴寧;挖掘數(shù)據(jù)尋保險商機[N];網(wǎng)絡(luò)世界;2007年

3 王培森;從Web挖到競爭情報[N];中國計算機報;2003年

4 南京市地方稅務(wù)局信息管理處、計算機中心 明靖 朱嵐;數(shù)據(jù)挖潛讓業(yè)務(wù)說話[N];中國計算機報;2006年

5 本報記者 袁躍;點擊七彩人生[N];財會信報;2005年

6 王瑋 蔡蓮紅;數(shù)據(jù)挖掘走入語音處理[N];計算機世界;2001年

7 貴州省移動通信公司 蘇思妮;讓信息去主動尋找用戶[N];通信產(chǎn)業(yè)報;2004年

8 ;選擇SIM的十大理由[N];中國計算機報;2008年

9 主持人 李禾;數(shù)據(jù)挖掘技術(shù)如何驅(qū)動經(jīng)濟車輪[N];科技日報;2007年

10 陳星霖;NIDS：老樹發(fā)新枝[N];網(wǎng)絡(luò)世界;2009年

相關(guān)博士學位論文 前10條

1 方兆寶;基于空間數(shù)據(jù)挖掘的MCSs時空演變規(guī)律研究[D];中國礦業(yè)大學（北京）;2004年

2 賈俊杰;空間數(shù)據(jù)挖掘中若干關(guān)鍵技術(shù)研究[D];長安大學;2009年

3 鄭向群;農(nóng)產(chǎn)品產(chǎn)地污染綜合知識挖掘系統(tǒng)的研究[D];天津大學;2009年

4 牛繼強;面向土地用途分區(qū)的空間數(shù)據(jù)挖掘[D];武漢大學;2010年

5 肖波;可信關(guān)聯(lián)規(guī)則挖掘算法研究[D];北京郵電大學;2009年

6 王越;分布式關(guān)聯(lián)規(guī)則挖掘的方法研究[D];重慶大學;2003年

7 葉小飛;基于自發(fā)呈報系統(tǒng)與循證醫(yī)學的藥品不良反應(yīng)信號挖掘[D];第二軍醫(yī)大學;2011年

8 Vital Delmas MABONZO;大型數(shù)據(jù)庫有效挖掘關(guān)聯(lián)規(guī)則新方法研究[D];大連海事大學;2012年

9 牛成林;增量數(shù)據(jù)挖掘及其在電站運行優(yōu)化中的理論研究及應(yīng)用[D];華北電力大學（北京）;2010年

10 李學明;計算機數(shù)據(jù)的關(guān)聯(lián)規(guī)則挖掘理論和算法研究[D];重慶大學;2003年

相關(guān)碩士學位論文 前10條

1 張冬冬;空間數(shù)據(jù)挖掘中PVI算法的研究與應(yīng)用[D];河南大學;2011年

2 涂明;關(guān)聯(lián)規(guī)則增量式更新算法研究[D];合肥工業(yè)大學;2010年

3 王景;基于關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘的研究[D];廣西大學;2003年

4 岳慧穎;含有時空約束的關(guān)聯(lián)規(guī)則挖掘方法研究[D];哈爾濱工程大學;2004年

5 聶倩雯;基于關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘和擴展貝葉斯網(wǎng)絡(luò)的電網(wǎng)故障診斷方法研究[D];西南交通大學;2010年

6 趙春勝;基于關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘方法在電廠脫硫監(jiān)測中的應(yīng)用研究[D];內(nèi)蒙古大學;2011年

7 蔣秀英;數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則算法優(yōu)化研究及應(yīng)用[D];山東師范大學;2003年

8 吳倩;基于關(guān)聯(lián)規(guī)則的零售業(yè)CRM的設(shè)計和實現(xiàn)[D];華東師范大學;2011年

9 孫彤;活性炭纖維吸附和解吸中的數(shù)據(jù)挖掘技術(shù)[D];遼寧工程技術(shù)大學;2004年

10 王爍;關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘中經(jīng)典頻集算法改進的研究[D];天津大學;2003年

本文編號：2606114