本文關(guān)鍵詞：矢量空間數(shù)據(jù)云存儲(chǔ)與馬爾可夫并行聚類算法研究

  更多相關(guān)文章： 云存儲(chǔ) MongoDB 矢量空間數(shù)據(jù) MapReduce 馬爾可夫聚類

【摘要】：近年來隨著地理空間數(shù)據(jù)的爆炸型增長(zhǎng),矢量空間數(shù)據(jù)存儲(chǔ)與挖掘日益成為空間信息科學(xué)領(lǐng)域的研究熱點(diǎn)。如何高效地存儲(chǔ)和管理海量矢量空間數(shù)據(jù),并從中挖掘有用的地學(xué)知識(shí),成為地學(xué)領(lǐng)域亟待解決的問題。本文在非關(guān)系數(shù)據(jù)庫(kù)和MapReduce模型等理論的基礎(chǔ)上,以矢量空間數(shù)據(jù)為研究對(duì)象,提出了在云環(huán)境下多用戶存儲(chǔ)、多類型數(shù)據(jù)轉(zhuǎn)換和海量矢量空間數(shù)據(jù)處理等三種矢量空間數(shù)據(jù)存儲(chǔ)與處理機(jī)制,基于文檔型數(shù)據(jù)庫(kù)MongoDB和并行計(jì)算框架Hadoop實(shí)現(xiàn)了矢量空間數(shù)據(jù)云存儲(chǔ)系統(tǒng),并最終實(shí)現(xiàn)與自主研發(fā)的地理知識(shí)云服務(wù)平臺(tái)GeoKSCloud的緊密集成；總結(jié)了MapReduce模型下對(duì)圖算法進(jìn)行整體優(yōu)化設(shè)計(jì)的三種途徑及其具體解決方法,據(jù)此設(shè)計(jì)并實(shí)現(xiàn)了馬爾可夫并行聚類算法。主要研究?jī)?nèi)容和成果如下：1.綜述了矢量空間數(shù)據(jù)存儲(chǔ)理論與技術(shù)的研究現(xiàn)狀,探討了NoSQL數(shù)據(jù)庫(kù)的特點(diǎn),闡述了MongoDB數(shù)據(jù)數(shù)據(jù)庫(kù)的特點(diǎn)及應(yīng)用場(chǎng)景；從并行聚類和數(shù)據(jù)挖掘平臺(tái)兩個(gè)方面總結(jié)了云環(huán)境下的并行聚類研究現(xiàn)狀,并詳細(xì)介紹了MapReduce模型、聚類概念與流程、經(jīng)典聚類算法、圖聚類算法等相關(guān)理論與技術(shù)。2.開展了矢量空間數(shù)據(jù)存儲(chǔ)機(jī)制以及云存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)方面的研究。提出了多用戶存儲(chǔ)、多類型數(shù)據(jù)轉(zhuǎn)換和海量矢量空間數(shù)據(jù)處理等三種存儲(chǔ)與處理機(jī)制：即利用MongoDB存儲(chǔ)矢量空間數(shù)據(jù)及其元數(shù)據(jù),利用開源簡(jiǎn)單要素庫(kù)OGR實(shí)現(xiàn)異構(gòu)矢量空間數(shù)據(jù)的轉(zhuǎn)換與讀寫,借助Hadoop完成海量矢量空間數(shù)據(jù)的處理與挖掘任務(wù)。之后,依托于地理知識(shí)云平臺(tái)GeoKSClou d的基本框架,提出了由數(shù)據(jù)層、業(yè)務(wù)層和表現(xiàn)層三部分組成的系統(tǒng)架構(gòu),通過集群搭建、數(shù)據(jù)存儲(chǔ)、導(dǎo)入導(dǎo)出、數(shù)據(jù)庫(kù)訪問、數(shù)據(jù)處理等方面對(duì)系統(tǒng)進(jìn)行了詳細(xì)設(shè)計(jì),最終實(shí)現(xiàn)了矢量空間數(shù)據(jù)云存儲(chǔ)系統(tǒng)。3.開展了在MapReduce模型下圖算法的優(yōu)化設(shè)計(jì)方法,以及馬爾可夫聚類算法并行化方面的研究。根據(jù)圖結(jié)構(gòu)拓?fù)潢P(guān)系的復(fù)雜性,探討了MapReduce模型下圖算法的優(yōu)化設(shè)計(jì)方法,主要對(duì)消息傳遞機(jī)制、基于本地聚合的數(shù)據(jù)約簡(jiǎn)、基于Mapper內(nèi)部聚合的數(shù)據(jù)約簡(jiǎn)等三個(gè)途徑進(jìn)行了優(yōu)化,并提出了相應(yīng)的具體解決方法。之后,將MCL算法分解為矩陣表示、擴(kuò)張操作、膨脹操作和算法整合等部分。采用子矩陣方式表達(dá)矩陣,在擴(kuò)張操作和膨脹操作中提出了并行化方案,并進(jìn)行了并行策略的多次優(yōu)化。最終,通過整合各操作實(shí)現(xiàn)了并行化算法MR-MCL。4.開展了VectorDB云存儲(chǔ)系統(tǒng)、MR-MC L算法的性能測(cè)試與評(píng)價(jià)工作。結(jié)果顯示,VectorDB比PostGIS具有更加強(qiáng)大的讀取性能,VectorDB在并行處理方面比MongoDB更有優(yōu)勢(shì),MR-MCL算法具有良好的擴(kuò)展性與高效性。
【關(guān)鍵詞】：云存儲(chǔ) MongoDB 矢量空間數(shù)據(jù) MapReduce 馬爾可夫聚類
【學(xué)位授予單位】：福州大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：P208
【目錄】：

• 中文摘要3-4
• Abstract4-9
• 第一章 緒論9-19
• 1.1 研究背景9-10
• 1.2 研究目標(biāo)與內(nèi)容10
• 1.3 研究技術(shù)路線10-11
• 1.4 文章章節(jié)安排11-13
• 1.5 國(guó)內(nèi)外研究現(xiàn)狀13-19
• 1.5.1 矢量空間數(shù)據(jù)存儲(chǔ)13-15
• 1.5.2 云環(huán)境下并行聚類15-19
• 第二章 相關(guān)理論基礎(chǔ)19-29
• 2.1 空間數(shù)據(jù)云存儲(chǔ)概述19-22
• 2.1.1 NoSQL數(shù)據(jù)庫(kù)19-21
• 2.1.2 MongoDB21-22
• 2.2 并行聚類概述22-27
• 2.2.1 MapReduce模型概述22-24
• 2.2.2 聚類挖掘概述24-27
• 2.3 本章小結(jié)27-29
• 第三章 基于MongoDB的矢量空間數(shù)據(jù)存儲(chǔ)與處理29-56
• 3.1 地理知識(shí)云服務(wù)平臺(tái)GeoKSCloud29-32
• 3.1.1 體系結(jié)構(gòu)29-31
• 3.1.2 平臺(tái)主要功能31-32
• 3.2 需求分析32-34
• 3.2.1 功能要求32-33
• 3.2.2 性能要求33-34
• 3.3 存儲(chǔ)與處理機(jī)制34-37
• 3.3.1 多用戶存儲(chǔ)機(jī)制34-35
• 3.3.2 矢量空間數(shù)據(jù)存儲(chǔ)35-36
• 3.3.3 海量數(shù)據(jù)處理機(jī)制36-37
• 3.4 系統(tǒng)架構(gòu)37-42
• 3.4.1 數(shù)據(jù)層38-39
• 3.4.2 業(yè)務(wù)層39-41
• 3.4.3 表現(xiàn)層41-42
• 3.5 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)42-54
• 3.5.1 MongoDB集群搭建42-44
• 3.5.2 數(shù)據(jù)存儲(chǔ)44-46
• 3.5.3 導(dǎo)入導(dǎo)出模塊46-48
• 3.5.4 數(shù)據(jù)庫(kù)訪問模塊48-50
• 3.5.5 數(shù)據(jù)處理模塊50-52
• 3.5.6 系統(tǒng)主要界面52-54
• 3.6 本章小結(jié)54-56
• 第四章 基于MapReduce的MCL并行算法56-73
• 4.1 馬爾可夫聚類算法56-59
• 4.1.1 基本概念56-57
• 4.1.2 算法過程57-58
• 4.1.3 特點(diǎn)58-59
• 4.2 圖算法的優(yōu)化設(shè)計(jì)方法59-61
• 4.2.1 分布式消息傳遞機(jī)制59-60
• 4.2.2 基于本地聚合的數(shù)據(jù)約簡(jiǎn)60
• 4.2.3 基于Mapper內(nèi)部聚合的數(shù)據(jù)約簡(jiǎn)60-61
• 4.3 MR-MCL設(shè)計(jì)與實(shí)現(xiàn)61-71
• 4.3.1 矩陣表示62-64
• 4.3.2 擴(kuò)張操作64-70
• 4.3.3 膨脹操作70-71
• 4.3.4 整合71
• 4.4 本章小結(jié)71-73
• 第五章 性能測(cè)試與評(píng)價(jià)73-80
• 5.1 試驗(yàn)環(huán)境的軟硬件配置73-74
• 5.2 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備74-75
• 5.3 VectorDB讀寫性能分析75-76
• 5.4 VectorDB并行計(jì)算性能分析76-77
• 5.5 MCL算法性能分析77-79
• 5.6 小結(jié)79-80
• 第六章 總結(jié)與展望80-83
• 6.1 工作總結(jié)80-81
• 6.2 創(chuàng)新與特色81
• 6.3 展望81-83
• 參考文獻(xiàn)83-88
• 致謝88-89
• 個(gè)人簡(jiǎn)歷89

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李軍;地球科學(xué)數(shù)據(jù)研究的初步探討[J];地理學(xué)報(bào);1996年S1期

2 狄明遠(yuǎn);周鐵城;;云計(jì)算淺析[J];科技風(fēng);2009年13期

3 張珊珊;;基于Oracle的海量DEM數(shù)據(jù)建庫(kù)研究[J];地理空間信息;2007年03期

4 陳少雄;盧尚龍;丁建勛;;數(shù)據(jù)監(jiān)理在基礎(chǔ)信息系統(tǒng)數(shù)據(jù)入庫(kù)中的應(yīng)用[J];地理空間信息;2008年04期

5 何非;何克清;;大數(shù)據(jù)及其科學(xué)問題與方法的探討[J];武漢大學(xué)學(xué)報(bào)(理學(xué)版);2014年01期

6 韓雪培;涂瓊;;CAD數(shù)據(jù)空間參考的判斷與參數(shù)獲取[J];地理與地理信息科學(xué);2010年02期

7 金君,李成名,印潔,林宗堅(jiān);人口數(shù)據(jù)空間分布化模型研究[J];測(cè)繪學(xué)報(bào);2003年03期

8 王星捷;;MapGIS點(diǎn)文件數(shù)據(jù)分析與讀取實(shí)驗(yàn)[J];測(cè)繪科學(xué);2013年01期

9 李景葉;張連群;陳小宏;;時(shí)移地震數(shù)據(jù)空間偏差校正方法[J];物探與化探;2012年04期

10 徐壽成,高文;GIS支持的城市土地定級(jí)方法的研究——離散型數(shù)據(jù)空間相關(guān)分析法[J];自然資源;1993年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前5條

1 李鴻奎;陳洪艷;;大連市房地產(chǎn)基礎(chǔ)地理信息系統(tǒng)的設(shè)計(jì)和建設(shè)[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第九屆年會(huì)論文集[C];2005年

2 董彥磊;申德榮;寇月;聶鐵錚;;數(shù)據(jù)空間中數(shù)據(jù)組織模型以及關(guān)聯(lián)關(guān)系發(fā)現(xiàn)模型的研究[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

3 龐怡;許洪光;張志敏;;針對(duì)海量科技信息的存儲(chǔ)研究[A];信息時(shí)代——科技情報(bào)研究學(xué)術(shù)論文集（第三輯）[C];2008年

4 季承;;Oracle利用HWM高水標(biāo)記收縮數(shù)據(jù)空間方案[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

5 季承;;Oracle利用HWM高水標(biāo)記收縮數(shù)據(jù)空間方案[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前6條

1 牛澤亞;用戶如何在數(shù)據(jù)空間里“被遺忘”？[N];人民郵電;2014年

2 風(fēng)格;指引大數(shù)據(jù)未來發(fā)展方向的九大真理[N];中華讀書報(bào);2013年

3 錄音整理 本報(bào)記者 劉文強(qiáng) 楊豐源;創(chuàng)新驅(qū)動(dòng)，，奮力奔向大數(shù)據(jù)時(shí)代[N];貴陽(yáng)日?qǐng)?bào);2014年

4 中國(guó)人民大學(xué)信息學(xué)院 李玉坤;云計(jì)算與數(shù)據(jù)空間[N];中國(guó)計(jì)算機(jī)報(bào);2008年

5 整理 本報(bào)記者 蘇丹丹;把握大數(shù)據(jù)機(jī)遇 推動(dòng)文化產(chǎn)業(yè)跨越發(fā)展[N];中國(guó)文化報(bào);2013年

6 安徽國(guó)稅局 趙為民;稅務(wù)綜合數(shù)據(jù)平臺(tái)的設(shè)想[N];計(jì)算機(jī)世界;2007年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 李曉娜;面向SaaS應(yīng)用的多租戶數(shù)據(jù)放置機(jī)制研究[D];山東大學(xué);2015年

2 張德兵;基于機(jī)器學(xué)習(xí)的數(shù)據(jù)補(bǔ)全、標(biāo)注和檢索若干問題研究[D];浙江大學(xué);2015年

3 劉思彤;空間文本數(shù)據(jù)的查詢處理技術(shù)研究[D];清華大學(xué);2015年

4 侯振隆;重力全張量梯度數(shù)據(jù)的并行反演算法研究及應(yīng)用[D];吉林大學(xué);2016年

5 姜朔;數(shù)據(jù)空間中數(shù)據(jù)集成若干關(guān)鍵問題研究[D];東華大學(xué);2014年

6 陳鵬;面向情景感知計(jì)算的時(shí)空數(shù)據(jù)管理、查詢、分析與相關(guān)算法研究[D];華東師范大學(xué);2013年

7 楊丹;數(shù)據(jù)空間中基于語(yǔ)義的實(shí)體搜索關(guān)鍵技術(shù)研究[D];東北大學(xué);2012年

8 王曉蕊;華北克拉通地球化學(xué)科學(xué)數(shù)據(jù)的管理及應(yīng)用研究[D];中國(guó)地質(zhì)大學(xué);2008年

9 張曉東;數(shù)字河口平臺(tái)建設(shè)關(guān)鍵技術(shù)研究[D];中國(guó)海洋大學(xué);2009年

10 汪陳應(yīng);XML數(shù)據(jù)編碼與存儲(chǔ)管理關(guān)鍵技術(shù)研究[D];南開大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 權(quán)西瑞;云環(huán)境下數(shù)據(jù)版權(quán)保護(hù)方法的研究[D];西安建筑科技大學(xué);2015年

2 向兵;中藥顆粒調(diào)劑設(shè)備中輔助硬件及自動(dòng)封口機(jī)的設(shè)計(jì)[D];東北師范大學(xué);2015年

3 朱躍龍;公安情報(bào)自動(dòng)分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

4 張鵬遠(yuǎn);大數(shù)據(jù)分類存儲(chǔ)及檢索方法研究[D];西安電子科技大學(xué);2014年

5 王夢(mèng)佳;DOA下數(shù)據(jù)注冊(cè)方法的初步研究與實(shí)現(xiàn)[D];成都理工大學(xué);2015年

6 陳啟偉;電機(jī)狀態(tài)云監(jiān)測(cè)系統(tǒng)研究與實(shí)現(xiàn)[D];浙江大學(xué);2016年

7 王照清;大數(shù)據(jù)環(huán)境下數(shù)據(jù)查詢優(yōu)化技術(shù)應(yīng)用研究[D];北方工業(yè)大學(xué);2016年

8 賈振美;面向稀疏軌跡數(shù)據(jù)的位置預(yù)測(cè)方法研究[D];東北大學(xué);2014年

9 雷德龍;矢量空間數(shù)據(jù)云存儲(chǔ)與馬爾可夫并行聚類算法研究[D];福州大學(xué);2014年

10 崔晨;基于活動(dòng)的數(shù)據(jù)空間的數(shù)據(jù)關(guān)系發(fā)現(xiàn)和數(shù)據(jù)重要性評(píng)價(jià)[D];華僑大學(xué);2011年

本文編號(hào)：939893