本文關(guān)鍵詞：基于Hadoop的VGI矢量空間數(shù)據(jù)管理方法研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著移動智能終端的迅速普及,用戶在移動端產(chǎn)生了大量的地理數(shù)據(jù),基于關(guān)系數(shù)據(jù)庫的管理方法在管理無限增長的VGI(Volunteered Geographic Information)海量數(shù)據(jù)方面力有未逮,且無法滿足WEB2.0環(huán)境下高并發(fā)訪問的需要。目前的研究在不斷增長的VGI數(shù)據(jù)管理、高并發(fā)方面涉及較少。面向新型硬件架構(gòu)的VGI數(shù)據(jù)管理、分析和應(yīng)用方面的研究正成為地學(xué)領(lǐng)域的熱點之一。VGI數(shù)據(jù)量增長迅速,如何利用以Hadoop為代表的云平臺來簡單、高效的管理不斷增加的VGI數(shù)據(jù)是一個亟待研究的課題。本文圍繞此課題進行研究,主要研究內(nèi)容包括以下三個方面： 1)基于Hadoop的VGI矢量空間數(shù)據(jù)組織 面向VGI應(yīng)用環(huán)境下對空間數(shù)據(jù)組織的需求,分析VGI空間數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu),設(shè)計基于Hadoop的VGI數(shù)據(jù)存儲方案,以及對應(yīng)的矢量空間數(shù)據(jù)模型。 2)基于Hadoop的VGI矢量空間數(shù)據(jù)管理 常見的VGI數(shù)據(jù)管理方法包括數(shù)據(jù)壓縮方法、多級空間索引機制、性能優(yōu)化策略和系統(tǒng)可靠性機制等。本文根據(jù)VGI矢量空間數(shù)據(jù)的特點,構(gòu)建了HilbertR樹索引,以及在此基礎(chǔ)之上的多級空間索引。在數(shù)據(jù)壓縮方面,使用HBase本身支持的Snappy壓縮算法,達到了很好的效果。此外,深入研究了Hadoop的可靠性策略和性能優(yōu)化策略,并根據(jù)實際應(yīng)用的特點,對相應(yīng)的配置參數(shù)提出建議。 3)基于Hadoop的VGI矢量空間數(shù)據(jù)管理系統(tǒng)設(shè)計與實現(xiàn) 分析VGI數(shù)據(jù)管理平臺的功能需求,利用開源云存儲平臺Hadoop,研究VGI矢量空間數(shù)據(jù)云存儲平臺的實現(xiàn)方法,包括數(shù)據(jù)管理模塊,增量數(shù)據(jù)管理模塊以及數(shù)據(jù)查詢管理模塊,部署基于Linux PC集群的分布式環(huán)境,完成基于開源云計算平臺Hadoop的VGI矢量空間數(shù)據(jù)管理的原型系統(tǒng)的開發(fā)實現(xiàn),并使用OSM實例數(shù)據(jù)進行了驗證。 綜上所述,論文對基于Hadoop進行VGI矢量空間數(shù)據(jù)的管理方法進行了設(shè)計和實現(xiàn),對所提出的VGI矢量空間數(shù)據(jù)的多級空間索引方法、數(shù)據(jù)存儲模型等進行了實例驗證,研究表明,論文基于Hadoop云平臺提出的VGI數(shù)據(jù)存儲模型能夠滿足主流VGI數(shù)據(jù)的存儲需要,多級空間索引的構(gòu)建能夠滿足數(shù)據(jù)的空間檢索需求。
【關(guān)鍵詞】：VGI Hadoop 矢量空間數(shù)據(jù) HilbertR樹
【學(xué)位授予單位】：南京師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：P208
【目錄】：

• 摘要5-6
• Abstract6-12
• 第一章 緒論12-20
• 1.1 研究背景與意義12-13
• 1.1.1 選題背景12-13
• 1.1.2 研究意義13
• 1.2 國內(nèi)外研究現(xiàn)狀13-16
• 1.2.1 VGI數(shù)據(jù)研究現(xiàn)狀13-14
• 1.2.2 矢量空間數(shù)據(jù)管理14
• 1.2.3 Hadoop的發(fā)展與應(yīng)用現(xiàn)狀14-15
• 1.2.4 結(jié)論15-16
• 1.3 研究目標(biāo)、內(nèi)容和擬解決的關(guān)鍵問題16-17
• 1.3.1 研究目標(biāo)16
• 1.3.2 研究內(nèi)容16-17
• 1.3.3 擬解決的關(guān)鍵問題17
• 1.4 研究方法和技術(shù)路線17-18
• 1.4.1 研究方法17
• 1.4.2 技術(shù)路線17-18
• 1.5 論文的組織結(jié)構(gòu)18-19
• 1.6 本章小結(jié)19-20
• 第二章 分布式計算平臺Hadoop20-31
• 2.1 Hadoop概述20-21
• 2.2 分布式文件系統(tǒng)HDFS21-24
• 2.2.1 HDFS的優(yōu)勢21-22
• 2.2.2 HDFS的體系結(jié)構(gòu)22-23
• 2.2.3 HDFS的數(shù)據(jù)讀寫23-24
• 2.3 分布式數(shù)據(jù)庫HBase24-29
• 2.3.1 HBase數(shù)據(jù)模型24-26
• 2.3.2 HBase的體系結(jié)構(gòu)26-29
• 2.4 協(xié)調(diào)服務(wù)ZooKeeper29-30
• 2.4.1 ZooKeeper的設(shè)計目標(biāo)29-30
• 2.4.2 ZooKeeper的作用30
• 2.5 本章小結(jié)30-31
• 第三章 基于Hadoop的VGI矢量空間數(shù)據(jù)的組織方式31-45
• 3.1 VGI空間數(shù)據(jù)特點和類型31-37
• 3.1.1 VGI空間數(shù)據(jù)的特點31-32
• 3.1.2 VGI數(shù)據(jù)類型32-37
• 3.2 VGI應(yīng)用場景下數(shù)據(jù)組織的需求37
• 3.3 VGI矢量空間數(shù)據(jù)模型37-43
• 3.3.1 概念模型38
• 3.3.2 邏輯模型38-43
• 3.4 增量數(shù)據(jù)組織方式43-44
• 3.5 本章小結(jié)44-45
• 第四章 基于Hadoop的VGI矢量空間數(shù)據(jù)的管理方法45-57
• 4.1 VGI矢量空間數(shù)據(jù)的空間索引45-53
• 4.1.1 主要空間索引方法45-46
• 4.1.2 R樹索引46-51
• 4.1.3 多級空間索引51-53
• 4.2 HBase壓縮53-54
• 4.3 可靠性策略54-55
• 4.4 性能優(yōu)化策略55-56
• 4.5 本章小結(jié)56-57
• 第五章 基于Hadoop的VGI矢量空間數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn)57-71
• 5.1 系統(tǒng)需求分析57-59
• 5.1.1 數(shù)據(jù)需求分析57-58
• 5.1.2 功能需求分析58-59
• 5.1.3 性能需求分析59
• 5.2 系統(tǒng)設(shè)計方案59-67
• 5.2.1 系統(tǒng)建設(shè)目標(biāo)59
• 5.2.2 開發(fā)語言的選擇59-60
• 5.2.3 軟件平臺的選擇60
• 5.2.4 技術(shù)路線60-61
• 5.2.5 Hadoop集群環(huán)境61-62
• 5.2.6 系統(tǒng)功能模塊設(shè)計62-67
• 5.3 系統(tǒng)實現(xiàn)與驗證67-70
• 5.3.1 查詢結(jié)果67-69
• 5.3.2 查詢效率分析69-70
• 5.4 本章小結(jié)70-71
• 第六章 結(jié)論與展望71-73
• 6.1 研究工作與成果71-72
• 6.2 研究結(jié)論72
• 6.3 研究展望72-73
• 參考文獻73-78
• 致謝78

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 閻超德,趙學(xué)勝;GIS空間索引方法述評[J];地理與地理信息科學(xué);2004年04期

2 林立宇;陳云海;;基于云計算的電子商務(wù)推薦平臺的構(gòu)建分析[J];廣東通信技術(shù);2010年11期

3 范建永;龍明;熊偉;;基于HBase的矢量空間數(shù)據(jù)分布式存儲研究[J];地理與地理信息科學(xué);2012年05期

4 崔朝國;劉志明;李婧;陳曉凡;;一種基于Hadoop的Scool云存儲平臺[J];電腦知識與技術(shù);2013年02期

5 劉愛麗;宋偉東;孫貴博;;一種自發(fā)地理信息采集方法研究[J];測繪科學(xué);2013年02期

6 何小苑;閔華清;;基于聚類的Hilbert R-樹空間索引算法[J];計算機工程;2009年09期

7 陸鋒,周成虎;一種基于Hilbert排列碼的GIS空間索引方法[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2001年05期

8 胡久鄉(xiāng),何松,鐘瑜;空間數(shù)據(jù)庫網(wǎng)格索引機制的最優(yōu)劃分[J];計算機學(xué)報;2002年11期

9 蔡浴泓;孫蕾;;基于R樹的空間數(shù)據(jù)索引技術(shù)的探索[J];計算機應(yīng)用與軟件;2008年12期

10 尹芳;馮敏;諸云強;劉睿;;基于開源Hadoop的矢量空間數(shù)據(jù)分布式處理研究[J];計算機工程與應(yīng)用;2013年16期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 錢新林;面向自發(fā)地理信息的空間數(shù)據(jù)表達與管理方法研究[D];武漢大學(xué);2011年

  本文關(guān)鍵詞：基于Hadoop的VGI矢量空間數(shù)據(jù)管理方法研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：305891