本文關鍵詞：基于Hadoop的VGI矢量空間數據管理方法研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著移動智能終端的迅速普及,用戶在移動端產生了大量的地理數據,基于關系數據庫的管理方法在管理無限增長的VGI(Volunteered Geographic Information)海量數據方面力有未逮,且無法滿足WEB2.0環(huán)境下高并發(fā)訪問的需要。目前的研究在不斷增長的VGI數據管理、高并發(fā)方面涉及較少。面向新型硬件架構的VGI數據管理、分析和應用方面的研究正成為地學領域的熱點之一。VGI數據量增長迅速,如何利用以Hadoop為代表的云平臺來簡單、高效的管理不斷增加的VGI數據是一個亟待研究的課題。本文圍繞此課題進行研究,主要研究內容包括以下三個方面： 1)基于Hadoop的VGI矢量空間數據組織 面向VGI應用環(huán)境下對空間數據組織的需求,分析VGI空間數據的數據結構,設計基于Hadoop的VGI數據存儲方案,以及對應的矢量空間數據模型。 2)基于Hadoop的VGI矢量空間數據管理 常見的VGI數據管理方法包括數據壓縮方法、多級空間索引機制、性能優(yōu)化策略和系統(tǒng)可靠性機制等。本文根據VGI矢量空間數據的特點,構建了HilbertR樹索引,以及在此基礎之上的多級空間索引。在數據壓縮方面,使用HBase本身支持的Snappy壓縮算法,達到了很好的效果。此外,深入研究了Hadoop的可靠性策略和性能優(yōu)化策略,并根據實際應用的特點,對相應的配置參數提出建議。 3)基于Hadoop的VGI矢量空間數據管理系統(tǒng)設計與實現(xiàn) 分析VGI數據管理平臺的功能需求,利用開源云存儲平臺Hadoop,研究VGI矢量空間數據云存儲平臺的實現(xiàn)方法,包括數據管理模塊,增量數據管理模塊以及數據查詢管理模塊,部署基于Linux PC集群的分布式環(huán)境,完成基于開源云計算平臺Hadoop的VGI矢量空間數據管理的原型系統(tǒng)的開發(fā)實現(xiàn),并使用OSM實例數據進行了驗證。 綜上所述,論文對基于Hadoop進行VGI矢量空間數據的管理方法進行了設計和實現(xiàn),對所提出的VGI矢量空間數據的多級空間索引方法、數據存儲模型等進行了實例驗證,研究表明,論文基于Hadoop云平臺提出的VGI數據存儲模型能夠滿足主流VGI數據的存儲需要,多級空間索引的構建能夠滿足數據的空間檢索需求。
【關鍵詞】：VGI Hadoop 矢量空間數據 HilbertR樹
【學位授予單位】：南京師范大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：P208
【目錄】：

• 摘要5-6
• Abstract6-12
• 第一章 緒論12-20
• 1.1 研究背景與意義12-13
• 1.1.1 選題背景12-13
• 1.1.2 研究意義13
• 1.2 國內外研究現(xiàn)狀13-16
• 1.2.1 VGI數據研究現(xiàn)狀13-14
• 1.2.2 矢量空間數據管理14
• 1.2.3 Hadoop的發(fā)展與應用現(xiàn)狀14-15
• 1.2.4 結論15-16
• 1.3 研究目標、內容和擬解決的關鍵問題16-17
• 1.3.1 研究目標16
• 1.3.2 研究內容16-17
• 1.3.3 擬解決的關鍵問題17
• 1.4 研究方法和技術路線17-18
• 1.4.1 研究方法17
• 1.4.2 技術路線17-18
• 1.5 論文的組織結構18-19
• 1.6 本章小結19-20
• 第二章 分布式計算平臺Hadoop20-31
• 2.1 Hadoop概述20-21
• 2.2 分布式文件系統(tǒng)HDFS21-24
• 2.2.1 HDFS的優(yōu)勢21-22
• 2.2.2 HDFS的體系結構22-23
• 2.2.3 HDFS的數據讀寫23-24
• 2.3 分布式數據庫HBase24-29
• 2.3.1 HBase數據模型24-26
• 2.3.2 HBase的體系結構26-29
• 2.4 協(xié)調服務ZooKeeper29-30
• 2.4.1 ZooKeeper的設計目標29-30
• 2.4.2 ZooKeeper的作用30
• 2.5 本章小結30-31
• 第三章 基于Hadoop的VGI矢量空間數據的組織方式31-45
• 3.1 VGI空間數據特點和類型31-37
• 3.1.1 VGI空間數據的特點31-32
• 3.1.2 VGI數據類型32-37
• 3.2 VGI應用場景下數據組織的需求37
• 3.3 VGI矢量空間數據模型37-43
• 3.3.1 概念模型38
• 3.3.2 邏輯模型38-43
• 3.4 增量數據組織方式43-44
• 3.5 本章小結44-45
• 第四章 基于Hadoop的VGI矢量空間數據的管理方法45-57
• 4.1 VGI矢量空間數據的空間索引45-53
• 4.1.1 主要空間索引方法45-46
• 4.1.2 R樹索引46-51
• 4.1.3 多級空間索引51-53
• 4.2 HBase壓縮53-54
• 4.3 可靠性策略54-55
• 4.4 性能優(yōu)化策略55-56
• 4.5 本章小結56-57
• 第五章 基于Hadoop的VGI矢量空間數據管理系統(tǒng)的設計與實現(xiàn)57-71
• 5.1 系統(tǒng)需求分析57-59
• 5.1.1 數據需求分析57-58
• 5.1.2 功能需求分析58-59
• 5.1.3 性能需求分析59
• 5.2 系統(tǒng)設計方案59-67
• 5.2.1 系統(tǒng)建設目標59
• 5.2.2 開發(fā)語言的選擇59-60
• 5.2.3 軟件平臺的選擇60
• 5.2.4 技術路線60-61
• 5.2.5 Hadoop集群環(huán)境61-62
• 5.2.6 系統(tǒng)功能模塊設計62-67
• 5.3 系統(tǒng)實現(xiàn)與驗證67-70
• 5.3.1 查詢結果67-69
• 5.3.2 查詢效率分析69-70
• 5.4 本章小結70-71
• 第六章 結論與展望71-73
• 6.1 研究工作與成果71-72
• 6.2 研究結論72
• 6.3 研究展望72-73
• 參考文獻73-78
• 致謝78

【參考文獻】

中國期刊全文數據庫 前10條

1 閻超德,趙學勝;GIS空間索引方法述評[J];地理與地理信息科學;2004年04期

2 林立宇;陳云海;;基于云計算的電子商務推薦平臺的構建分析[J];廣東通信技術;2010年11期

3 范建永;龍明;熊偉;;基于HBase的矢量空間數據分布式存儲研究[J];地理與地理信息科學;2012年05期

4 崔朝國;劉志明;李婧;陳曉凡;;一種基于Hadoop的Scool云存儲平臺[J];電腦知識與技術;2013年02期

5 劉愛麗;宋偉東;孫貴博;;一種自發(fā)地理信息采集方法研究[J];測繪科學;2013年02期

6 何小苑;閔華清;;基于聚類的Hilbert R-樹空間索引算法[J];計算機工程;2009年09期

7 陸鋒,周成虎;一種基于Hilbert排列碼的GIS空間索引方法[J];計算機輔助設計與圖形學學報;2001年05期

8 胡久鄉(xiāng),何松,鐘瑜;空間數據庫網格索引機制的最優(yōu)劃分[J];計算機學報;2002年11期

9 蔡浴泓;孫蕾;;基于R樹的空間數據索引技術的探索[J];計算機應用與軟件;2008年12期

10 尹芳;馮敏;諸云強;劉睿;;基于開源Hadoop的矢量空間數據分布式處理研究[J];計算機工程與應用;2013年16期

中國博士學位論文全文數據庫 前1條

1 錢新林;面向自發(fā)地理信息的空間數據表達與管理方法研究[D];武漢大學;2011年

  本文關鍵詞：基于Hadoop的VGI矢量空間數據管理方法研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：305891