本文關(guān)鍵詞：基于Hadoop和Mapnik的矢量數(shù)據(jù)渲染技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著對(duì)地觀測(cè)技術(shù)如全球定位導(dǎo)航系統(tǒng)、衛(wèi)星遙感與航空勘測(cè)、傳感器網(wǎng)絡(luò)的進(jìn)步,地理空間數(shù)據(jù)的獲取手段日益先進(jìn)。伴隨著GIS在上世紀(jì)九十年代以來(lái)的迅猛發(fā)展,地理空間數(shù)量龐大、類(lèi)型繁多和結(jié)構(gòu)復(fù)雜的特點(diǎn)愈加明顯。測(cè)繪地理信息部門(mén)擁有名副其實(shí)的大數(shù)據(jù),僅西部測(cè)圖工程的成果,數(shù)據(jù)量就達(dá)到13.4TB。如何高效合理地存儲(chǔ)和處理GIS大數(shù)據(jù)、如何提升地圖渲染性能以增強(qiáng)地理空間數(shù)據(jù)提供實(shí)時(shí)服務(wù)的效能、如何滿(mǎn)足政府對(duì)于地理空間信息的新需求和技術(shù)支撐需求,直接關(guān)系到測(cè)繪地理信息部門(mén)的發(fā)展前景。Apache推出的Hadoop是目前得到廣泛應(yīng)用的大數(shù)據(jù)處理平臺(tái),具有高可靠性、高效性、高容錯(cuò)性、高效性的優(yōu)點(diǎn),支持PB級(jí)別數(shù)據(jù)的儲(chǔ)存與處理。本文在基于HBase存儲(chǔ)與處理空間矢量數(shù)據(jù)、基于MapReduce劃分空間矢量數(shù)據(jù)和分布式渲染空間矢量數(shù)據(jù)方面進(jìn)行了較為深入的應(yīng)用研究工作,完成的主要工作具體如下:(1)基于HBase行鍵、列族的原理與特征,設(shè)計(jì)了能夠存儲(chǔ)和查詢(xún)空間矢量數(shù)據(jù)的HBase表單格式;(2)結(jié)合HBase對(duì)輸入數(shù)據(jù)類(lèi)型的要求,提出了多線程條件下空間矢量數(shù)據(jù)導(dǎo)入HBase算法“MultiThreadInsertToHBase”,并通過(guò)編程方式實(shí)現(xiàn)了基于HBase的空間矢量數(shù)據(jù)多線程導(dǎo)入方法;(3)結(jié)合HBase支持MapReduce對(duì)其進(jìn)行分布式計(jì)算操作的特性,提出了基于MapReduce和GeoTools的空間矢量數(shù)據(jù)分塊算法“MapReduceDivideToShp”,實(shí)現(xiàn)了將HBase中的空間矢量數(shù)據(jù)按照設(shè)定條件劃分成若干個(gè)較小的Shapefile格式的矢量數(shù)據(jù)文件;(4)分析和討論了開(kāi)源渲染引擎Mapnik的內(nèi)在渲染機(jī)制及其相關(guān)API使用方法的細(xì)節(jié),在搭建Hadoop實(shí)驗(yàn)集群的基礎(chǔ)上,將其改造成為面向空間矢量數(shù)據(jù)渲染的Hadoop實(shí)驗(yàn)集群,實(shí)現(xiàn)了基于該實(shí)驗(yàn)集群的空間矢量數(shù)據(jù)的分布式渲染,提高了渲染效率。實(shí)驗(yàn)結(jié)果表明,基于HBase存儲(chǔ)與處理空間矢量數(shù)據(jù)是完全可行的,對(duì)空間矢量數(shù)據(jù)的分布式渲染能夠顯著提升較大規(guī)�？臻g矢量數(shù)據(jù)的渲染效率。
【關(guān)鍵詞】：Hadoop HBase表格式 矢量數(shù)據(jù)分塊 Mapnik 分布式渲染
【學(xué)位授予單位】：蘭州交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：P208
【目錄】：

• 摘要4-5
• Abstract5-10
• 1 緒論10-17
• 1.1 研究背景和意義10-11
• 1.2 研究現(xiàn)狀11-14
• 1.2.1 Hadoop的研究和應(yīng)用現(xiàn)狀11-13
• 1.2.2 Hadoop在空間數(shù)據(jù)上的研究和應(yīng)用現(xiàn)狀13-14
• 1.3 論文主要工作和結(jié)構(gòu)安排14-17
• 1.3.1 論文的主要工作14-16
• 1.3.2 論文的結(jié)構(gòu)安排16-17
• 2 關(guān)鍵技術(shù)概述17-35
• 2.1 分布式計(jì)算平臺(tái)Hadoop17-20
• 2.1.1 Hadoop簡(jiǎn)介17
• 2.1.2 Hadoop生態(tài)系統(tǒng)17-19
• 2.1.3 Hadoop拓?fù)浣Y(jié)構(gòu)特征—主從式架構(gòu)19
• 2.1.4 Hadoop典型部署方式19-20
• 2.2 HDFS文件系統(tǒng)及其Java API20-22
• 2.2.1 HDFS設(shè)計(jì)特點(diǎn)20
• 2.2.2 HDFS架構(gòu)20-22
• 2.2.3 HDFS中存取機(jī)制22
• 2.3 并行計(jì)算框架MapReduce簡(jiǎn)介22-27
• 2.3.1 MapReduce編程模型22-23
• 2.3.2 Hadoop MapReduce架構(gòu)23-25
• 2.3.3 Hadoop MapReduce工作流程25-27
• 2.4 分布式數(shù)據(jù)庫(kù)HBase及其Java API27-31
• 2.4.1 HBase表格概念27-28
• 2.4.2 HBase架構(gòu)28-30
• 2.4.3 HBase接.介紹30-31
• 2.5 Mapnik渲染引擎概述31-35
• 2.5.1 渲染對(duì)象數(shù)據(jù)組織結(jié)構(gòu)32-33
• 2.5.2 Mapnik渲染機(jī)制架構(gòu)33-35
• 3 基于HBase的空間矢量數(shù)據(jù)存儲(chǔ)表格設(shè)計(jì)35-44
• 3.1 相關(guān)知識(shí)概述35
• 3.1.1 空間數(shù)據(jù)簡(jiǎn)介35
• 3.1.2 矢量數(shù)據(jù)簡(jiǎn)介35
• 3.2 HBase對(duì)于空間矢量數(shù)據(jù)的適用性35-37
• 3.2.1 關(guān)系型數(shù)據(jù)庫(kù)與空間矢量數(shù)據(jù)35-36
• 3.2.2 HBase與空間矢量數(shù)據(jù)36-37
• 3.3 矢量數(shù)據(jù)存儲(chǔ)表格設(shè)計(jì)37-44
• 3.3.1 行鍵的設(shè)計(jì)37-39
• 3.3.2 列族的設(shè)計(jì)39-40
• 3.3.3 列族的分類(lèi)40-44
• 4 基于Hadoop的空間矢量數(shù)據(jù)存儲(chǔ)和分塊方案設(shè)計(jì)44-68
• 4.1 Shapefile格式空間數(shù)據(jù)簡(jiǎn)介44
• 4.2 空間數(shù)據(jù)處理工具GeoTools簡(jiǎn)介44-47
• 4.2.1 GeoTools架構(gòu)與數(shù)據(jù)格式支持44-46
• 4.2.2 安裝及使用方法46-47
• 4.3 數(shù)據(jù)轉(zhuǎn)換流程分析47-52
• 4.3.1 從Shapefile文件到符合WKT標(biāo)準(zhǔn)的矢量要素?cái)?shù)據(jù)47-50
• 4.3.2 從符合WKT標(biāo)準(zhǔn)的矢量要素?cái)?shù)據(jù)到Shapefile文件50-52
• 4.4 空間矢量數(shù)據(jù)存儲(chǔ)和分塊方法52-58
• 4.4.1 多線程條件下基于HBase的空間矢量數(shù)據(jù)插入方法53-55
• 4.4.2 基于MapReduce和GeoTools的空間數(shù)據(jù)分塊方法55-58
• 4.5 實(shí)驗(yàn)及結(jié)果展示分析58-68
• 4.5.1 實(shí)驗(yàn)集群搭建流程簡(jiǎn)述58-65
• 4.5.2 數(shù)據(jù)源簡(jiǎn)述65
• 4.5.3 基于HBase的矢量數(shù)據(jù)分布式存儲(chǔ)結(jié)果65-66
• 4.5.4 基于MapReduce和GeoTools的矢量數(shù)據(jù)劃分結(jié)果66-68
• 5 基于Hadoop和Mapnik的分布式渲染方案設(shè)計(jì)68-86
• 5.1 Mapnik渲染機(jī)制與流程分析68-70
• 5.2 面向空間數(shù)據(jù)渲染的Hadoop系統(tǒng)架構(gòu)70
• 5.3 基于Hadoop和Mapnik的分布式渲染方法70-76
• 5.3.1 Mapnik在Hadoop集群中的安裝和配置方法70-72
• 5.3.2 關(guān)于Mapnik Java API的說(shuō)明72-74
• 5.3.3 分布式渲染及可視化方案設(shè)計(jì)74-76
• 5.4 分布式渲染實(shí)驗(yàn)76-86
• 5.4.1 實(shí)驗(yàn)成果展示78-79
• 5.4.2 渲染性能對(duì)比分析79-86
• 6 結(jié)論86-88
• 致謝88-89
• 參考 文獻(xiàn)89-92
• 攻讀學(xué)位期間的研究成果92

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 譚國(guó)律;唐金秀;;矢量數(shù)據(jù)的優(yōu)化壓縮研究[J];測(cè)繪通報(bào);2010年04期

2 李菲;;城市基礎(chǔ)矢量數(shù)據(jù)組織與處理研究[J];科技資訊;2011年18期

3 郭明強(qiáng);謝忠;黃穎;;集群并發(fā)環(huán)境下大規(guī)模矢量數(shù)據(jù)負(fù)載均衡算法[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2013年09期

4 楊得志,王杰臣,閭國(guó)年;矢量數(shù)據(jù)壓縮的Douglas-Peucker算法的實(shí)現(xiàn)與改進(jìn)[J];測(cè)繪通報(bào);2002年07期

5 楊靖宇;戴晨光;張永生;;利用模板陰影體算法實(shí)現(xiàn)矢量數(shù)據(jù)在三維場(chǎng)景中的繪制[J];海洋測(cè)繪;2008年06期

6 閻曉東;戴晨光;楊靖宇;;基于模板陰影體原理的3維矢量數(shù)據(jù)繪制算法[J];測(cè)繪科學(xué)技術(shù)學(xué)報(bào);2008年01期

7 陳飛翔;李華;于文洋;;基于多實(shí)體的矢量數(shù)據(jù)壓縮改進(jìn)算法[J];計(jì)算機(jī)工程與應(yīng)用;2008年19期

8 蓋素麗;王娜;;三維地形仿真中矢量數(shù)據(jù)的精確高效繪制方法研究[J];河北省科學(xué)院學(xué)報(bào);2008年03期

9 巨正平;王勇;郭廣禮;齊建偉;;附有限制條件的逐點(diǎn)壓縮算法的設(shè)計(jì)與實(shí)現(xiàn)[J];測(cè)繪通報(bào);2009年04期

10 林冰仙;閭國(guó)年;李安波;;GIS矢量數(shù)據(jù)多功能版權(quán)保護(hù)研究[J];測(cè)繪通報(bào);2009年07期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 蔡娟娟;;從矢量數(shù)據(jù)入庫(kù)前整理探討歷史數(shù)據(jù)的改造模式[A];廣東省測(cè)繪學(xué)會(huì)第八次會(huì)員代表大會(huì)學(xué)術(shù)交流論文集[C];2005年

2 郭忠勝;金澄;黃利民;;地圖矢量數(shù)據(jù)裁剪方法研究[A];地理空間信息技術(shù)與應(yīng)用——中國(guó)科協(xié)2002年學(xué)術(shù)年會(huì)測(cè)繪論文集[C];2002年

3 闞映紅;竇武興;郭健;邵士新;;矢量數(shù)據(jù)拓?fù)浠^(guò)程中數(shù)據(jù)錯(cuò)誤的糾正[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第四次會(huì)員代表大會(huì)暨第十一屆年會(huì)論文集[C];2007年

4 譚吉學(xué);曹文利;;矢量數(shù)據(jù)壓縮方法研究[A];第二屆“測(cè)繪科學(xué)前沿技術(shù)論壇”論文精選[C];2010年

5 曹培國(guó);劉天光;于廣婷;;多批次影像與矢量數(shù)據(jù)配準(zhǔn)的實(shí)現(xiàn)[A];山東省“數(shù)字國(guó)土”學(xué)術(shù)交流會(huì)論文集[C];2007年

6 盧健;何正國(guó);;Web GIS的若干關(guān)鍵技術(shù)以及實(shí)現(xiàn)[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

7 劉丹丹;張春玲;;CAD下矢量數(shù)據(jù)的幾何糾正研究[A];中國(guó)測(cè)繪學(xué)會(huì)第九次全國(guó)會(huì)員代表大會(huì)暨學(xué)會(huì)成立50周年紀(jì)念大會(huì)論文集[C];2009年

8 張德勝;馮登國(guó);;BeyonDB:一種地理空間數(shù)據(jù)庫(kù)矢量數(shù)據(jù)授權(quán)與實(shí)現(xiàn)[A];NDBC2010第27屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(B輯)[C];2010年

9 余詠勝;王晶;;矢量數(shù)據(jù)與柵格影像坐標(biāo)變換一致性方法探討[A];2006年測(cè)繪新技術(shù)應(yīng)用交流會(huì)論文集[C];2006年

10 蔡娟娟;;淺談建立基礎(chǔ)空間數(shù)據(jù)庫(kù)1萬(wàn)矢量數(shù)據(jù)庫(kù)基于Oracle+ArcSDE+Personal Geodatabase空間數(shù)據(jù)管理技術(shù)創(chuàng)建矢量庫(kù)[A];廣東省測(cè)繪學(xué)會(huì)第八次會(huì)員代表大會(huì)學(xué)術(shù)交流論文集[C];2005年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前2條

1 陳妍　喬嘉佳;哈爾濱又添測(cè)繪地信科普平臺(tái)[N];中國(guó)測(cè)繪報(bào);2014年

2 超圖軟件石油石化事業(yè)部經(jīng)理 鄭占國(guó);讓石油管道“動(dòng)起來(lái)”[N];計(jì)算機(jī)世界;2011年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 王剛;顧及要素特征的層次增量分塊矢量數(shù)據(jù)組織與高效網(wǎng)絡(luò)傳輸研究[D];武漢大學(xué);2011年

2 崔樹(shù)林;基于GPU的并行矢量數(shù)據(jù)分析與索引技術(shù)研究[D];中國(guó)科學(xué)院研究生院（東北地理與農(nóng)業(yè)生態(tài)研究所）;2014年

3 苗茹;面向WEB可視化的矢量數(shù)據(jù)流式漸進(jìn)傳輸研究[D];河南大學(xué);2014年

4 王姣姣;基于球面DQG的地形與矢量數(shù)據(jù)自適應(yīng)集成建模[D];中國(guó)礦業(yè)大學(xué)（北京）;2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 葛平;協(xié)同GIS中矢量數(shù)據(jù)編輯問(wèn)題的研究與實(shí)踐[D];解放軍信息工程大學(xué);2008年

2 田軍;基于基態(tài)修正模型的矢量數(shù)據(jù)增量更新機(jī)制研究[D];北京建筑大學(xué);2015年

3 靳鳳營(yíng);基于云計(jì)算的土地利用矢量數(shù)據(jù)高效處理技術(shù)研究[D];浙江大學(xué);2015年

4 王楓;矢量數(shù)據(jù)分級(jí)顯示方法研究[D];中國(guó)地質(zhì)大學(xué)(北京);2015年

5 陳歡;地理矢量數(shù)據(jù)快速可視化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

6 薛純;基于Hadoop和Mapnik的矢量數(shù)據(jù)渲染技術(shù)研究[D];蘭州交通大學(xué);2015年

7 秦斌;移動(dòng)GIS中矢量數(shù)據(jù)壓縮及傳輸問(wèn)題研究[D];昆明理工大學(xué);2010年

8 喬文昊;一種矢量數(shù)據(jù)快速調(diào)度方法的研究[D];北京建筑大學(xué);2013年

9 袁淑芳;城市基礎(chǔ)地理信息系統(tǒng)中矢量數(shù)據(jù)質(zhì)量控制[D];西南交通大學(xué);2006年

10 張建峰;城市基礎(chǔ)GIS矢量數(shù)據(jù)編輯與更新技術(shù)研究[D];江西理工大學(xué);2008年

  本文關(guān)鍵詞：基于Hadoop和Mapnik的矢量數(shù)據(jù)渲染技術(shù)研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：260065