本文關(guān)鍵詞：基于MapReduce的柵格地圖切片系統(tǒng)

  更多相關(guān)文章： MapReduce 柵格地圖 分布式地圖切片

【摘要】：近年來,地理信息技術(shù)的飛速發(fā)展和空間遙感儀器分辨率的不斷提高,使得地圖應(yīng)用領(lǐng)域不斷擴(kuò)大、柵格地圖數(shù)據(jù)量急劇增長。現(xiàn)階段WebGIS系統(tǒng)通常預(yù)先對柵格地圖數(shù)據(jù)進(jìn)行切片,并以瓦片金字塔形式組織柵格地圖數(shù)據(jù)。當(dāng)客戶端訪問WebGIS系統(tǒng)獲取地圖數(shù)據(jù)時,服務(wù)器端將預(yù)先切片完成的瓦片數(shù)據(jù)返回給客戶端。傳統(tǒng)單機(jī)式地圖切片系統(tǒng)受限于單一節(jié)點(diǎn)的計(jì)算能力和存儲能力,漸漸成為海量柵格地圖數(shù)據(jù)處理技術(shù)發(fā)展的瓶頸。加快海量柵格地圖數(shù)據(jù)的切片速度,對提高WebGIS的效率具有重要意義。云計(jì)算技術(shù)能夠?qū)?shù)據(jù)和計(jì)算任務(wù)分散到大量計(jì)算機(jī)節(jié)點(diǎn)上進(jìn)行管理,具備高可靠性和高可擴(kuò)展性等特點(diǎn)。云計(jì)算技術(shù)提供了前所未有的計(jì)算能力和存儲能力,為提高海量柵格地圖數(shù)據(jù)的切片速度提供了新的基礎(chǔ)平臺。本文基于分布式計(jì)算框架MapReduce搭建了柵格地圖數(shù)據(jù)切片系統(tǒng),解決了海量柵格地圖數(shù)據(jù)的切片問題。本文的主要研究內(nèi)容和創(chuàng)新點(diǎn)如下:1.對現(xiàn)有分布式柵格地圖切片系統(tǒng)關(guān)鍵技術(shù)進(jìn)行了研究。指出了當(dāng)前柵格地圖切片系統(tǒng)的不足之處。針對海量地圖數(shù)據(jù)的切片需求,設(shè)計(jì)了基于MapReduce的柵格地圖切片系統(tǒng)。2.對HDFS的冗余備份機(jī)制進(jìn)行了研究。提出了一種地圖源文件拆分算法。該算法利用MapReduce的“本地計(jì)算”機(jī)制,能夠減少地圖切片過程中的網(wǎng)絡(luò)數(shù)據(jù)傳輸,使切片任務(wù)在實(shí)際存儲地圖數(shù)據(jù)的節(jié)點(diǎn)上運(yùn)行,降低了切片系統(tǒng)對網(wǎng)絡(luò)帶寬資源的依賴程度。3.對瓦片金字塔構(gòu)建方案進(jìn)行了研究。結(jié)合瓦片金字塔的模型結(jié)構(gòu),設(shè)計(jì)了一種利用瓦片緩存技術(shù)的瓦片金字塔構(gòu)建方法。通過降低瓦片縮放時的計(jì)算量來加快瓦片金字塔的構(gòu)建速度。利用金字塔內(nèi)瓦片的排布規(guī)律,減少瓦片金字塔構(gòu)建過程中的內(nèi)存使用量。4.對海量數(shù)據(jù)下的瓦片金字塔并行構(gòu)建技術(shù)進(jìn)行了研究。結(jié)合MapReduce的應(yīng)用特點(diǎn),提出了一種基于MapReduce的迭代式瓦片金字塔構(gòu)建方案。該方案將格式塊文件分配到多個節(jié)點(diǎn)獨(dú)立切片,實(shí)現(xiàn)了瓦片金字塔的并行構(gòu)建。通過合并瓦片金字塔的底層數(shù)據(jù)并將其作為下一輪切片操作的輸入數(shù)據(jù),實(shí)現(xiàn)了迭代式切片。該方案利用云計(jì)算技術(shù)強(qiáng)大的計(jì)算能力和存儲能力,提高了海量柵格地圖數(shù)據(jù)的切片速度。結(jié)合上述研究成果,本文實(shí)現(xiàn)了基于MapReduce的海量柵格地圖數(shù)據(jù)切片系統(tǒng),并針對系統(tǒng)切片時間進(jìn)行了性能測試,實(shí)際測試結(jié)果證實(shí)了本文所述內(nèi)容的可行性及有效性。測試結(jié)果證明了在柵格地圖數(shù)據(jù)量保持不變的情況下,系統(tǒng)的切片時間隨著集群中切片節(jié)點(diǎn)數(shù)的增加而線性下降。本文利用云計(jì)算技術(shù)提高了地圖切片系統(tǒng)的切片速度,解決了海量柵格地圖數(shù)據(jù)的切片問題。
【關(guān)鍵詞】：MapReduce 柵格地圖 分布式地圖切片
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：P208;TP393.09
【目錄】：

• 摘要5-7
• ABSTRACT7-12
• 符號對照表12-13
• 縮略語對照表13-18
• 第一章 緒論18-24
• 1.1 課題背景18-21
• 1.1.1 WebGIS的發(fā)展18-20
• 1.1.2 海量地圖數(shù)據(jù)處理20-21
• 1.2 地圖切片系統(tǒng)現(xiàn)狀及研究意義21-22
• 1.3 文章內(nèi)容及章節(jié)結(jié)構(gòu)22-24
• 1.3.1 研究內(nèi)容22
• 1.3.2 論文章節(jié)安排22-24
• 第二章 地圖切片技術(shù)分析24-32
• 2.1 地圖切片流程24-26
• 2.1.1 傳統(tǒng)分布式地圖切片系統(tǒng)24-25
• 2.1.2 RMTS設(shè)計(jì)目標(biāo)25-26
• 2.2 GIS相關(guān)技術(shù)26-32
• 2.2.1 數(shù)字地圖分類26
• 2.2.2 地圖投影26-28
• 2.2.3 瓦片金字塔28-30
• 2.2.4 四叉樹編碼30-32
• 第三章 相關(guān)平臺及工具庫介紹32-38
• 3.1 分布式計(jì)算框架32-35
• 3.1.1 Hadoop32-33
• 3.1.2 HDFS33-34
• 3.1.3 MapReduce34-35
• 3.2 第三方工具庫35-38
• 3.2.1 圖片縮放庫35
• 3.2.2 圖片編碼庫35-36
• 3.2.3 地圖源文件讀取庫36
• 3.2.4 投影變換庫36-38
• 第四章 系統(tǒng)概要設(shè)計(jì)38-54
• 4.1 RMTS組成結(jié)構(gòu)38-39
• 4.2 RMTS切片流程39-40
• 4.3 數(shù)據(jù)預(yù)處理模塊40-44
• 4.3.1 格式塊文件大小40-41
• 4.3.2 格式塊文件規(guī)范41-43
• 4.3.3 投影變換43-44
• 4.4 切片模塊44-48
• 4.4.1 MapReduce執(zhí)行流程44-45
• 4.4.2 格式塊文件切片45
• 4.4.3 瓦片金字塔緩存模型45-46
• 4.4.4 中間文件分配46-47
• 4.4.5 格式塊文件合并47-48
• 4.5 底層支撐模塊48-49
• 4.5.1 圖片縮放模塊48-49
• 4.5.2 圖片編碼模塊49
• 4.6 瓦片存儲模塊49-54
• 4.6.1 本地文件系統(tǒng)存儲49-51
• 4.6.2 本地SQLite數(shù)據(jù)庫存儲51-52
• 4.6.3 Hadoop云端存儲52-54
• 第五章 系統(tǒng)詳細(xì)設(shè)計(jì)54-72
• 5.1 預(yù)處理模塊54-58
• 5.1.1 數(shù)據(jù)預(yù)處理54-57
• 5.1.2 格式塊文件大小57-58
• 5.2 切片模塊58-67
• 5.2.1 格式塊文件切片58-61
• 5.2.2 Map任務(wù)相關(guān)類定制61-63
• 5.2.3 Partitioner類定制63-64
• 5.2.4 格式塊文件合并64-65
• 5.2.5 Reduce任務(wù)相關(guān)類定制65-67
• 5.3 底層支撐模塊67-69
• 5.3.1 圖片縮放67-68
• 5.3.2 圖片編碼68-69
• 5.4 瓦片存儲69-72
• 第六章 系統(tǒng)性能測試及優(yōu)化72-80
• 6.1 性能測試方案72-74
• 6.1.1 性能影響因素72
• 6.1.2 測試環(huán)境72-73
• 6.1.3 測試數(shù)據(jù)73
• 6.1.4 測試方案73-74
• 6.2 性能測試結(jié)果分析74-77
• 6.2.1 瓦片格式測試74
• 6.2.2 瓦片存儲方式測試74-75
• 6.2.3 集群節(jié)點(diǎn)數(shù)量測試75-76
• 6.2.4 存儲空間測試76-77
• 6.3 RMTS橫向?qū)Ρ?/span>77-80
• 6.3.1 切片時間橫向?qū)Ρ?/span>77-78
• 6.3.2 系統(tǒng)切片操作對比78-80
• 第七章 總結(jié)與展望80-82
• 參考文獻(xiàn)82-84
• 致謝84-86
• 作者簡介86-87

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 毛瓊;羅傳文;單瑤瑤;;結(jié)合GIS創(chuàng)建三維可視化園林景觀[J];黑龍江生態(tài)工程職業(yè)學(xué)院學(xué)報;2007年05期

2 陳會利;;石化企業(yè)總圖三維GIS系統(tǒng)的建設(shè)實(shí)踐[J];石油化工建設(shè);2010年02期

3 劉京鵬;王圣潔;蘇國輝;;基于GIS的海砂資源管理信息系統(tǒng)的開發(fā)與設(shè)計(jì)[J];海洋地質(zhì)動態(tài);2008年05期

4 余芳文;尚建嘎;古富強(qiáng);胡旭科;;動態(tài)定位精度測試方法及實(shí)驗(yàn)研究[J];測控技術(shù);2012年01期

5 王海龍;米紅軍;秦志輝;;三維虛擬采礦系統(tǒng)實(shí)體礦床模型的構(gòu)建[J];金屬礦山;2007年02期

6 劉偉;郭潤利;;山西石膏山風(fēng)景區(qū)規(guī)劃[J];山西建筑;2010年12期

7 葉璐;張珞平;郭娟;袁蕾;王中瑗;張保學(xué);;河口區(qū)海洋環(huán)境監(jiān)測與評價一體化研究1——珠江口水環(huán)境監(jiān)視性監(jiān)測方案設(shè)計(jì)、實(shí)施和改進(jìn)[J];海洋環(huán)境科學(xué);2014年01期

8 馬駿;孔帥可;周兵;張桐;;基于薄板樣條插值算法的巨幅影像分塊并行處理[J];計(jì)算機(jī)時代;2015年07期

9 彭緒富;胡柳武;周攀;;一種交通路徑的生成與最佳線路尋找算法[J];微計(jì)算機(jī)應(yīng)用;2009年02期

10 夏華麗;王俊s，

本文編號：928700