本文關(guān)鍵詞：柵格地圖分布式存儲方案設(shè)計與性能分析，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著大數(shù)據(jù)時代的到來，各行業(yè)數(shù)據(jù)量呈現(xiàn)爆炸式增長，傳統(tǒng)關(guān)系型數(shù)據(jù)庫的弊端逐漸體現(xiàn)出來。在此背景下，海量數(shù)據(jù)的分布式存儲已經(jīng)逐漸成為諸多學術(shù)研究機構(gòu)和IT企業(yè)的重點研究課題。地理信息系統(tǒng)（GIS）領(lǐng)域的柵格地圖數(shù)據(jù)除了數(shù)據(jù)量大，還具有結(jié)構(gòu)復雜、小文件數(shù)量多以及空間特征明顯的特點，為此本文提出了一套適合于GIS柵格地圖數(shù)據(jù)的分布式存儲方案。 本文在對Hadoop框架進行了深入分析的基礎(chǔ)上，設(shè)計并實現(xiàn)了一套專用于存儲柵格地圖數(shù)據(jù)的分布式存儲方案——“瓦片數(shù)據(jù)分布式索引存儲系統(tǒng)（TDIS）”。TDIS不僅包括了基于HBase的分布式索引機制及基于HDFS的瓦片存儲方案，同時通過修改HDFS源碼實現(xiàn)了分布式緩存功能，并完成了基于MapReduce的數(shù)據(jù)清理功能等。本文對影響分布式存儲系統(tǒng)讀寫性能的因素進行了理論分析，并通過實驗證明在相同的硬件環(huán)境下，，TDIS系統(tǒng)的訪問性能相比于其他存儲系統(tǒng)提升了近40%。此外，本文在對多組實驗結(jié)果分析的基礎(chǔ)上討論了提升TDIS系統(tǒng)訪問性能的具體方案。 本文設(shè)計的TDIS系統(tǒng)已用于實際科研項目中，實踐證明該系統(tǒng)能夠提供穩(wěn)定的瓦片存取服務(wù)，并在實際應(yīng)用中體現(xiàn)出明顯的性能優(yōu)勢。
【關(guān)鍵詞】：分布式存儲 Hadoop 柵格地圖數(shù)據(jù) TDIS
【學位授予單位】：西安電子科技大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要3-4
• Abstract4-8
• 第一章 緒論8-14
• 1.1 課題背景8-9
• 1.2 國內(nèi)外研究現(xiàn)狀9-11
• 1.2.1 國外商業(yè)公司產(chǎn)品的研究現(xiàn)狀9
• 1.2.2 國外研究機構(gòu)的研究現(xiàn)狀9-10
• 1.2.3 國內(nèi)商業(yè)公司產(chǎn)品的研究現(xiàn)狀10-11
• 1.2.4 國內(nèi)研究機構(gòu)的研究現(xiàn)狀11
• 1.3 論文主要工作11-12
• 1.4 論文章節(jié)安排12-14
• 第二章 課題相關(guān)技術(shù)分析14-24
• 2.1 柵格地圖存儲技術(shù)分析14-19
• 2.1.1 墨卡托投影與地理坐標投影14-15
• 2.1.2 金字塔模型15-17
• 2.1.3 S 模型與 T 模型17
• 2.1.4 Z 型編碼與回型編碼17-19
• 2.2 開源云計算系統(tǒng) HADOOP19-22
• 2.2.1 Hadoop 概述19-20
• 2.2.2 HDFS20-21
• 2.2.3 MapReduce21-22
• 2.2.4 HBase22
• 2.3 本章小結(jié)22-24
• 第三章 分布式存儲方案的設(shè)計24-46
• 3.1 柵格地圖傳統(tǒng)存儲方案24-28
• 3.1.1 獨立文件存儲24-25
• 3.1.2 關(guān)系型數(shù)據(jù)存儲25-26
• 3.1.3 打包文件存儲26-28
• 3.2 HBASE 存儲柵格地圖28-39
• 3.2.1 HBase 存儲模型29-33
• 3.2.2 HBase 存儲方案設(shè)計33-35
• 3.2.3 存儲方案分析35-38
• 3.2.4 方案小結(jié)38-39
• 3.3 TDIS 方案39-44
• 3.3.1 方案設(shè)計39-43
• 3.3.2 方案分析43-44
• 3.3.3 方案小結(jié)44
• 3.4 本章小結(jié)44-46
• 第四章 TDIS 存儲方案詳細設(shè)計與實現(xiàn)46-68
• 4.1 索引存儲模型的實現(xiàn)46-49
• 4.1.1 文件存儲格式46-47
• 4.1.2 HBase 索引存儲47-49
• 4.2 緩存預(yù)取模塊的實現(xiàn)49-57
• 4.2.1 緩存預(yù)取方案49-51
• 4.2.2 方案優(yōu)化51-57
• 4.3 后臺清理模塊的實現(xiàn)57-64
• 4.3.1 瓦片順序整理57-62
• 4.3.2 一致性檢查62-63
• 4.3.3 過期瓦片清理63-64
• 4.4 歷史數(shù)據(jù)管理模塊的實現(xiàn)64-65
• 4.5 更新事務(wù)管理模塊的實現(xiàn)65-67
• 4.6 金字塔元數(shù)據(jù)管理模塊的實現(xiàn)67
• 4.7 本章小結(jié)67-68
• 第五章 分布式存儲方案性能分析68-82
• 5.1 測試介紹68-71
• 5.1.1 測試軟件68-69
• 5.1.2 測試環(huán)境69
• 5.1.3 測試用例69-71
• 5.2 HBASE 存儲方案與 TDIS 方案性能對比71-74
• 5.2.1 寫性能測試71-72
• 5.2.2 讀性能測試72-74
• 5.2.3 方案對比74
• 5.3 TDIS 方案優(yōu)化實驗結(jié)果分析74-80
• 5.3.1 索引編碼對性能影響74-76
• 5.3.2 預(yù)取方案對性能影響76-77
• 5.3.3 DataNode 數(shù)對性能影響77-78
• 5.3.4 磁盤數(shù)對性能影響78-79
• 5.3.5 索引存儲方式對性能影響79-80
• 5.4 本章小結(jié)80-82
• 第六章 結(jié)束語82-84
• 致謝84-86
• 參考文獻86-88

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前8條

1 蘇旭明;譚建成;;WebGIS中瓦片地圖關(guān)鍵技術(shù)研究[J];北京測繪;2012年02期

2 王俊生;施運梅;張仰森;;基于Hadoop的分布式搜索引擎關(guān)鍵技術(shù)[J];北京信息科技大學學報(自然科學版);2011年04期

3 王旭東;張福浩;張麗萍;;基于地形數(shù)據(jù)的瓦片金字塔構(gòu)建與組織[J];測繪與空間地理信息;2012年06期

4 李少丹;;“云GIS”的發(fā)展趨勢分析[J];電腦知識與技術(shù);2011年16期

5 饒慶云;丁晶晶;蘇樂樂;谷永權(quán);夏良暉;胡中南;;基于云計算的分布式切圖服務(wù)設(shè)計與實現(xiàn)[J];測繪與空間地理信息;2013年S1期

6 余慶;;分布式文件系統(tǒng)FastDFS架構(gòu)剖析[J];程序員;2010年11期

7 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲和讀取的方法[J];計算機應(yīng)用與軟件;2012年11期

8 涂振發(fā);孟令奎;張文;黃長青;;面向分布式GIS空間數(shù)據(jù)的Key-value緩存[J];武漢大學學報(信息科學版);2013年11期

  本文關(guān)鍵詞：柵格地圖分布式存儲方案設(shè)計與性能分析，由筆耕文化傳播整理發(fā)布。

本文編號：340418