本文關鍵詞：Hadoop架構(gòu)下地理信息存儲與計算關鍵技術研究，由筆耕文化傳播整理發(fā)布。

【摘要】：在當前社會環(huán)境中,隨著計算計算機視覺、虛擬現(xiàn)實、三維可視化等技術的發(fā)展,地學可視化研究已逐漸彰顯出不凡的生命力,與此同時網(wǎng)絡技術與云計算也正在蓬勃發(fā)展,滲入人們生活的各個角落。在此背景下,分布式地理信息系統(tǒng)的研究應運而生,旨在將整個處理任務按最優(yōu)策略分配到計算機集群中達到合理高效使用資源的目的。傳統(tǒng)的桌面GIS采用集中式存儲模式容易導致單點資源瓶頸,數(shù)據(jù)無法共享等問題,阻礙了地理信息技術的進一步發(fā)展與應用。三維地理信息系統(tǒng)使用的空間數(shù)據(jù)具有海量特征,隨著數(shù)據(jù)采集技術的進步,其數(shù)據(jù)量可以達到TB甚至PB級以上。在網(wǎng)絡環(huán)境下,原有的解決方案不能很好地滿足對這些空間數(shù)據(jù)的存儲、管理、調(diào)度,且在此背景下,數(shù)據(jù)的高效傳輸也面臨嚴峻的挑戰(zhàn)。云計算概念的提出與發(fā)展給我們提供了一條行之有效的解決方案,我們可以采用云計算中分布式存儲及并行計算的概念來解決數(shù)據(jù)存儲調(diào)度的問題。本文對國內(nèi)外現(xiàn)有分布式存儲系統(tǒng)進行對比分析,選定Hadoop作為本文分布式存儲的框架。Hadoop以HDFS作為分布式框架中的基礎文件系統(tǒng),采用MapReduce提供一個并行編程模型對數(shù)據(jù)進行并行處理,簡化程序開發(fā)過程。可在商用硬件上搭建Hadoop集群,通過內(nèi)部節(jié)點間監(jiān)控與反饋機制實現(xiàn)高容錯、高吞吐量、高并發(fā)效率,提供可靠高效的數(shù)據(jù)服務,同時Hadoop框架易于擴展,讀寫性能良好。因此采用Hadoop作為構(gòu)建海陸一體空間數(shù)據(jù)共享服務的基礎框架是一種行之有效的方案。論文的主要研究內(nèi)容如下：首先,本文分析了在互聯(lián)網(wǎng)發(fā)展迅速的背景下,科技促進傳統(tǒng)地理學衍生出虛擬地理環(huán)境概念,而獲取地理數(shù)據(jù)的手段日漸豐富,采集的數(shù)據(jù)逐漸增多,在此種情形下,傳統(tǒng)數(shù)據(jù)共享方式受到限制,而國內(nèi)外均開始研發(fā)基于海量數(shù)據(jù)的虛擬信息系統(tǒng),基于此本文提出基于Hadoop的海量空間數(shù)據(jù)存儲方案,作為構(gòu)建海陸一體空間數(shù)據(jù)共享服務的技術支持。其次,本文分析了空間數(shù)據(jù)中數(shù)據(jù)量最大的影像數(shù)據(jù)的存取需求,提出構(gòu)建影像金字塔為用戶提供高效流暢數(shù)據(jù)調(diào)取服務,基于Hadoop的MapReduce并行編程模型構(gòu)建影像金字塔,為達到高效管理的目的將數(shù)據(jù)按自定義格式進行組織。針對互聯(lián)網(wǎng)高并發(fā)的特性,提出利用Nginx搭建數(shù)據(jù)共享服務以滿足數(shù)據(jù)訪問時的負載均衡。然后,本文對地理信息數(shù)據(jù)中專題數(shù)據(jù)進行存儲與計算模型研究,并以城市公交數(shù)據(jù)為例研究數(shù)據(jù)的信息處理�；贖adoop的數(shù)據(jù)庫HBase對公交數(shù)據(jù)進行存儲,設計了專題數(shù)據(jù)查詢的Map/Reduce算法,提取并分析專題數(shù)據(jù)信息。
【關鍵詞】：分布式存儲 影像金字塔 并行計算 專題數(shù)據(jù) 行程速度
【學位授予單位】：中國海洋大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：P208
【目錄】：

• 摘要5-7
• Abstract7-11
• 第一章 緒論11-17
• 1.1 選題背景與意義11-13
• 1.2 國內(nèi)外研究現(xiàn)狀13-15
• 1.3 論文組織結(jié)構(gòu)15-17
• 第二章 Hadoop框架關鍵技術分析17-28
• 2.1 Hadoop簡介17-18
• 2.2 Hadoop關鍵技術18-27
• 2.2.1 HDFS18-21
• 2.2.2 MapReduce21-23
• 2.2.3 HBase23-27
• 2.4 本章小結(jié)27-28
• 第三章 地理信息影像數(shù)據(jù)存儲28-40
• 3.1 影像數(shù)據(jù)分析28-30
• 3.1.1 設計要求28-29
• 3.1.2 體系結(jié)構(gòu)29-30
• 3.2 影像金字塔構(gòu)建30-38
• 3.2.1 影像金字塔技術30-33
• 3.2.2 基于MapReduce的并行構(gòu)建方法33-36
• 3.2.3 影像數(shù)據(jù)存儲與檢索36-37
• 3.2.4 影像數(shù)據(jù)共享實例37-38
• 3.3 本章小結(jié)38-40
• 第四章 地理信息專題數(shù)據(jù)計算40-51
• 4.1 專題數(shù)據(jù)行鍵模型設計40-41
• 4.2 基于MapReduce的K-Means的專題數(shù)據(jù)聚類分析41-46
• 4.3 城市專題數(shù)據(jù)分析46-50
• 4.3.1 專題數(shù)據(jù)研究價值46-48
• 4.3.2 專題數(shù)據(jù)主表設計48-49
• 4.3.3 專題公交數(shù)據(jù)實例49-50
• 4.4 本章小結(jié)50-51
• 第五章 基于Nginx的負載均衡策略51-54
• 5.1 Nginx簡介51
• 5.2 Nginx配置51-54
• 第六章 總結(jié)與展望54-57
• 6.1 總結(jié)54-55
• 6.2 展望55-57
• 參考文獻57-60
• 致謝60-61
• 個人簡歷61

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 夏英;楊選倫;;云環(huán)境中基于金字塔模型的影像數(shù)據(jù)存儲方法[J];重慶郵電大學學報(自然科學版);2012年06期

2 姜桂艷;常安德;李琦;伊峰;;基于出租車GPS數(shù)據(jù)的路段平均速度估計模型[J];西南交通大學學報;2011年04期

3 林麗麗;;使用高性能Web服務器Nginx實現(xiàn)開源負載均衡[J];大眾科技;2010年07期

4 程承旗;張恩東;萬元嵬;宋樹華;;遙感影像剖分金字塔研究[J];地理與地理信息科學;2010年01期

5 馬琪;謝忠;;海量柵格地理數(shù)據(jù)的組織與調(diào)度[J];地理與地理信息科學;2008年06期

6 黃勇奇;趙追;徐幸福;;4D產(chǎn)品的空間數(shù)據(jù)庫結(jié)構(gòu)設計[J];地球科學與環(huán)境學報;2006年03期

7 劉露;祁羽;陳犖;景寧;;基于非均勻劃分的分布式影像數(shù)據(jù)索引方法[J];計算機工程與科學;2006年08期

8 余粉香;王光霞;萬剛;;大數(shù)據(jù)量遙感影像的快速調(diào)度與顯示[J];海洋測繪;2006年02期

9 宋江洪,趙忠明;圖像分塊分層結(jié)構(gòu)在海量數(shù)據(jù)處理中的應用[J];計算機工程與應用;2004年33期

10 姜學智,李忠華;國內(nèi)外虛擬現(xiàn)實技術的研究現(xiàn)狀[J];遼寧工程技術大學學報;2004年02期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 沙云飛;曹瑾鑫;史其信;;基于GPS的路段旅行時間和速度估計算法研究[A];第一屆中國智能交通年會論文集[C];2005年

  本文關鍵詞：Hadoop架構(gòu)下地理信息存儲與計算關鍵技術研究，，由筆耕文化傳播整理發(fā)布。

本文編號：388115