發(fā)布時(shí)間：2017-05-23 13:29

  本文關(guān)鍵詞：Hadoop架構(gòu)下地理信息存儲(chǔ)與計(jì)算關(guān)鍵技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：在當(dāng)前社會(huì)環(huán)境中,隨著計(jì)算計(jì)算機(jī)視覺(jué)、虛擬現(xiàn)實(shí)、三維可視化等技術(shù)的發(fā)展,地學(xué)可視化研究已逐漸彰顯出不凡的生命力,與此同時(shí)網(wǎng)絡(luò)技術(shù)與云計(jì)算也正在蓬勃發(fā)展,滲入人們生活的各個(gè)角落。在此背景下,分布式地理信息系統(tǒng)的研究應(yīng)運(yùn)而生,旨在將整個(gè)處理任務(wù)按最優(yōu)策略分配到計(jì)算機(jī)集群中達(dá)到合理高效使用資源的目的。傳統(tǒng)的桌面GIS采用集中式存儲(chǔ)模式容易導(dǎo)致單點(diǎn)資源瓶頸,數(shù)據(jù)無(wú)法共享等問(wèn)題,阻礙了地理信息技術(shù)的進(jìn)一步發(fā)展與應(yīng)用。三維地理信息系統(tǒng)使用的空間數(shù)據(jù)具有海量特征,隨著數(shù)據(jù)采集技術(shù)的進(jìn)步,其數(shù)據(jù)量可以達(dá)到TB甚至PB級(jí)以上。在網(wǎng)絡(luò)環(huán)境下,原有的解決方案不能很好地滿(mǎn)足對(duì)這些空間數(shù)據(jù)的存儲(chǔ)、管理、調(diào)度,且在此背景下,數(shù)據(jù)的高效傳輸也面臨嚴(yán)峻的挑戰(zhàn)。云計(jì)算概念的提出與發(fā)展給我們提供了一條行之有效的解決方案,我們可以采用云計(jì)算中分布式存儲(chǔ)及并行計(jì)算的概念來(lái)解決數(shù)據(jù)存儲(chǔ)調(diào)度的問(wèn)題。本文對(duì)國(guó)內(nèi)外現(xiàn)有分布式存儲(chǔ)系統(tǒng)進(jìn)行對(duì)比分析,選定Hadoop作為本文分布式存儲(chǔ)的框架。Hadoop以HDFS作為分布式框架中的基礎(chǔ)文件系統(tǒng),采用MapReduce提供一個(gè)并行編程模型對(duì)數(shù)據(jù)進(jìn)行并行處理,簡(jiǎn)化程序開(kāi)發(fā)過(guò)程�？稍谏逃糜布洗罱℉adoop集群,通過(guò)內(nèi)部節(jié)點(diǎn)間監(jiān)控與反饋機(jī)制實(shí)現(xiàn)高容錯(cuò)、高吞吐量、高并發(fā)效率,提供可靠高效的數(shù)據(jù)服務(wù),同時(shí)Hadoop框架易于擴(kuò)展,讀寫(xiě)性能良好。因此采用Hadoop作為構(gòu)建海陸一體空間數(shù)據(jù)共享服務(wù)的基礎(chǔ)框架是一種行之有效的方案。論文的主要研究?jī)?nèi)容如下：首先,本文分析了在互聯(lián)網(wǎng)發(fā)展迅速的背景下,科技促進(jìn)傳統(tǒng)地理學(xué)衍生出虛擬地理環(huán)境概念,而獲取地理數(shù)據(jù)的手段日漸豐富,采集的數(shù)據(jù)逐漸增多,在此種情形下,傳統(tǒng)數(shù)據(jù)共享方式受到限制,而國(guó)內(nèi)外均開(kāi)始研發(fā)基于海量數(shù)據(jù)的虛擬信息系統(tǒng),基于此本文提出基于Hadoop的海量空間數(shù)據(jù)存儲(chǔ)方案,作為構(gòu)建海陸一體空間數(shù)據(jù)共享服務(wù)的技術(shù)支持。其次,本文分析了空間數(shù)據(jù)中數(shù)據(jù)量最大的影像數(shù)據(jù)的存取需求,提出構(gòu)建影像金字塔為用戶(hù)提供高效流暢數(shù)據(jù)調(diào)取服務(wù),基于Hadoop的MapReduce并行編程模型構(gòu)建影像金字塔,為達(dá)到高效管理的目的將數(shù)據(jù)按自定義格式進(jìn)行組織。針對(duì)互聯(lián)網(wǎng)高并發(fā)的特性,提出利用Nginx搭建數(shù)據(jù)共享服務(wù)以滿(mǎn)足數(shù)據(jù)訪問(wèn)時(shí)的負(fù)載均衡。然后,本文對(duì)地理信息數(shù)據(jù)中專(zhuān)題數(shù)據(jù)進(jìn)行存儲(chǔ)與計(jì)算模型研究,并以城市公交數(shù)據(jù)為例研究數(shù)據(jù)的信息處理�；贖adoop的數(shù)據(jù)庫(kù)HBase對(duì)公交數(shù)據(jù)進(jìn)行存儲(chǔ),設(shè)計(jì)了專(zhuān)題數(shù)據(jù)查詢(xún)的Map/Reduce算法,提取并分析專(zhuān)題數(shù)據(jù)信息。
【關(guān)鍵詞】：分布式存儲(chǔ) 影像金字塔 并行計(jì)算 專(zhuān)題數(shù)據(jù) 行程速度
【學(xué)位授予單位】：中國(guó)海洋大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：P208
【目錄】：

• 摘要5-7
• Abstract7-11
• 第一章 緒論11-17
• 1.1 選題背景與意義11-13
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀13-15
• 1.3 論文組織結(jié)構(gòu)15-17
• 第二章 Hadoop框架關(guān)鍵技術(shù)分析17-28
• 2.1 Hadoop簡(jiǎn)介17-18
• 2.2 Hadoop關(guān)鍵技術(shù)18-27
• 2.2.1 HDFS18-21
• 2.2.2 MapReduce21-23
• 2.2.3 HBase23-27
• 2.4 本章小結(jié)27-28
• 第三章 地理信息影像數(shù)據(jù)存儲(chǔ)28-40
• 3.1 影像數(shù)據(jù)分析28-30
• 3.1.1 設(shè)計(jì)要求28-29
• 3.1.2 體系結(jié)構(gòu)29-30
• 3.2 影像金字塔構(gòu)建30-38
• 3.2.1 影像金字塔技術(shù)30-33
• 3.2.2 基于MapReduce的并行構(gòu)建方法33-36
• 3.2.3 影像數(shù)據(jù)存儲(chǔ)與檢索36-37
• 3.2.4 影像數(shù)據(jù)共享實(shí)例37-38
• 3.3 本章小結(jié)38-40
• 第四章 地理信息專(zhuān)題數(shù)據(jù)計(jì)算40-51
• 4.1 專(zhuān)題數(shù)據(jù)行鍵模型設(shè)計(jì)40-41
• 4.2 基于MapReduce的K-Means的專(zhuān)題數(shù)據(jù)聚類(lèi)分析41-46
• 4.3 城市專(zhuān)題數(shù)據(jù)分析46-50
• 4.3.1 專(zhuān)題數(shù)據(jù)研究?jī)r(jià)值46-48
• 4.3.2 專(zhuān)題數(shù)據(jù)主表設(shè)計(jì)48-49
• 4.3.3 專(zhuān)題公交數(shù)據(jù)實(shí)例49-50
• 4.4 本章小結(jié)50-51
• 第五章 基于Nginx的負(fù)載均衡策略51-54
• 5.1 Nginx簡(jiǎn)介51
• 5.2 Nginx配置51-54
• 第六章 總結(jié)與展望54-57
• 6.1 總結(jié)54-55
• 6.2 展望55-57
• 參考文獻(xiàn)57-60
• 致謝60-61
• 個(gè)人簡(jiǎn)歷61

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 夏英;楊選倫;;云環(huán)境中基于金字塔模型的影像數(shù)據(jù)存儲(chǔ)方法[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年06期

2 姜桂艷;常安德;李琦;伊峰;;基于出租車(chē)GPS數(shù)據(jù)的路段平均速度估計(jì)模型[J];西南交通大學(xué)學(xué)報(bào);2011年04期

3 林麗麗;;使用高性能Web服務(wù)器Nginx實(shí)現(xiàn)開(kāi)源負(fù)載均衡[J];大眾科技;2010年07期

4 程承旗;張恩東;萬(wàn)元嵬;宋樹(shù)華;;遙感影像剖分金字塔研究[J];地理與地理信息科學(xué);2010年01期

5 馬琪;謝忠;;海量柵格地理數(shù)據(jù)的組織與調(diào)度[J];地理與地理信息科學(xué);2008年06期

6 黃勇奇;趙追;徐幸福;;4D產(chǎn)品的空間數(shù)據(jù)庫(kù)結(jié)構(gòu)設(shè)計(jì)[J];地球科學(xué)與環(huán)境學(xué)報(bào);2006年03期

7 劉露;祁羽;陳犖;景寧;;基于非均勻劃分的分布式影像數(shù)據(jù)索引方法[J];計(jì)算機(jī)工程與科學(xué);2006年08期

8 余粉香;王光霞;萬(wàn)剛;;大數(shù)據(jù)量遙感影像的快速調(diào)度與顯示[J];海洋測(cè)繪;2006年02期

9 宋江洪,趙忠明;圖像分塊分層結(jié)構(gòu)在海量數(shù)據(jù)處理中的應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2004年33期

10 姜學(xué)智,李忠華;國(guó)內(nèi)外虛擬現(xiàn)實(shí)技術(shù)的研究現(xiàn)狀[J];遼寧工程技術(shù)大學(xué)學(xué)報(bào);2004年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前1條

1 沙云飛;曹瑾鑫;史其信;;基于GPS的路段旅行時(shí)間和速度估計(jì)算法研究[A];第一屆中國(guó)智能交通年會(huì)論文集[C];2005年

  本文關(guān)鍵詞：Hadoop架構(gòu)下地理信息存儲(chǔ)與計(jì)算關(guān)鍵技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：388115