海量遙感影像數(shù)據(jù)高效管理方法研究
發(fā)布時(shí)間:2021-04-02 23:20
遙感影像數(shù)據(jù)爆炸式的增長(zhǎng)趨勢(shì)給數(shù)據(jù)的存儲(chǔ)和檢索帶來(lái)巨大挑戰(zhàn),本文針對(duì)海量遙感影像數(shù)據(jù)的管理需求,在研究分析相關(guān)架構(gòu)和技術(shù)的基礎(chǔ)上,提出了新的解決方案,最終設(shè)計(jì)并創(chuàng)建了一個(gè)遙感影像數(shù)據(jù)管理系統(tǒng)。本文的主要研究及結(jié)論如下:(1)對(duì)比分析當(dāng)前主流的分布式文件系統(tǒng),選取HDFS作為遙感影像的存儲(chǔ)系統(tǒng)。針對(duì)其在存儲(chǔ)海量遙感影像時(shí)存在的不足,采用冗余備份、協(xié)同工作的方式解決NameNode的單點(diǎn)故障,保證系統(tǒng)的容錯(cuò)性;引入監(jiān)控系統(tǒng),監(jiān)控節(jié)點(diǎn)的性能并進(jìn)行異常報(bào)警,提高系統(tǒng)的穩(wěn)定性;提出一種小文件存儲(chǔ)優(yōu)化方案,通過(guò)將小文件直接存儲(chǔ)在分布式數(shù)據(jù)庫(kù)中,進(jìn)而提高了小文件的存取效率。(2)對(duì)比分析當(dāng)前主流的NoSQL數(shù)據(jù)庫(kù),選取分布式搜索引擎對(duì)遙感影像元數(shù)據(jù)進(jìn)行組織存儲(chǔ)。提出了一種以Elasticsearch為基礎(chǔ),批量自動(dòng)提取多源異構(gòu)的遙感影像元數(shù)據(jù),并對(duì)大規(guī)模元數(shù)據(jù)進(jìn)行索引構(gòu)建,從而實(shí)現(xiàn)高效檢索數(shù)據(jù)的方法。實(shí)驗(yàn)結(jié)果表明:在檢索速度方面,該方法的檢索速度明顯優(yōu)于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)。(3)在本文提出的影像存儲(chǔ)與組織管理方法的基礎(chǔ)上,分析系統(tǒng)需求,確定系統(tǒng)架構(gòu),設(shè)計(jì)并開(kāi)發(fā)了中國(guó)工程科技知識(shí)中心“地理資源與生態(tài)專(zhuān)...
【文章來(lái)源】:湖南師范大學(xué)湖南省 211工程院校
【文章頁(yè)數(shù)】:70 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
技術(shù)路線圖
HDFS體系結(jié)構(gòu)
圖 2-3 切換時(shí)間對(duì)比由圖可知,Secondary NameNode 方案隨著遙感影像數(shù)量的增加,切換時(shí)間基本呈線性增長(zhǎng)趨勢(shì)。Backup NameNode 方案由于無(wú)需重新加載命名空間,切換時(shí)間約為 Secondary NameNode 的三分之二。Avatar 的切換時(shí)間與遙感影像數(shù)量
【參考文獻(xiàn)】:
期刊論文
[1]國(guó)家地理信息公共服務(wù)平臺(tái)“天地圖”的關(guān)鍵技術(shù)與工程實(shí)踐[J]. 蔣捷,吳華意,黃蔚. 測(cè)繪學(xué)報(bào). 2017(10)
[2]陸地觀測(cè)衛(wèi)星數(shù)據(jù)中心:大數(shù)據(jù)挑戰(zhàn)及一種解決方案[J]. 徐文,邵俊,喻文勇,馮鵬. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2017(01)
[3]分布式文件系統(tǒng)綜述[J]. 文莎. 軟件導(dǎo)刊. 2015(11)
[4]遙感的科學(xué)推動(dòng)作用與重點(diǎn)應(yīng)用領(lǐng)域[J]. 吳炳方,邢強(qiáng). 地球科學(xué)進(jìn)展. 2015(07)
[5]國(guó)家陸地觀測(cè)衛(wèi)星數(shù)據(jù)服務(wù)與應(yīng)用[J]. 傅俏燕,李俊杰. 衛(wèi)星應(yīng)用. 2015(03)
[6]HY-2衛(wèi)星地面應(yīng)用系統(tǒng)運(yùn)行控制方案設(shè)計(jì)與實(shí)現(xiàn)[J]. 蘭友國(guó),林明森,謝春華. 中國(guó)工程科學(xué). 2014(06)
[7]HY-2衛(wèi)星地面應(yīng)用系統(tǒng)綜述[J]. 蔣興偉,林明森,張有廣. 中國(guó)工程科學(xué). 2014(06)
[8]國(guó)家地理信息公共服務(wù)平臺(tái)天地圖[J]. 黃蔚. 衛(wèi)星應(yīng)用. 2014(01)
[9]面向分布式服務(wù)聚合的“天地圖”總體技術(shù)架構(gòu)[J]. 李志剛,蔣捷,翟永,王茜,黃蔚. 測(cè)繪地理信息. 2012(05)
[10]天地圖網(wǎng)站云架構(gòu)系統(tǒng)設(shè)計(jì)[J]. 翟永,劉津,陳杰,劉磊. 信息安全與通信保密. 2012(09)
碩士論文
[1]一種基于HBase的海量空間遙感數(shù)據(jù)檢索系統(tǒng)[D]. 林久對(duì).浙江大學(xué) 2015
本文編號(hào):3116146
【文章來(lái)源】:湖南師范大學(xué)湖南省 211工程院校
【文章頁(yè)數(shù)】:70 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
技術(shù)路線圖
HDFS體系結(jié)構(gòu)
圖 2-3 切換時(shí)間對(duì)比由圖可知,Secondary NameNode 方案隨著遙感影像數(shù)量的增加,切換時(shí)間基本呈線性增長(zhǎng)趨勢(shì)。Backup NameNode 方案由于無(wú)需重新加載命名空間,切換時(shí)間約為 Secondary NameNode 的三分之二。Avatar 的切換時(shí)間與遙感影像數(shù)量
【參考文獻(xiàn)】:
期刊論文
[1]國(guó)家地理信息公共服務(wù)平臺(tái)“天地圖”的關(guān)鍵技術(shù)與工程實(shí)踐[J]. 蔣捷,吳華意,黃蔚. 測(cè)繪學(xué)報(bào). 2017(10)
[2]陸地觀測(cè)衛(wèi)星數(shù)據(jù)中心:大數(shù)據(jù)挑戰(zhàn)及一種解決方案[J]. 徐文,邵俊,喻文勇,馮鵬. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2017(01)
[3]分布式文件系統(tǒng)綜述[J]. 文莎. 軟件導(dǎo)刊. 2015(11)
[4]遙感的科學(xué)推動(dòng)作用與重點(diǎn)應(yīng)用領(lǐng)域[J]. 吳炳方,邢強(qiáng). 地球科學(xué)進(jìn)展. 2015(07)
[5]國(guó)家陸地觀測(cè)衛(wèi)星數(shù)據(jù)服務(wù)與應(yīng)用[J]. 傅俏燕,李俊杰. 衛(wèi)星應(yīng)用. 2015(03)
[6]HY-2衛(wèi)星地面應(yīng)用系統(tǒng)運(yùn)行控制方案設(shè)計(jì)與實(shí)現(xiàn)[J]. 蘭友國(guó),林明森,謝春華. 中國(guó)工程科學(xué). 2014(06)
[7]HY-2衛(wèi)星地面應(yīng)用系統(tǒng)綜述[J]. 蔣興偉,林明森,張有廣. 中國(guó)工程科學(xué). 2014(06)
[8]國(guó)家地理信息公共服務(wù)平臺(tái)天地圖[J]. 黃蔚. 衛(wèi)星應(yīng)用. 2014(01)
[9]面向分布式服務(wù)聚合的“天地圖”總體技術(shù)架構(gòu)[J]. 李志剛,蔣捷,翟永,王茜,黃蔚. 測(cè)繪地理信息. 2012(05)
[10]天地圖網(wǎng)站云架構(gòu)系統(tǒng)設(shè)計(jì)[J]. 翟永,劉津,陳杰,劉磊. 信息安全與通信保密. 2012(09)
碩士論文
[1]一種基于HBase的海量空間遙感數(shù)據(jù)檢索系統(tǒng)[D]. 林久對(duì).浙江大學(xué) 2015
本文編號(hào):3116146
本文鏈接:http://sikaile.net/kejilunwen/dizhicehuilunwen/3116146.html
最近更新
教材專(zhuān)著