本文關鍵詞：一種基于HBase的海量空間遙感數(shù)據(jù)檢索系統(tǒng)，由筆耕文化傳播整理發(fā)布。

【摘要】：遙感技術作為一門綜合性的對地觀測技術,在軍事、農業(yè)、礦產(chǎn)、海洋等各個領域扮演者越來越重要的角色。近年來我國的遙感衛(wèi)星技術取得了長足地發(fā)展,遙感影像的數(shù)據(jù)級別已經(jīng)從TB級別向PB級別發(fā)展,數(shù)據(jù)類型也越來越趨于多樣化。不同應用領域的需求對遙感影像數(shù)據(jù)及相關數(shù)據(jù)的存儲與高效檢索提出了越來越高的要求。遙感元數(shù)據(jù)作為描述遙感影像數(shù)據(jù)的最為重要的數(shù)據(jù)結構,具有結構復雜,信息量大,產(chǎn)生頻率高等特點。傳統(tǒng)的關系型數(shù)據(jù)在存儲海量的遙感元素據(jù)信息時存在讀寫性能不理想,可擴展性差等缺點。本系統(tǒng)在實驗室項目的基礎上結合對HBase[1]等NoSQL技術的研究,設計并實現(xiàn)了一個基于Elasticsearch[2]和HBase的分布式空間遙感數(shù)據(jù)檢索系統(tǒng)Zodic。針對HBase在檢索功能上的不足,本系統(tǒng)實現(xiàn)了一種在基于HBase的類SQL的查詢引擎,支持包括關鍵字查詢、聚合查詢、空間查詢等。既滿足了遙感元素多樣化的檢索需求,又很好地利用了HBase在可擴展性上的優(yōu)勢。同時針對遙感元數(shù)據(jù)在全文檢索、語義檢索上的需求,本系統(tǒng)實現(xiàn)了基于Elasticsearch的分布式遙感影像全文檢索系統(tǒng)。實驗結果表明,本文設計的系統(tǒng)原型具有高性能、高可擴展的特點,能夠很好地實現(xiàn)海量遙感元數(shù)據(jù)的高效檢索。
【關鍵詞】：遙感元數(shù)據(jù) NoSQL SQL HBase Elasticsearch 空間索引
【學位授予單位】：浙江大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP751
【目錄】：

• 摘要3-4
• Abstract4-11
• 第1章 緒論11-19
• 1.1 課題背景11-12
• 1.2 研究現(xiàn)狀12-16
• 1.2.1 NASA EOSDIS系統(tǒng)12-13
• 1.2.2 ArcGIS系統(tǒng)13-14
• 1.2.3 SuperMap SDX+空間數(shù)據(jù)檢索引擎14-15
• 1.2.4 其他空間遙感數(shù)據(jù)存儲檢索管理系統(tǒng)15-16
• 1.3 研究目的16-17
• 1.4 本文貢獻及創(chuàng)新點17-18
• 1.5 論文結構18
• 1.6 本章小結18-19
• 第2章 背景技術19-28
• 2.1 SQL及關系型數(shù)據(jù)庫19-20
• 2.2 NoSQL技術20-23
• 2.2.1 Key-Value數(shù)據(jù)庫(鍵值數(shù)據(jù)庫)21
• 2.2.2 面向列的數(shù)據(jù)庫21-22
• 2.2.3 Graph數(shù)據(jù)庫(圖形數(shù)據(jù)庫)22
• 2.2.4 文檔數(shù)據(jù)庫22-23
• 2.3 HBase23-25
• 2.4 Elasticsearch25-26
• 2.5 空間索引技術26-27
• 2.6 本章小結27-28
• 第3章 系統(tǒng)總體架構與設計28-38
• 3.1 總體功能與要求28-30
• 3.1.1 系統(tǒng)總體要求28-29
• 3.1.2 功能設計29-30
• 3.2 系統(tǒng)總體架構30-32
• 3.2.1 系統(tǒng)總體架構30-31
• 3.2.2 數(shù)據(jù)持久化層31
• 3.2.3 檢索查詢服務層31-32
• 3.2.4 全文檢索服務層32
• 3.3 系統(tǒng)總體流程32-36
• 3.3.1 數(shù)據(jù)的查詢流程32-34
• 3.3.2 數(shù)據(jù)的插入流程34-36
• 3.4 本章小結36-38
• 第4章 基于HBase的類SQL檢索系統(tǒng)38-57
• 4.1 子系統(tǒng)結構38-39
• 4.1.1 查詢服務器39
• 4.1.2 HBase數(shù)據(jù)存儲服務器39
• 4.2 查詢語言語法39-44
• 4.2.1 字段過濾查詢40-42
• 4.2.2 聚合查詢42
• 4.2.3 空間查詢42-44
• 4.3 查詢解析器44-47
• 4.3.1 HBase Coprocessor實現(xiàn)46-47
• 4.4 查詢緩存模塊47-50
• 4.4.1 查詢緩存Key的設計48-49
• 4.4.2 緩存算法49
• 4.4.3 查詢緩存的缺陷49-50
• 4.5 基于HBase的ORM模塊50-53
• 4.5.1 Java對象與HBase數(shù)據(jù)表之間的映射50-52
• 4.5.2 Java基本數(shù)據(jù)類型與HBase byte類型的映射52-53
• 4.6 測試實驗53-55
• 4.6.1 測試環(huán)境53
• 4.6.2 測試結果53-55
• 4.6.3 測試結論55
• 4.7 本章小結55-57
• 第5章 基于K-d樹的分布式空間索引設計57-71
• 5.1 功能與需求57
• 5.2 基于K-d樹的空間索引設計57-62
• 5.2.1 空間多維數(shù)據(jù)降維實現(xiàn)58-59
• 5.2.2 基于最長前綴的空間劃分機制59-61
• 5.2.3 基于K-d Tree的空間索引61-62
• 5.3 基于K-d Tree空間查詢算法的實現(xiàn)62-65
• 5.3.1 空間索引表主鍵的及表結構設計62
• 5.3.2 數(shù)據(jù)的插入62-63
• 5.3.3 空間查詢的實現(xiàn)63-65
• 5.4 基于HBase的空間索引數(shù)據(jù)的存儲設計65-67
• 5.5 性能測試67-69
• 5.5.1 測試環(huán)境67
• 5.5.2 測試結果67-69
• 5.5.3 結果分析69
• 5.6 本章小結69-71
• 第6章 遙感影像全文檢索子系統(tǒng)71-79
• 6.1 子系統(tǒng)結構71-72
• 6.2 HBase數(shù)據(jù)同步模塊72-75
• 6.2.1 需求分析72-73
• 6.2.2 基于HBase Cluster Replication機制的數(shù)據(jù)同步實現(xiàn)73-75
• 6.3 遙感影像全文檢索模塊75-78
• 6.3.1 需求分析75
• 6.3.2 全文檢索信息的提取75-76
• 6.3.3 全文檢索mapping的定義76-77
• 6.3.4 中文分詞插件77-78
• 6.4 本章小結78-79
• 第7章 總結與展望79-82
• 7.1 工作總結79-80
• 7.2 展望80-82
• 參考文獻82-85
• 攻讀碩士學位期間主要的研究成果85-87
• 致謝87

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 梁曄,須德,許宏麗;一種Omni-順序掃描的補充算法[J];北方交通大學學報;2003年05期

2 梁曄,須德;基于焦點和角度的多維索引方法[J];北京交通大學學報;2005年02期

3 張科;高峗;;基于Web的Access后臺數(shù)據(jù)庫窗體設計與控件引用——以《圖書與情報》稿件采編系統(tǒng)為例[J];圖書與情報;2008年03期

4 劉乘;任亞東;;幾種常用緩沖材料的性能研究[J];包裝工程;2010年07期

5 王會婷;;油田勘探項目庫的建設與推廣[J];重慶工學院學報(自然科學版);2008年02期

6 王英強;石永生;;B+樹在數(shù)據(jù)庫索引中的應用[J];長江大學學報(自然科學版)理工卷;2008年01期

7 劉建粉,張睿哲,張俊峰;XML與數(shù)據(jù)集成技術淺析[J];平頂山工學院學報;2003年02期

8 王會婷;莊海寧;;油田綜合數(shù)據(jù)庫的建立與實現(xiàn)[J];重慶科技學院學報(自然科學版);2008年01期

9 王會婷;王成敏;;油田勘探生產(chǎn)管理系統(tǒng)的開發(fā)與應用[J];重慶科技學院學報(自然科學版);2010年01期

10 俞建;;二調數(shù)據(jù)庫管理系統(tǒng)設計與應用[J];測繪與空間地理信息;2011年04期

  本文關鍵詞：一種基于HBase的海量空間遙感數(shù)據(jù)檢索系統(tǒng)，由筆耕文化傳播整理發(fā)布。

，

本文編號：343197