本文關(guān)鍵詞：面向列存儲模式的時空對象查詢處理技術(shù)研究

  更多相關(guān)文章： 列數(shù)據(jù)庫 列存儲 HBase 分布式 時空數(shù)據(jù) 時空索引

【摘要】：隨著全球定位技術(shù)的發(fā)展以及信息采集技術(shù)的進步,時空數(shù)據(jù)急劇增長。面對海量、多樣、復雜的時空數(shù)據(jù),如何對其高效存儲和管理成為國內(nèi)外學者研究的熱點問題。傳統(tǒng)集中式時空索引的單服務(wù)器環(huán)境難以滿足海量時空數(shù)據(jù)的存儲和查詢開銷,構(gòu)建分布式時空索引成為必然趨勢。面向列存儲模式的分布式數(shù)據(jù)庫較傳統(tǒng)面向行存儲的關(guān)系型數(shù)據(jù)庫在海量數(shù)據(jù)處理方面具有極大優(yōu)勢,其以列為單位存取數(shù)據(jù)的模式以及高可用、并行式、易擴展、動態(tài)負載均衡等特性為海量時空數(shù)據(jù)的存儲管理提供了解決思路。本文在以HBase為例的面向列存儲模式數(shù)據(jù)庫和時空索引的理論基礎(chǔ)上,設(shè)計了兩種新型的面向列存儲模式的時空索引,并對兩種索引的建立、查詢算法設(shè)計、索引維護和優(yōu)化進行了詳細描述,最后采用HBase列數(shù)據(jù)庫,通過實驗分析評價了兩種索引的性能。論文主要成果如下:(1)提出了一種面向列存儲模式的時空索引結(jié)構(gòu)。本文在深入研究列存儲模式數(shù)據(jù)庫和時空索引的理論基礎(chǔ)上,結(jié)合列數(shù)據(jù)庫分布式環(huán)境特點和以往的時空索引技術(shù),提出了一種面向列存儲模式的時空索引結(jié)構(gòu),并對構(gòu)建時空索引相關(guān)技術(shù)進行了選取改進以適應(yīng)新的面向列的分布式環(huán)境。這為之后的時空索引構(gòu)建打下了良好的基礎(chǔ)。(2)提出了基于“無表”結(jié)構(gòu)面向列存儲模式的時空索引。通過研究時空數(shù)據(jù)在列數(shù)據(jù)庫中的存儲模式,針對列數(shù)據(jù)庫時空對象數(shù)據(jù)模型,提出了三種rowkey的設(shè)計模式,并設(shè)計了相應(yīng)的時空數(shù)據(jù)存儲結(jié)構(gòu)。通過比較選取最優(yōu)的空間轉(zhuǎn)換組合模式的rowkey設(shè)計及相應(yīng)的數(shù)據(jù)存儲結(jié)構(gòu),建立了基于“無表”結(jié)構(gòu)面向列存儲模式的時空索引。描述了該索引的建立過程,設(shè)計了索引的時空范圍查詢和時空最鄰近查詢的算法,并給出了索引維護和優(yōu)化策略。(3)提出了基于“二級表”結(jié)構(gòu)面向列存儲模式的時空索引。沿用最優(yōu)的rowkey設(shè)計模式及相應(yīng)的數(shù)據(jù)存儲結(jié)構(gòu),建立了時間級和時間空間級兩級索引表結(jié)構(gòu)的基于“二級表”結(jié)構(gòu)面向列存儲模式的時空索引。描述了兩級索引表建立算法和索引過程,設(shè)計了兩級索引表結(jié)構(gòu)的時空范圍查詢和時空最鄰近查詢的算法,并給出了索引維護和優(yōu)化策略。(4)針對兩種索引進行了實驗檢驗并分析評價了索引性能。采用HBase列數(shù)據(jù)庫,通過一系列實驗檢驗了兩種時空索引的性能,并對實驗結(jié)果總結(jié)分析、客觀評價。
【關(guān)鍵詞】：列數(shù)據(jù)庫 列存儲 HBase 分布式 時空數(shù)據(jù) 時空索引
【學位授予單位】：國防科學技術(shù)大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP311.13;TP333
【目錄】：

• 摘要9-10
• ABSTRACT10-12
• 第一章 緒論12-22
• 1.1 研究背景12-13
• 1.2 研究意義13-14
• 1.3 國內(nèi)外研究現(xiàn)狀14-17
• 1.3.1 分布式時空索引技術(shù)研究現(xiàn)狀14-16
• 1.3.2 云環(huán)境下分布式索引技術(shù)研究現(xiàn)狀16-17
• 1.4 論文主要工作17-20
• 1.5 論文結(jié)構(gòu)20-22
• 第二章 面向列存儲模式的時空對象查詢處理技術(shù)理論基礎(chǔ)22-40
• 2.1 面向列存儲模式的數(shù)據(jù)庫簡介22-26
• 2.1.1 面向列存儲模式的HBase數(shù)據(jù)模型22-23
• 2.1.2 面向列存儲模式的HBase存儲模式23-24
• 2.1.3 面向列存儲模式的HBase特性24-25
• 2.1.4 面向列存儲模式的HBase集群運作模式25-26
• 2.2 時空對象簡介26-30
• 2.2.1 時空對象的分類26
• 2.2.2 時空對象的特性26-28
• 2.2.3 時空對象數(shù)據(jù)模型28-29
• 2.2.4 時空對象數(shù)據(jù)存儲29-30
• 2.2.5 時空對象查詢方式30
• 2.3 時空索引結(jié)構(gòu)30-32
• 2.3.1 分布式時空索引結(jié)構(gòu)30-31
• 2.3.2 面向列存儲模式的時空索引結(jié)構(gòu)31-32
• 2.4 索引空間劃分模式32-36
• 2.4.1 基于對象的劃分33
• 2.4.2 基于空間的劃分33-36
• 2.5 索引空間填充曲線36-39
• 2.5.1 常見空間填充曲線介紹36-37
• 2.5.2 Hilbert曲線編碼37-38
• 2.5.3 Hilbert編碼轉(zhuǎn)換坐標38-39
• 2.6 本章小結(jié)39-40
• 第三章 基于“無表”結(jié)構(gòu)面向列存儲模式的時空索引40-54
• 3.1 索引構(gòu)建整體結(jié)構(gòu)40-41
• 3.2 時空對象數(shù)據(jù)在列數(shù)據(jù)庫中存儲模式41-48
• 3.2.1 面向列存儲模式的時空對象數(shù)據(jù)模型41
• 3.2.2 rowkey的設(shè)計41-43
• 3.2.3 列數(shù)據(jù)庫表結(jié)構(gòu)模型43-48
• 3.3 時空索引的建立48-49
• 3.3.1 空間信息轉(zhuǎn)換48
• 3.3.2 索引信息的過程48-49
• 3.4 時空索引查詢算法設(shè)計49-52
• 3.4.1 時空范圍查詢算法設(shè)計49-51
• 3.4.2 時空最鄰近查詢算法設(shè)計51-52
• 3.5 時空索引的維護和優(yōu)化52-53
• 3.5.1 時空索引維護52
• 3.5.2 時空索引優(yōu)化52-53
• 3.6 本章小結(jié)53-54
• 第四章 基于“二級表”結(jié)構(gòu)面向列存儲模式的時空索引54-62
• 4.1 索引構(gòu)建整體結(jié)構(gòu)54-55
• 4.2 時空索引的建立55-57
• 4.2.1 時間空間級索引表建立55-56
• 4.2.2 時間級索引表建立56-57
• 4.2.3 索引信息的過程57
• 4.3 時空索引查詢算法設(shè)計57-59
• 4.3.1 時空范圍查詢算法設(shè)計57-59
• 4.3.2 時空最鄰近查詢算法設(shè)計59
• 4.4 時空索引的維護和優(yōu)化59-61
• 4.4.1 時空索引維護59
• 4.4.2 時空索引優(yōu)化59-61
• 4.5 本章小結(jié)61-62
• 第五章 實驗性能評價及結(jié)果分析62-74
• 5.1 實驗環(huán)境62-65
• 5.1.1 實驗平臺62-63
• 5.1.2 實驗數(shù)據(jù)集描述63
• 5.1.3 實驗參數(shù)設(shè)置63-65
• 5.2 實驗結(jié)果與分析65-72
• 5.2.1 數(shù)據(jù)插入速率65-66
• 5.2.2 不同數(shù)據(jù)集對范圍查詢響應(yīng)時間影響66-67
• 5.2.3 不同查詢時間下范圍查詢響應(yīng)時間67-68
• 5.2.4 不同查詢空間下范圍查詢響應(yīng)時間68-69
• 5.2.5 不同K值時空最鄰近查詢響應(yīng)時間69-71
• 5.2.6“無表”結(jié)構(gòu)索引的集中式和分布式查詢算法效率比較71-72
• 5.3 兩種索引性能評價72-73
• 5.4 本章小結(jié)73-74
• 第六章 總結(jié)與展望74-77
• 6.1 主要工作與創(chuàng)新74-75
• 6.2 未來研究工作75-77
• 致謝77-79
• 參考文獻79-84
• 作者在學期間取得的學術(shù)成果84

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 Chun-Ling Cheng;Chun-Ju Sun;Xiao-Long Xu;Deng-Yin Zhang;;A Multi-dimensional Index Structure Based on Improved VA-file and CAN in the Cloud[J];International Journal of Automation and Computing;2014年01期

2 葉小平;周暢;廖青云;朱峰華;;DTindex:分布式時態(tài)索引技術(shù)[J];華南師范大學學報(自然科學版);2013年03期

3 陳崇成;林劍峰;吳小竹;巫建偉;連惠群;;基于NoSQL的海量空間數(shù)據(jù)云存儲與服務(wù)方法[J];地球信息科學學報;2013年02期

4 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[J];電力信息化;2012年10期

5 張，

本文編號：1132242