本文選題：海量空間數(shù)據(jù)存儲 + 空間數(shù)據(jù)存儲模型��； 參考：《武漢大學(xué)》2012年博士論文

【摘要】：隨著國民經(jīng)濟(jì)的發(fā)展和技術(shù)的進(jìn)步,空間數(shù)據(jù)的應(yīng)用早 突破專業(yè)領(lǐng)域的限制,在國土、資源、環(huán)境、交通和規(guī)劃等眾多領(lǐng)域的應(yīng)用日益廣泛�！爸腔鄣厍颉�、“智慧中國”和“智慧城市”等的建設(shè)更是極大拓展了空間數(shù)據(jù)的應(yīng)用范圍。由于對地觀測技術(shù)的飛速發(fā)展,空間數(shù)據(jù)的獲取手段日益豐富,空間數(shù)據(jù)呈幾何倍數(shù)增加。迅速增加的空間數(shù)據(jù)在容量、性能、可用性和擴(kuò)展性等方面對存儲系統(tǒng)提出了更高的要求。現(xiàn)有的空間數(shù)據(jù)庫大多在關(guān)系數(shù)據(jù)庫之上構(gòu)建,隨著數(shù)據(jù)量的激增,大多出現(xiàn)了擴(kuò)展性差、并發(fā)讀寫能力低和數(shù)據(jù)結(jié)構(gòu)變更困難等問題,難以滿足當(dāng)前空間數(shù)據(jù)的應(yīng)用需求。本文提出了運用云計算,特別是NoSQL數(shù)據(jù)庫技術(shù)構(gòu)建海量空問數(shù)據(jù)的存儲來解決上述問題。具體來說,論文的主要研究工作如下： (1)針對海量空間數(shù)據(jù)服務(wù)在容量、擴(kuò)展性等方面的要求,設(shè)計了一種可擴(kuò)展的海量空間數(shù)據(jù)存儲服務(wù)體系結(jié)構(gòu)和服務(wù)模型。海量空間數(shù)據(jù)存儲服務(wù)體系采用分層結(jié)構(gòu),每一層均采用分布式集群方式構(gòu)建,因而具有良好的擴(kuò)展性。分布式消息隊列被應(yīng)用到空間數(shù)據(jù)服務(wù)之中,以降低耦合度,提高擴(kuò)展能力,并對瞬時激增的請求進(jìn)行緩沖；分布式緩存用來減少復(fù)雜的空間數(shù)據(jù)存取邏輯和計算邏輯,降低請求延遲�？臻g數(shù)據(jù)服務(wù)模型被設(shè)計用來簡化服務(wù)的開發(fā)和部署。鑒于空問數(shù)據(jù)服務(wù)涉及的數(shù)據(jù)量較大、資源消耗較多,空間數(shù)據(jù)服務(wù)采用單調(diào)服務(wù)模式構(gòu)建。 (2)提出了基于Redis構(gòu)建分布式內(nèi)存緩存和消息隊列的方法。分布式內(nèi)存緩存Redis-RCache和消息隊列Redis-RMQ均在以一致性哈希算法為基礎(chǔ)的Redis集群之上構(gòu)建。結(jié)合緩存在空間數(shù)據(jù)中的應(yīng)用場景,為Redis-RCache設(shè)計了緩存項結(jié)構(gòu),緩存一致性策略和替換算法等。結(jié)合消息隊列的典型應(yīng)用場景,為Redis-RMQ設(shè)計了消息結(jié)構(gòu)、消息可見性策略、有毒消息處理機(jī)制和消息的生命周期。為解決一致性哈希集群環(huán)境下無法保持消息先后順序的問題,Redis-RMQ通過全局隊列存儲消息的順序和狀態(tài),并同時實現(xiàn)了先進(jìn)先出隊列和優(yōu)先級隊列。 (3)設(shè)計了列式存儲環(huán)境下海量空間數(shù)據(jù)的存儲模型及其空間數(shù)據(jù)引擎。列式存儲模型下的空間數(shù)據(jù)按照數(shù)據(jù)集組-數(shù)據(jù)集-數(shù)據(jù)描述-數(shù)據(jù)塊的方式組織數(shù)據(jù)�？臻g數(shù)據(jù)采用分塊的方式存儲在集群中,提高了空間數(shù)據(jù)的并發(fā)讀寫能力。本文設(shè)計了固定字節(jié)長度分塊、圖形范圍分塊和要素分塊三種空間數(shù)據(jù)劃分策略。通過建立列式存儲與空間數(shù)據(jù)模型問的映射關(guān)系,為該空間數(shù)據(jù)模型所設(shè)計的空間數(shù)據(jù)引擎實現(xiàn)了業(yè)務(wù)邏輯與底層存儲結(jié)構(gòu)的分離。 (4)針對列式存儲環(huán)境下空問查詢困難以及索引區(qū)域變化容易導(dǎo)致索引重建的問題,提出了一種分布式可擴(kuò)展四叉樹索引DAE-QTree及其空間查詢方法。通過將整個空間范圍劃分為一系列的網(wǎng)格,并每個網(wǎng)格建立四義樹索引,DAE-QTree索引實現(xiàn)了索引區(qū)域的擴(kuò)展�？臻g對象記錄在能容納該對象的最小四叉樹結(jié)點上其索引編碼使用四叉樹結(jié)點編碼及四叉樹所在網(wǎng)格的編碼共同構(gòu)造。通過將索引分散存儲在Cassandra集群中,DAE-QTree實現(xiàn)了大索引記錄情況下的快速定位。結(jié)合DAE-QTree的索引原理和編碼方式以及經(jīng)典的兩步空間查詢方法,本文為DAE-QTree設(shè)計了列式存儲環(huán)境下的空間查詢方法。
[Abstract]:With the development of national economy and the progress of technology , the application of spatial data is more and more extensive in many fields such as land , resources , environment , transportation and planning .

( 1 ) In view of the requirements of mass spatial data service in capacity and expansibility , a scalable mass spatial data storage service architecture and service model is designed . The massive spatial data storage service system adopts a hierarchical structure , each layer is constructed in a distributed cluster mode , thus having good expansibility . The distributed message queue is applied to the space data service to reduce the coupling degree , improve the expansion capability , and buffer the request for transient surge ;
Distributed cache is used to reduce the complex spatial data access logic and computational logic , reduce the request delay . The space data service model is designed to simplify the development and deployment of the service . In view of the large amount of data involved in the empty Q data service , the resource consumption is more , and the spatial data service is constructed in a monotonic service mode .

( 2 ) Redis - RCache and Message Queuing Redis - RMQ are constructed on the basis of a consistent hash algorithm . The distributed memory cache Redis - RCache and the Message Queuing Redis - RMQ are constructed on the basis of a consistent hash algorithm . In combination with the typical application scenario of the buffer in the spatial data , the message structure , message visibility strategy , toxic message processing mechanism and lifecycle of the message are designed for the Redis - RMQ . In order to solve the problem that the message is not kept in the order of messages in a consistent hash cluster environment , the Redis - RMQ stores the order and status of the message through the global queue , and realizes the first - in - first - out queue and the priority queue at the same time .

( 3 ) The storage model of mass spatial data and its spatial data engine under the storage environment are designed . The spatial data in the storage model organizes the data according to the data set - data set - data description - data block .

( 4 ) In view of the difficulty of empty query query and index region change easily lead to the problem of index reconstruction , a distributed extensible quadtree index DAE - QTree and its spatial query method are proposed .
【學(xué)位授予單位】：武漢大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2012
【分類號】：P208;TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 周艷;朱慶;張葉廷;;基于Hilbert曲線層次分解的空間數(shù)據(jù)劃分方法[J];地理與地理信息科學(xué);2007年04期

2 劉異;咼維;江萬壽;龔健雅;;一種基于云計算模型的遙感處理服務(wù)模式研究與實現(xiàn)[J];計算機(jī)應(yīng)用研究;2009年09期

3 陳國良;孫廣中;徐云;龍柏;;并行計算的一體化研究現(xiàn)狀與發(fā)展趨勢[J];科學(xué)通報;2009年08期

4 朱欣焰;周春輝;咼維;夏宇;;分布式空間數(shù)據(jù)分片與跨邊界拓?fù)溥B接優(yōu)化方法[J];軟件學(xué)報;2011年02期

5 宋海朝,楊鈺,周儉;分布式空間數(shù)據(jù)庫的研究與設(shè)計[J];計算機(jī)工程與設(shè)計;2004年11期

6 承達(dá)瑜;陳軍;韓剛;王發(fā)良;;基于消息隊列的實時GIS協(xié)同操作研究[J];中國礦業(yè)大學(xué)學(xué)報;2012年01期

相關(guān)博士學(xué)位論文 前1條

1 何雄;空間數(shù)據(jù)庫引擎關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2006年

，

本文編號：2058490