本文關(guān)鍵詞：基于NoSQL的時(shí)空數(shù)據(jù)模型構(gòu)建和存儲(chǔ)方案研究

  更多相關(guān)文章： 時(shí)空數(shù)據(jù) 非關(guān)系型數(shù)據(jù)庫(kù) Hadoop MongoDB Neo4j

【摘要】：隨著人類社會(huì)不斷信息化、數(shù)字化和智能化,時(shí)空數(shù)據(jù)在國(guó)民經(jīng)濟(jì)與日常生活中發(fā)揮著日益重要的作用,不斷被應(yīng)用于各個(gè)領(lǐng)域,如事件預(yù)測(cè)、環(huán)境監(jiān)測(cè)、城市演化、交通管理、地震救援、全球或區(qū)域氣候、物流配送、實(shí)時(shí)GIS、面向大數(shù)據(jù)的時(shí)空數(shù)據(jù)挖掘與分析等。時(shí)空數(shù)據(jù)系統(tǒng)是一種對(duì)數(shù)據(jù)進(jìn)行采集、儲(chǔ)存、分析處理和可視化的信息系統(tǒng),既是對(duì)現(xiàn)實(shí)世界的模擬和進(jìn)行空間數(shù)據(jù)分析處理的手段,也是一門對(duì)時(shí)空數(shù)據(jù)信息處理分析的科學(xué)技術(shù)。怎樣在大數(shù)據(jù)環(huán)境下解決時(shí)空數(shù)據(jù)的存儲(chǔ)和分析計(jì)算是業(yè)界的研究熱點(diǎn)。時(shí)空數(shù)據(jù)庫(kù)作為時(shí)空數(shù)據(jù)系統(tǒng)的核心,是時(shí)空數(shù)據(jù)系統(tǒng)進(jìn)行存儲(chǔ)和計(jì)算的基礎(chǔ),由于傳統(tǒng)時(shí)空數(shù)據(jù)模型基于關(guān)系型數(shù)據(jù)庫(kù)構(gòu)建和存儲(chǔ),所以必須將問(wèn)題領(lǐng)域模型轉(zhuǎn)換成關(guān)系結(jié)構(gòu),轉(zhuǎn)換代價(jià)較高,存儲(chǔ)時(shí)將空間信息和時(shí)間信息割裂開(kāi)來(lái),同時(shí)關(guān)系型數(shù)據(jù)庫(kù)受范式限制難于擴(kuò)展、靈活性差、對(duì)于較為復(fù)雜的查詢涉及大量連接操作,導(dǎo)致效率急劇下降。因此需要尋找能夠?qū)r(shí)空數(shù)據(jù)統(tǒng)一建模和存儲(chǔ)的解決方案。No SQL是大數(shù)據(jù)環(huán)境下發(fā)展起來(lái)的非關(guān)系型、可水平擴(kuò)展的、分布式的數(shù)據(jù)庫(kù),能夠處理半結(jié)構(gòu)化、結(jié)構(gòu)化的數(shù)據(jù),支持高并發(fā)的讀寫,存儲(chǔ)模型包含鍵值、列族、文檔、圖等。No SQL擺脫了關(guān)系型數(shù)據(jù)庫(kù)范式限制和ACID約束,沒(méi)有固定表結(jié)構(gòu)和低效的連接操作,基于CAP理論、BASE并發(fā)事務(wù)模型和最終一致性,因此具有更好的伸縮性和靈活性。No SQL為海量數(shù)據(jù)的存儲(chǔ)和云計(jì)算環(huán)境下的數(shù)據(jù)分析與計(jì)算提供了堅(jiān)實(shí)的基礎(chǔ),能夠有效存儲(chǔ)格式多樣、數(shù)據(jù)量大、關(guān)系復(fù)雜的時(shí)空數(shù)據(jù)。本文首先對(duì)主流的時(shí)空數(shù)據(jù)模型和存儲(chǔ)方案進(jìn)行了系統(tǒng)的分析,介紹了國(guó)內(nèi)外研究現(xiàn)狀;然后詳細(xì)介紹了時(shí)空數(shù)據(jù)特點(diǎn)和代表性數(shù)據(jù)模型,闡述了No SQL數(shù)據(jù)庫(kù)的理論、數(shù)據(jù)模型以及相對(duì)于關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)勢(shì);提出了基于No SQL的時(shí)空數(shù)據(jù)模型和存儲(chǔ)的總體架構(gòu),分析了Hadoop結(jié)合Mongo DB的時(shí)空數(shù)據(jù)模型構(gòu)建與存儲(chǔ),針對(duì)柵格數(shù)據(jù)與矢量數(shù)據(jù)特征結(jié)合Mongo DB基于文檔存儲(chǔ)模型,設(shè)計(jì)了相應(yīng)的數(shù)據(jù)轉(zhuǎn)換模塊和柵格數(shù)據(jù)、矢量數(shù)據(jù)存儲(chǔ)模型,結(jié)合Hadoop對(duì)大數(shù)據(jù)的處理能力,介紹了基于Mongo DB存儲(chǔ)和Hadoop分析、計(jì)算的典型應(yīng)用;利用Neo4j對(duì)具有復(fù)雜關(guān)系的時(shí)空數(shù)據(jù)進(jìn)行建模和存儲(chǔ),提出了基于圖數(shù)據(jù)庫(kù)的時(shí)空數(shù)據(jù)時(shí)間表達(dá)和空間表達(dá)方法,應(yīng)用實(shí)例說(shuō)明了該模型的可行性,并且介紹了Neo4j Spatial庫(kù)在時(shí)空數(shù)據(jù)處理方面的高效性和Neo4j集群架構(gòu);最后,基于曙光的XDATA-HADOOP平臺(tái)搭建了Mongo DB與Neo4j,對(duì)論文提出的架構(gòu)搭建了原型系統(tǒng),在原型系統(tǒng)上進(jìn)行了測(cè)試,測(cè)試結(jié)果分析表明了論文提出的基于No SQL的時(shí)空數(shù)據(jù)模型和架構(gòu)的可行性與有效性。
【關(guān)鍵詞】：時(shí)空數(shù)據(jù) 非關(guān)系型數(shù)據(jù)庫(kù) Hadoop MongoDB Neo4j
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：P208
【目錄】：

• 中文摘要3-5
• 英文摘要5-10
• 1 緒論10-14
• 1.1 課題研究的背景和意義10-11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀11-12
• 1.2.1 時(shí)空數(shù)據(jù)模型國(guó)內(nèi)外研究現(xiàn)狀11-12
• 1.2.2 NoSQL研究現(xiàn)狀12
• 1.3 本文的主要工作12-13
• 1.4 本文的結(jié)構(gòu)安排13-14
• 2 時(shí)空數(shù)據(jù)概念、特點(diǎn)與模型14-30
• 2.1 時(shí)空數(shù)據(jù)概念與特點(diǎn)14-17
• 2.1.1 空間信息及其語(yǔ)義表達(dá)15-16
• 2.1.2 時(shí)間信息及其語(yǔ)義表達(dá)16-17
• 2.2 時(shí)空數(shù)據(jù)模型與存儲(chǔ)17-23
• 2.2.1 序列快照模型18
• 2.2.2 基態(tài)修正和時(shí)空復(fù)合模型18-20
• 2.2.3 面向?qū)ο蟮臅r(shí)空數(shù)據(jù)模型20-21
• 2.2.4 基于事件的時(shí)空數(shù)據(jù)模型21-22
• 2.2.5 基于圖的時(shí)空數(shù)據(jù)模型22-23
• 2.3 NoSQL數(shù)據(jù)庫(kù)23-29
• 2.3.1 NoSQL概述23
• 2.3.2 NoSQL的優(yōu)勢(shì)23-24
• 2.3.3 CAP, ACID與BASE理論24-26
• 2.3.4 NoSQL數(shù)據(jù)模型及分類26-29
• 2.4 本章小結(jié)29-30
• 3 基于NoSQL的時(shí)空數(shù)據(jù)模型與存儲(chǔ)架構(gòu)30-34
• 3.1 總體要求與功能30-31
• 3.1.1 總體要求30
• 3.1.2 功能設(shè)計(jì)30-31
• 3.2 總體架構(gòu)31-33
• 3.2.1 數(shù)據(jù)源31-32
• 3.2.2 存儲(chǔ)層32
• 3.2.3 接口層32-33
• 3.3 本章小結(jié)33-34
• 4 基于Hadoop和MongoDB的時(shí)空模型與存儲(chǔ)34-58
• 4.1 Hadoop簡(jiǎn)述34-41
• 4.1.1 HDFS Federation35-38
• 4.1.2 YARN(MapReduce NextGen)38-41
• 4.2 MongoDB介紹41-45
• 4.2.1 MongoDB基本概念與特點(diǎn)41
• 4.2.2 MongoDB集群41-45
• 4.3 結(jié)合Hadoop和Mongodb的時(shí)空數(shù)據(jù)模型構(gòu)建45-56
• 4.3.1 總體設(shè)計(jì)45-46
• 4.3.2 時(shí)空數(shù)據(jù)建模46-52
• 4.3.3 時(shí)空數(shù)據(jù)計(jì)算模型52-56
• 4.4 本章小結(jié)56-58
• 5 基于Neo4j圖數(shù)據(jù)庫(kù)的時(shí)空模型58-70
• 5.1 圖數(shù)據(jù)庫(kù)簡(jiǎn)述58-60
• 5.2 基于Neo4j圖數(shù)據(jù)庫(kù)的時(shí)空數(shù)據(jù)模型構(gòu)建60-62
• 5.2.1 基于圖數(shù)據(jù)庫(kù)的時(shí)間表達(dá)60-61
• 5.2.2 基于圖數(shù)據(jù)庫(kù)的空間表達(dá)61-62
• 5.3 基于圖數(shù)據(jù)庫(kù)的時(shí)空數(shù)據(jù)模型應(yīng)用62-68
• 5.3.1 時(shí)空數(shù)據(jù)圖模型構(gòu)建62-64
• 5.3.2 時(shí)空數(shù)據(jù)計(jì)算和分析64-65
• 5.3.3 Neo4j Spatial在時(shí)空數(shù)據(jù)處理中的應(yīng)用65-66
• 5.3.4 基于Neo4j時(shí)空數(shù)據(jù)處理的架構(gòu)66-68
• 5.4 本章小結(jié)68-70
• 6 原型系統(tǒng)搭建與測(cè)試70-84
• 6.1 原型系統(tǒng)搭建70-77
• 6.2 測(cè)試過(guò)程與分析77-81
• 6.3 本章小結(jié)81-84
• 7 總結(jié)與展望84-86
• 7.1 工作總結(jié)84
• 7.2 工作展望84-86
• 致謝86-88
• 參考文獻(xiàn)88-92
• 附錄92
• A. 作者在攻讀學(xué)位期間內(nèi)發(fā)表的論文目錄92

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 鄭扣根,余青怡,潘云鶴;基于事件對(duì)象的時(shí)空數(shù)據(jù)模型的擴(kuò)展與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2001年03期

2 林廣發(fā),馮學(xué)智,王雷,都金康;以事件為核心的面向?qū)ο髸r(shí)空數(shù)據(jù)模型[J];測(cè)繪學(xué)報(bào);2002年01期

3 蔡砥,徐建華;基于Kevin-Ian 3D模型的緊致時(shí)空數(shù)據(jù)模型[J];測(cè)繪學(xué)報(bào);2002年01期

4 尹章才,李霖,艾自興;基于圖論的時(shí)空數(shù)據(jù)模型研究[J];測(cè)繪學(xué)報(bào);2003年02期

5 盧炎生,秦川,唐波;基于屬性標(biāo)識(shí)位的面向?qū)ο髸r(shí)空數(shù)據(jù)模型[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年03期

6 崔偉宏,史文中,李小娟;基于特征的時(shí)空數(shù)據(jù)模型研究及在土地利用變化動(dòng)態(tài)監(jiān)測(cè)中的應(yīng)用[J];測(cè)繪學(xué)報(bào);2004年02期

7 林廣發(fā);基于事件的時(shí)空數(shù)據(jù)模型研究[J];測(cè)繪學(xué)報(bào);2004年03期

8 佘江峰,馮學(xué)智,都金康;時(shí)空數(shù)據(jù)模型的研究進(jìn)展評(píng)述[J];南京大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年03期

9 王宏勇,翟中敏,郭建星;時(shí)空數(shù)據(jù)模型及其在空間運(yùn)動(dòng)對(duì)象管理中的應(yīng)用[J];地理空間信息;2005年05期

10 滕龍妹;劉仁義;劉南;;基于雙效機(jī)制的時(shí)空數(shù)據(jù)模型研究[J];遙感學(xué)報(bào);2005年06期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 張英;邵峰晶;孫仁誠(chéng);;面向?qū)ο蟮乃脑M時(shí)空數(shù)據(jù)模型[A];第四屆中國(guó)軟件工程大會(huì)論文集[C];2007年

2 林廣發(fā);馮學(xué)智;江輝仙;;時(shí)空數(shù)據(jù)模型建模方法研究[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

3 崔偉宏;史文中;李小娟;;基于特征的時(shí)空數(shù)據(jù)模型研究及在土地利用變化動(dòng)態(tài)監(jiān)測(cè)中的應(yīng)用[A];全國(guó)地圖學(xué)與GIS學(xué)術(shù)會(huì)議論文集[C];2004年

4 林廣發(fā);陳友飛;黃萬(wàn)里;;一種時(shí)空數(shù)據(jù)模型的分類方法[A];全國(guó)地圖學(xué)與GIS學(xué)術(shù)會(huì)議論文集[C];2004年

5 汪衛(wèi);王宇君;施伯樂(lè);;基于約束的時(shí)空數(shù)據(jù)模型和查詢語(yǔ)言[A];第十六屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1999年

6 朱麗云;唐中實(shí);牟博超;尹平;;城市規(guī)劃時(shí)空數(shù)據(jù)模型設(shè)計(jì)[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第九屆年會(huì)論文集[C];2005年

7 秦其明;王洪慶;劉海濤;李U，

本文編號(hào)：850727