本文關(guān)鍵詞：云平臺(tái)下時(shí)空數(shù)據(jù)存儲(chǔ)與索引機(jī)制的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,大量的GPS設(shè)備產(chǎn)生了大規(guī)模的具有時(shí)間和空間位置的數(shù)據(jù),我們稱之為海量時(shí)空數(shù)據(jù)。目前主流的時(shí)空數(shù)據(jù)存儲(chǔ)方法大多基于單機(jī)空間數(shù)據(jù)庫,由于單機(jī)性能有限,擴(kuò)展性不高,漸漸不能適用于處理大規(guī)模時(shí)空數(shù)據(jù)。隨著分布式云計(jì)算的高速發(fā)展,眾多高性能的云平臺(tái)層出不窮,為處理海量時(shí)空數(shù)據(jù)提供了契機(jī),但是這些云平臺(tái)在機(jī)器成本、能耗、實(shí)驗(yàn)場(chǎng)地等方面造價(jià)高,對(duì)普通用戶收取的費(fèi)用也是昂貴的。當(dāng)前,時(shí)空索引的研究大多是單機(jī)下的串行索引,分布式時(shí)空索引很少研究。存儲(chǔ)在分布式云平臺(tái)上的海量時(shí)空數(shù)據(jù),不但數(shù)據(jù)存放無序,而且需要遍歷每條記錄,才能檢索到用戶所需的內(nèi)容,檢索效率低下。所以,時(shí)空數(shù)據(jù)在云平臺(tái)上的存儲(chǔ)策略以及索引構(gòu)建上面臨巨大壓力。如何利用云平臺(tái)的高性能計(jì)算能力,有效的存儲(chǔ)與檢索時(shí)空數(shù)據(jù),是必須解決的關(guān)鍵技術(shù)問題之一�；谝陨蠁栴},通過大量的準(zhǔn)備工作,本文提出以下解決方案。首先,采用低成本低能耗的Cubieboard2 ARM開發(fā)板搭建Hadoop分布式云平臺(tái),分析云平臺(tái)性能與能耗,驗(yàn)證其實(shí)用性。然后,在HDFS層次上,設(shè)計(jì)了兩種全局-局部索引,即TGrid索引和QDtree索引。TGrid索引采用改進(jìn)的網(wǎng)格劃分算法將時(shí)空數(shù)據(jù)均勻的劃分到HDFS數(shù)據(jù)塊中,每個(gè)數(shù)據(jù)塊構(gòu)造一維時(shí)間的局部索引;QDtree索引采用改進(jìn)的四叉樹劃分算法劃分時(shí)空數(shù)據(jù),構(gòu)建多維R-tree的局部索引管理數(shù)據(jù)塊中的數(shù)據(jù)。最后,設(shè)計(jì)存儲(chǔ)優(yōu)化策略,采用列存儲(chǔ)與數(shù)據(jù)壓縮的方法,減小磁盤存儲(chǔ)空間,提高數(shù)據(jù)檢索和網(wǎng)絡(luò)傳輸效率。實(shí)驗(yàn)表明,該云平臺(tái)雖然單機(jī)性能有限,但能夠充分發(fā)揮Hadoop可擴(kuò)展性,發(fā)揮并行計(jì)算的優(yōu)勢(shì),彌補(bǔ)單節(jié)點(diǎn)的不足,而且成本低廉,有很好的借鑒意義。通過本文提出的兩種時(shí)空索引機(jī)制和存儲(chǔ)優(yōu)化策略,不但合理的存儲(chǔ)海量時(shí)空數(shù)據(jù),節(jié)省存儲(chǔ)的開銷,而且索引對(duì)時(shí)間和空間屬性的有效剪枝,大大提高了數(shù)據(jù)檢索效率。
【關(guān)鍵詞】：海量時(shí)空數(shù)據(jù) 分布式時(shí)空索引 云平臺(tái) 存儲(chǔ)優(yōu)化
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13
【目錄】：

• 摘要4-5
• Abstract5-10
• 第一章 緒論10-17
• 1.1 課題研究背景及意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-14
• 1.2.1 傳統(tǒng)時(shí)空數(shù)據(jù)研究與發(fā)展11-13
• 1.2.2 分布式并行索引的發(fā)展13-14
• 1.3 本文研究內(nèi)容及貢獻(xiàn)14-16
• 1.3.1 低成本、低能耗、高擴(kuò)展性的Hadoop云平臺(tái)14-15
• 1.3.2 兩種分布式時(shí)空索引機(jī)制15-16
• 1.4 本文組織結(jié)構(gòu)16-17
• 第二章 相關(guān)知識(shí)介紹17-26
• 2.1 云平臺(tái)的相關(guān)知識(shí)17-20
• 2.1.1 Hadoop發(fā)展17-18
• 2.1.2 HDFS原理研究18-19
• 2.1.3 MapReduce編程模型19-20
• 2.1.4 Yarn模型20
• 2.2 分布式時(shí)空索引理論20-25
• 2.2.1 時(shí)空對(duì)象20-21
• 2.2.2 時(shí)空索引21-22
• 2.2.3 傳統(tǒng)Hadoop存取時(shí)空數(shù)據(jù)22-23
• 2.2.4 HDFS兩層索引23-25
• 2.3 本章小結(jié)25-26
• 第三章 基于ARM的云平臺(tái)搭建以及性能分析26-38
• 3.1 CubieBoard2介紹26-27
• 3.2 云平臺(tái)搭建27-30
• 3.2.1 云平臺(tái)硬件設(shè)備27-28
• 3.2.2 搭建過程28-30
• 3.3 云平臺(tái)性能測(cè)試方法30-31
• 3.3.1 Cubieboard2性能分析工具30-31
• 3.3.3 云平臺(tái)性能分析方法31
• 3.4 實(shí)驗(yàn)及分析31-37
• 3.4.1 單節(jié)點(diǎn)性能測(cè)試與集群能耗測(cè)試32
• 3.4.2 讀寫測(cè)試32-33
• 3.4.3 TeraSort測(cè)試33-36
• 3.4.4 能耗測(cè)試36-37
• 3.5 本章小結(jié)37-38
• 第四章 分布式時(shí)空索引機(jī)制38-47
• 4.1 分布式時(shí)空索引構(gòu)建方法38-41
• 4.1.1 時(shí)空數(shù)據(jù)模型38-39
• 4.1.2 兩層索引構(gòu)建一般流程39-41
• 4.2 時(shí)空網(wǎng)格索引(TGrid)41-43
• 4.2.1 改進(jìn)的網(wǎng)格劃分算法41-42
• 4.2.2 局部一維時(shí)間索引42-43
• 4.3 QDTree索引43-46
• 4.3.1 改進(jìn)的四叉樹劃分算法44-45
• 4.3.2 局部 3DR-tree索引45-46
• 4.4 本章小結(jié)46-47
• 第五章 存儲(chǔ)優(yōu)化與實(shí)驗(yàn)分析47-55
• 5.1 存儲(chǔ)優(yōu)化47-50
• 5.1.1 時(shí)空數(shù)據(jù)的列存儲(chǔ)47-49
• 5.1.2 時(shí)空數(shù)據(jù)壓縮存儲(chǔ)49-50
• 5.2 實(shí)驗(yàn)結(jié)果與分析50-54
• 5.2.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集50
• 5.2.2 時(shí)空數(shù)據(jù)存儲(chǔ)性能分析50-51
• 5.2.3 時(shí)空數(shù)據(jù)索引構(gòu)建時(shí)間分析51-52
• 5.2.4 時(shí)空數(shù)據(jù)檢索性能52-54
• 5.3 本章小結(jié)54-55
• 第六章 總結(jié)與展望55-57
• 6.1 論文總結(jié)55
• 6.2 工作展望55-57
• 參考文獻(xiàn)57-61
• 作者簡(jiǎn)介及在學(xué)期間所取得的科研成果61-62
• 致謝62

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 尹章才,鄧運(yùn)員;時(shí)空數(shù)據(jù)倉庫初探[J];測(cè)繪科學(xué);2002年03期

2 尹章才;李霖;;異構(gòu)時(shí)空數(shù)據(jù)的轉(zhuǎn)換機(jī)制研究[J];華中師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年02期

3 陳榮清,謝剛生,鄒時(shí)林;時(shí)態(tài)GIS中時(shí)空數(shù)據(jù)表達(dá)綜述[J];華東地質(zhì)學(xué)院學(xué)報(bào);2001年04期

4 雷起宏;劉耀林;尹章才;何建華;;基于加權(quán)圖的地籍時(shí)空數(shù)據(jù)描述模型研究[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2006年07期

5 劉春菊;石敦敦;;城市規(guī)劃信息系統(tǒng)的時(shí)空數(shù)據(jù)組織方案[J];地球信息科學(xué);2006年04期

6 謝炯;劉仁義;劉南;;基于時(shí)空分區(qū)聚簇的海量時(shí)空數(shù)據(jù)性能優(yōu)化方法研究[J];中國圖象圖形學(xué)報(bào);2006年09期

7 喬金海;宋勤昌;;海洋地理信息系統(tǒng)時(shí)空數(shù)據(jù)組織模型研究[J];吉林大學(xué)學(xué)報(bào)(地球科學(xué)版);2006年S2期

8 赫建忠;張保鋼;;地形圖時(shí)空數(shù)據(jù)建庫的兩種方法及其對(duì)比[J];測(cè)繪科學(xué);2008年03期

9 張寶才;周順平;汪瑜;楊林;宋宗孝;;基于歷史歸檔的時(shí)空數(shù)據(jù)管理研究[J];工程地球物理學(xué)報(bào);2009年01期

10 童小華;;時(shí)空數(shù)據(jù)質(zhì)量與模型[J];地理信息世界;2009年02期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 周輝;周曉光;何憑宗;秦佐;;基態(tài)修正模型的時(shí)空數(shù)據(jù)組織和快照查詢方法研究[A];2009`中國地理信息產(chǎn)業(yè)論壇暨第二屆教育論壇就業(yè)洽談會(huì)論文集[C];2009年

2 任家東;彭慧麗;張嘯劍;;一種基于時(shí)空對(duì)象的數(shù)據(jù)模型不確定性擴(kuò)展[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2006年

3 劉紀(jì)遠(yuǎn);;國家資源環(huán)境時(shí)空數(shù)據(jù)基礎(chǔ)及其在資源環(huán)境研究中的應(yīng)用[A];第十三屆全國遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2001年

4 龔俊;鮑曙明;殷守敬;趙祥生;;時(shí)空數(shù)據(jù)分析中的多階模型應(yīng)用[A];中國地理學(xué)會(huì)2006年學(xué)術(shù)年會(huì)論文摘要集[C];2006年

5 劉紀(jì)遠(yuǎn);;資源環(huán)境時(shí)空數(shù)據(jù)基礎(chǔ)與地理科學(xué)方法論的創(chuàng)新(摘要)[A];中國科協(xié)2001年學(xué)術(shù)年會(huì)分會(huì)場(chǎng)特邀報(bào)告匯編[C];2001年

6 楊華先;錢自紅;;地球時(shí)空數(shù)據(jù)在資源環(huán)境領(lǐng)域的應(yīng)用[A];湖北省測(cè)繪學(xué)會(huì)2004年度科學(xué)技術(shù)交流會(huì)論文集[C];2005年

7 楊華先;錢自紅;;地球時(shí)空數(shù)據(jù)在資源環(huán)境領(lǐng)域的應(yīng)用[A];測(cè)繪荊楚——湖北省測(cè)繪學(xué)會(huì)2005年“索佳杯”學(xué)術(shù)論文集[C];2005年

8 季民;靳奉祥;李婷;艾波;趙相偉;;基于格網(wǎng)的海洋時(shí)空數(shù)據(jù)組織策略研究[A];《測(cè)繪通報(bào)》測(cè)繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

9 劉紀(jì)遠(yuǎn);;資源環(huán)境時(shí)空數(shù)據(jù)基礎(chǔ)與地理科學(xué)方法論的創(chuàng)新[A];海峽兩岸地理學(xué)術(shù)研討會(huì)暨2001年學(xué)術(shù)年會(huì)論文摘要集[C];2001年

10 王歡;魏海平;;時(shí)空數(shù)據(jù)可視化淺述[A];第四屆海峽兩岸GIS發(fā)展研討會(huì)暨中國GIS協(xié)會(huì)第十屆年會(huì)論文集[C];2006年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 本報(bào)記者 孫安然;讓信息共享“零距離”[N];中國海洋報(bào);2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 柏祿一;基于XML的模糊時(shí)空數(shù)據(jù)建模與查詢方法的研究[D];東北大學(xué);2013年

2 秦昆;時(shí)空數(shù)據(jù)建模方法研究[D];中國地質(zhì)大學(xué)(北京);2016年

3 毛華堅(jiān);云環(huán)境中的移動(dòng)文件存儲(chǔ)和時(shí)空數(shù)據(jù)分析關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

4 張豐;面向網(wǎng)格的海量時(shí)空數(shù)據(jù)訪問、集成與互操作研究[D];浙江大學(xué);2007年

5 汪匯兵;基礎(chǔ)地理信息時(shí)空一體化建模與管理方法研究[D];武漢大學(xué);2011年

6 滕龍妹;土地資源時(shí)空數(shù)據(jù)網(wǎng)格服務(wù)模型及其實(shí)現(xiàn)方法[D];浙江大學(xué);2008年

7 季民;海洋漁業(yè)GIS時(shí)空數(shù)據(jù)組織與分析[D];山東科技大學(xué);2004年

8 李昭;虛擬海洋環(huán)境時(shí)空數(shù)據(jù)建模與可視化服務(wù)研究[D];浙江大學(xué);2010年

9 蔡中祥;基于GIS的長江河口空間決策支持研究[D];華東師范大學(xué);2005年

10 尹華罡;基于海量時(shí)空數(shù)據(jù)的路線挖掘與檢索[D];中國科學(xué)技術(shù)大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 溫波;基于時(shí)空數(shù)據(jù)的多約束地點(diǎn)推薦模型研究[D];華南理工大學(xué);2015年

2 劉權(quán)芳;兩類時(shí)空數(shù)據(jù)模型及其應(yīng)用研究[D];長安大學(xué);2015年

3 劉莎;空間數(shù)據(jù)與時(shí)空數(shù)據(jù)的分析方法及比較[D];長安大學(xué);2015年

4 施志林;時(shí)空數(shù)據(jù)分布式存儲(chǔ)研究[D];江西理工大學(xué);2015年

5 李澤城;基于MongoDB的滇池流域非點(diǎn)源污染模擬時(shí)空數(shù)據(jù)庫管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];云南師范大學(xué);2015年

6 董禹辛;移動(dòng)云計(jì)算在車輛GPS中的研究與應(yīng)用[D];華北電力大學(xué);2015年

7 盧艷松;基于SOM的農(nóng)業(yè)時(shí)空數(shù)據(jù)可視化分析模式[D];浙江農(nóng)林大學(xué);2015年

8 高銳;基于MongoDB的黑河流域時(shí)空數(shù)據(jù)云存儲(chǔ)關(guān)鍵技術(shù)研究[D];蘭州大學(xué);2016年

9 楊學(xué)毅;云平臺(tái)下時(shí)空數(shù)據(jù)存儲(chǔ)與索引機(jī)制的研究[D];吉林大學(xué);2016年

10 周輝;基于基態(tài)修正模型的時(shí)空數(shù)據(jù)增量更新與查詢方法研究[D];中南大學(xué);2010年

  本文關(guān)鍵詞：云平臺(tái)下時(shí)空數(shù)據(jù)存儲(chǔ)與索引機(jī)制的研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：389217