本文關(guān)鍵詞：云平臺下時空數(shù)據(jù)存儲與索引機制的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,大量的GPS設(shè)備產(chǎn)生了大規(guī)模的具有時間和空間位置的數(shù)據(jù),我們稱之為海量時空數(shù)據(jù)。目前主流的時空數(shù)據(jù)存儲方法大多基于單機空間數(shù)據(jù)庫,由于單機性能有限,擴展性不高,漸漸不能適用于處理大規(guī)模時空數(shù)據(jù)。隨著分布式云計算的高速發(fā)展,眾多高性能的云平臺層出不窮,為處理海量時空數(shù)據(jù)提供了契機,但是這些云平臺在機器成本、能耗、實驗場地等方面造價高,對普通用戶收取的費用也是昂貴的。當(dāng)前,時空索引的研究大多是單機下的串行索引,分布式時空索引很少研究。存儲在分布式云平臺上的海量時空數(shù)據(jù),不但數(shù)據(jù)存放無序,而且需要遍歷每條記錄,才能檢索到用戶所需的內(nèi)容,檢索效率低下。所以,時空數(shù)據(jù)在云平臺上的存儲策略以及索引構(gòu)建上面臨巨大壓力。如何利用云平臺的高性能計算能力,有效的存儲與檢索時空數(shù)據(jù),是必須解決的關(guān)鍵技術(shù)問題之一。基于以上問題,通過大量的準備工作,本文提出以下解決方案。首先,采用低成本低能耗的Cubieboard2 ARM開發(fā)板搭建Hadoop分布式云平臺,分析云平臺性能與能耗,驗證其實用性。然后,在HDFS層次上,設(shè)計了兩種全局-局部索引,即TGrid索引和QDtree索引。TGrid索引采用改進的網(wǎng)格劃分算法將時空數(shù)據(jù)均勻的劃分到HDFS數(shù)據(jù)塊中,每個數(shù)據(jù)塊構(gòu)造一維時間的局部索引;QDtree索引采用改進的四叉樹劃分算法劃分時空數(shù)據(jù),構(gòu)建多維R-tree的局部索引管理數(shù)據(jù)塊中的數(shù)據(jù)。最后,設(shè)計存儲優(yōu)化策略,采用列存儲與數(shù)據(jù)壓縮的方法,減小磁盤存儲空間,提高數(shù)據(jù)檢索和網(wǎng)絡(luò)傳輸效率。實驗表明,該云平臺雖然單機性能有限,但能夠充分發(fā)揮Hadoop可擴展性,發(fā)揮并行計算的優(yōu)勢,彌補單節(jié)點的不足,而且成本低廉,有很好的借鑒意義。通過本文提出的兩種時空索引機制和存儲優(yōu)化策略,不但合理的存儲海量時空數(shù)據(jù),節(jié)省存儲的開銷,而且索引對時間和空間屬性的有效剪枝,大大提高了數(shù)據(jù)檢索效率。
【關(guān)鍵詞】：海量時空數(shù)據(jù) 分布式時空索引 云平臺 存儲優(yōu)化
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要4-5
• Abstract5-10
• 第一章 緒論10-17
• 1.1 課題研究背景及意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-14
• 1.2.1 傳統(tǒng)時空數(shù)據(jù)研究與發(fā)展11-13
• 1.2.2 分布式并行索引的發(fā)展13-14
• 1.3 本文研究內(nèi)容及貢獻14-16
• 1.3.1 低成本、低能耗、高擴展性的Hadoop云平臺14-15
• 1.3.2 兩種分布式時空索引機制15-16
• 1.4 本文組織結(jié)構(gòu)16-17
• 第二章 相關(guān)知識介紹17-26
• 2.1 云平臺的相關(guān)知識17-20
• 2.1.1 Hadoop發(fā)展17-18
• 2.1.2 HDFS原理研究18-19
• 2.1.3 MapReduce編程模型19-20
• 2.1.4 Yarn模型20
• 2.2 分布式時空索引理論20-25
• 2.2.1 時空對象20-21
• 2.2.2 時空索引21-22
• 2.2.3 傳統(tǒng)Hadoop存取時空數(shù)據(jù)22-23
• 2.2.4 HDFS兩層索引23-25
• 2.3 本章小結(jié)25-26
• 第三章 基于ARM的云平臺搭建以及性能分析26-38
• 3.1 CubieBoard2介紹26-27
• 3.2 云平臺搭建27-30
• 3.2.1 云平臺硬件設(shè)備27-28
• 3.2.2 搭建過程28-30
• 3.3 云平臺性能測試方法30-31
• 3.3.1 Cubieboard2性能分析工具30-31
• 3.3.3 云平臺性能分析方法31
• 3.4 實驗及分析31-37
• 3.4.1 單節(jié)點性能測試與集群能耗測試32
• 3.4.2 讀寫測試32-33
• 3.4.3 TeraSort測試33-36
• 3.4.4 能耗測試36-37
• 3.5 本章小結(jié)37-38
• 第四章 分布式時空索引機制38-47
• 4.1 分布式時空索引構(gòu)建方法38-41
• 4.1.1 時空數(shù)據(jù)模型38-39
• 4.1.2 兩層索引構(gòu)建一般流程39-41
• 4.2 時空網(wǎng)格索引(TGrid)41-43
• 4.2.1 改進的網(wǎng)格劃分算法41-42
• 4.2.2 局部一維時間索引42-43
• 4.3 QDTree索引43-46
• 4.3.1 改進的四叉樹劃分算法44-45
• 4.3.2 局部 3DR-tree索引45-46
• 4.4 本章小結(jié)46-47
• 第五章 存儲優(yōu)化與實驗分析47-55
• 5.1 存儲優(yōu)化47-50
• 5.1.1 時空數(shù)據(jù)的列存儲47-49
• 5.1.2 時空數(shù)據(jù)壓縮存儲49-50
• 5.2 實驗結(jié)果與分析50-54
• 5.2.1 實驗環(huán)境與數(shù)據(jù)集50
• 5.2.2 時空數(shù)據(jù)存儲性能分析50-51
• 5.2.3 時空數(shù)據(jù)索引構(gòu)建時間分析51-52
• 5.2.4 時空數(shù)據(jù)檢索性能52-54
• 5.3 本章小結(jié)54-55
• 第六章 總結(jié)與展望55-57
• 6.1 論文總結(jié)55
• 6.2 工作展望55-57
• 參考文獻57-61
• 作者簡介及在學(xué)期間所取得的科研成果61-62
• 致謝62

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 尹章才,鄧運員;時空數(shù)據(jù)倉庫初探[J];測繪科學(xué);2002年03期

2 尹章才;李霖;;異構(gòu)時空數(shù)據(jù)的轉(zhuǎn)換機制研究[J];華中師范大學(xué)學(xué)報(自然科學(xué)版);2007年02期

3 陳榮清,謝剛生,鄒時林;時態(tài)GIS中時空數(shù)據(jù)表達綜述[J];華東地質(zhì)學(xué)院學(xué)報;2001年04期

4 雷起宏;劉耀林;尹章才;何建華;;基于加權(quán)圖的地籍時空數(shù)據(jù)描述模型研究[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2006年07期

5 劉春菊;石敦敦;;城市規(guī)劃信息系統(tǒng)的時空數(shù)據(jù)組織方案[J];地球信息科學(xué);2006年04期

6 謝炯;劉仁義;劉南;;基于時空分區(qū)聚簇的海量時空數(shù)據(jù)性能優(yōu)化方法研究[J];中國圖象圖形學(xué)報;2006年09期

7 喬金海;宋勤昌;;海洋地理信息系統(tǒng)時空數(shù)據(jù)組織模型研究[J];吉林大學(xué)學(xué)報(地球科學(xué)版);2006年S2期

8 赫建忠;張保鋼;;地形圖時空數(shù)據(jù)建庫的兩種方法及其對比[J];測繪科學(xué);2008年03期

9 張寶才;周順平;汪瑜;楊林;宋宗孝;;基于歷史歸檔的時空數(shù)據(jù)管理研究[J];工程地球物理學(xué)報;2009年01期

10 童小華;;時空數(shù)據(jù)質(zhì)量與模型[J];地理信息世界;2009年02期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 周輝;周曉光;何憑宗;秦佐;;基態(tài)修正模型的時空數(shù)據(jù)組織和快照查詢方法研究[A];2009`中國地理信息產(chǎn)業(yè)論壇暨第二屆教育論壇就業(yè)洽談會論文集[C];2009年

2 任家東;彭慧麗;張嘯劍;;一種基于時空對象的數(shù)據(jù)模型不確定性擴展[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2006年

3 劉紀遠;;國家資源環(huán)境時空數(shù)據(jù)基礎(chǔ)及其在資源環(huán)境研究中的應(yīng)用[A];第十三屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2001年

4 龔俊;鮑曙明;殷守敬;趙祥生;;時空數(shù)據(jù)分析中的多階模型應(yīng)用[A];中國地理學(xué)會2006年學(xué)術(shù)年會論文摘要集[C];2006年

5 劉紀遠;;資源環(huán)境時空數(shù)據(jù)基礎(chǔ)與地理科學(xué)方法論的創(chuàng)新(摘要)[A];中國科協(xié)2001年學(xué)術(shù)年會分會場特邀報告匯編[C];2001年

6 楊華先;錢自紅;;地球時空數(shù)據(jù)在資源環(huán)境領(lǐng)域的應(yīng)用[A];湖北省測繪學(xué)會2004年度科學(xué)技術(shù)交流會論文集[C];2005年

7 楊華先;錢自紅;;地球時空數(shù)據(jù)在資源環(huán)境領(lǐng)域的應(yīng)用[A];測繪荊楚——湖北省測繪學(xué)會2005年“索佳杯”學(xué)術(shù)論文集[C];2005年

8 季民;靳奉祥;李婷;艾波;趙相偉;;基于格網(wǎng)的海洋時空數(shù)據(jù)組織策略研究[A];《測繪通報》測繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

9 劉紀遠;;資源環(huán)境時空數(shù)據(jù)基礎(chǔ)與地理科學(xué)方法論的創(chuàng)新[A];海峽兩岸地理學(xué)術(shù)研討會暨2001年學(xué)術(shù)年會論文摘要集[C];2001年

10 王歡;魏海平;;時空數(shù)據(jù)可視化淺述[A];第四屆海峽兩岸GIS發(fā)展研討會暨中國GIS協(xié)會第十屆年會論文集[C];2006年

中國重要報紙全文數(shù)據(jù)庫 前1條

1 本報記者 孫安然;讓信息共享“零距離”[N];中國海洋報;2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 柏祿一;基于XML的模糊時空數(shù)據(jù)建模與查詢方法的研究[D];東北大學(xué);2013年

2 秦昆;時空數(shù)據(jù)建模方法研究[D];中國地質(zhì)大學(xué)(北京);2016年

3 毛華堅;云環(huán)境中的移動文件存儲和時空數(shù)據(jù)分析關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

4 張豐;面向網(wǎng)格的海量時空數(shù)據(jù)訪問、集成與互操作研究[D];浙江大學(xué);2007年

5 汪匯兵;基礎(chǔ)地理信息時空一體化建模與管理方法研究[D];武漢大學(xué);2011年

6 滕龍妹;土地資源時空數(shù)據(jù)網(wǎng)格服務(wù)模型及其實現(xiàn)方法[D];浙江大學(xué);2008年

7 季民;海洋漁業(yè)GIS時空數(shù)據(jù)組織與分析[D];山東科技大學(xué);2004年

8 李昭;虛擬海洋環(huán)境時空數(shù)據(jù)建模與可視化服務(wù)研究[D];浙江大學(xué);2010年

9 蔡中祥;基于GIS的長江河口空間決策支持研究[D];華東師范大學(xué);2005年

10 尹華罡;基于海量時空數(shù)據(jù)的路線挖掘與檢索[D];中國科學(xué)技術(shù)大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 溫波;基于時空數(shù)據(jù)的多約束地點推薦模型研究[D];華南理工大學(xué);2015年

2 劉權(quán)芳;兩類時空數(shù)據(jù)模型及其應(yīng)用研究[D];長安大學(xué);2015年

3 劉莎;空間數(shù)據(jù)與時空數(shù)據(jù)的分析方法及比較[D];長安大學(xué);2015年

4 施志林;時空數(shù)據(jù)分布式存儲研究[D];江西理工大學(xué);2015年

5 李澤城;基于MongoDB的滇池流域非點源污染模擬時空數(shù)據(jù)庫管理系統(tǒng)設(shè)計與實現(xiàn)[D];云南師范大學(xué);2015年

6 董禹辛;移動云計算在車輛GPS中的研究與應(yīng)用[D];華北電力大學(xué);2015年

7 盧艷松;基于SOM的農(nóng)業(yè)時空數(shù)據(jù)可視化分析模式[D];浙江農(nóng)林大學(xué);2015年

8 高銳;基于MongoDB的黑河流域時空數(shù)據(jù)云存儲關(guān)鍵技術(shù)研究[D];蘭州大學(xué);2016年

9 楊學(xué)毅;云平臺下時空數(shù)據(jù)存儲與索引機制的研究[D];吉林大學(xué);2016年

10 周輝;基于基態(tài)修正模型的時空數(shù)據(jù)增量更新與查詢方法研究[D];中南大學(xué);2010年

  本文關(guān)鍵詞：云平臺下時空數(shù)據(jù)存儲與索引機制的研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：389217