本文關鍵詞：基于云計算的災害大數(shù)據(jù)管理方法研究與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著物聯(lián)網(wǎng)技術的飛速發(fā)展,由各類計算機或機器設備產(chǎn)生的數(shù)據(jù)量越來越多,已經(jīng)遠遠超過了人類的想象,如何有效地存儲和管理物聯(lián)網(wǎng)上的海量數(shù)據(jù)信息已經(jīng)成為了當今人們極為關注的重大問題之一。利用視頻圖像設備和傳感器組來實現(xiàn)安全監(jiān)測是物聯(lián)網(wǎng)的重要應用之一,由此而采集到的視頻圖像和傳感器信息在后期的災害事故反演和分析上能夠提供科學的數(shù)據(jù)支撐。為了使物聯(lián)網(wǎng)上的這些海量數(shù)據(jù)能夠最大限度地發(fā)揮其潛在價值,必須以一種有效的方式將其組織存儲。本論文通過研究新興的數(shù)據(jù)存儲方式對比傳統(tǒng)數(shù)據(jù)存儲方式的優(yōu)劣,提出了一種基于云計算的災害大數(shù)據(jù)存儲管理方法,以達到海量數(shù)據(jù)的快速存儲和讀取能力。本論文以云計算中代表性最強的Hadoop框架為基礎,提出了視頻圖像小文件和傳感器數(shù)據(jù)的存儲管理方法及其理論依據(jù)。本論文最后進行了一系列的實驗,以驗證提出的存儲管理方法,并對比分析了在海量災害大數(shù)據(jù)管理方面的性能優(yōu)勢。本論文主要研究和實現(xiàn)的內容有以下幾點:①分析了Hadoop框架中的HDFS(Hadoop Distributed File System)文件系統(tǒng)和HBase(Hadoop Database)數(shù)據(jù)庫各自的存儲特點和數(shù)據(jù)讀寫方式,并實現(xiàn)了以HDFS作為視頻圖像文件存儲、以HBase作為圖像文件元數(shù)據(jù)和傳感器數(shù)據(jù)的持久化存儲的方法,提高了存儲效率。②以HDFS作為文件系統(tǒng)層存儲視頻圖像小文件時,由于HDFS的設計初衷是用來處理大文件,存儲海量的圖像小文件會導致Name Node節(jié)點負載過重而影響hadoop集群的性能。因此,本論文提出了一種新的小文件合并存儲策略,這種存儲策略實現(xiàn)的是一種小文件緩存合并思想,即每個小文件在寫入到HDFS之前先將其合并到一個大文件緩存中,待到緩存寫滿再輸出緩存內容到HDFS。寫入時,緩存區(qū)選擇和維護過程由運行在客戶端的小文件預處理模塊決定,寫入小文件的同時將其元數(shù)據(jù)信息寫入到HBase;小文件讀取時,先由HBase讀取元數(shù)據(jù)信息,然后根據(jù)元數(shù)據(jù)來讀取實際文件。③以HBase作為數(shù)據(jù)持久化層存儲小文件的元數(shù)據(jù)和傳感器數(shù)據(jù)。為了滿足時間序列數(shù)據(jù)的多條件檢索,本論文設計了一種利用二級索引實現(xiàn)反向索引表方法,在滿足多條件查詢需求的同時,也實現(xiàn)了數(shù)據(jù)存儲和讀取性能之間的平衡。另外,在HBase中集成了Mapreduce,使得HBase具有了統(tǒng)計分析海量數(shù)據(jù)的能力。④最后進行了一系列對比實驗,以科學形象的數(shù)據(jù)表現(xiàn)了本論文提出的HDFS小文件合并算法和基于HBase的二級索引方法,相比較于其它方法在讀寫性能上的改進幅度,驗證了這兩種數(shù)據(jù)存儲管理方法的正確性。
【關鍵詞】：大數(shù)據(jù)存儲 HDFS HBase 小文件存儲 文件合并 二級索引 云計算 Hadoop
【學位授予單位】：華南理工大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333;TP311.13
【目錄】：

• 摘要5-7
• Abstract7-12
• 第一章 緒論12-18
• 1.1 研究背景12-13
• 1.2 研究內容及意義13-14
• 1.3 國內外研究現(xiàn)狀14-17
• 1.3.1 云計算的發(fā)展14-15
• 1.3.2 基于云計算的數(shù)據(jù)存儲發(fā)展15-17
• 1.4 本論文組織結構17
• 1.5 本章小結17-18
• 第二章 相關理論和關鍵技術18-33
• 2.1 分布式文件系統(tǒng)18-20
• 2.1.1 分布式文件系統(tǒng)概述18-19
• 2.1.2 分布式文件系統(tǒng)與本地文件系統(tǒng)對比分析19-20
• 2.2 NoSQL數(shù)據(jù)庫20-22
• 2.2.1 NoSQL數(shù)據(jù)庫概述20-21
• 2.2.2 NoSQL與傳統(tǒng)關系數(shù)據(jù)庫對比分析21-22
• 2.3 HDFS分布式文件系統(tǒng)22-27
• 2.3.1 HDFS體系結構23-24
• 2.3.2 HDFS寫文件24-26
• 2.3.3 HDFS讀文件26-27
• 2.4 HBase數(shù)據(jù)庫27-31
• 2.4.1 HBase架構27-29
• 2.4.2 HBase數(shù)據(jù)模型29-31
• 2.5 Mapreduce模型31-32
• 2.6 本章小結32-33
• 第三章 災害大數(shù)據(jù)管理方法研究33-41
• 3.1 擬解決的關鍵問題33
• 3.2 圖像文件存儲33-35
• 3.2.1 數(shù)據(jù)庫存儲圖像33-34
• 3.2.2 文件系統(tǒng)存儲圖像34
• 3.2.3 兩種存儲方法對比34-35
• 3.3 HDFS小文件問題35-36
• 3.4 小文件處理方法36-39
• 3.4.1 HAR文件36-37
• 3.4.2 SequenceFile37-39
• 3.5 本論文研究思路39
• 3.6 本章小結39-41
• 第四章 基于HDFS的小文件存儲策略41-50
• 4.1 設計思路41-42
• 4.2 系統(tǒng)結構設計42-43
• 4.3 小文件緩存合并模型43-44
• 4.4 小文件元數(shù)據(jù)管理44-45
• 4.5 小文件的讀寫45-49
• 4.6 本章小結49-50
• 第五章 基于HBase的數(shù)據(jù)持久化存儲50-60
• 5.1 時間序列數(shù)據(jù)50-51
• 5.2 基于HBase的傳感器數(shù)據(jù)存儲51-53
• 5.2.1 系統(tǒng)需求分析51
• 5.2.2 行健設計51-53
• 5.3 自定義輔助索引表53-57
• 5.3.1 系統(tǒng)架構53-54
• 5.3.2 索引表的建立54-55
• 5.3.3 基于索引表的數(shù)據(jù)檢索55-57
• 5.4 基于Mapreduce的HBase數(shù)據(jù)統(tǒng)計分析57-58
• 5.5 本章小結58-60
• 第六章 性能測試與分析60-68
• 6.1 實驗目的60
• 6.2 實驗環(huán)境60
• 6.3 測試方法60-61
• 6.4 實驗結果分析與結論61-67
• 6.4.1 HDFS性能測試61-64
• 6.4.2 HBase性能測試64-67
• 6.4.3 實驗結論67
• 6.5 本章小結67-68
• 總結與展望68-70
• 參考文獻70-73
• 讀碩士學位期間取得的研究成果73-74
• 致謝74-75
• 附件75

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 雷亮;曾文碧;;圖像存儲技術研究[J];重慶科技學院學報(自然科學版);2009年01期

2 周奇年;陳玲玲;李革;;云計算與云數(shù)據(jù)管理[J];電信科學;2010年S1期

3 陳強璋;一種高效的二叉查找樹——紅黑樹[J];華東師范大學學報(自然科學版);2000年03期

4 高邦仁;;“云”中的亞馬遜[J];互聯(lián)網(wǎng)周刊;2011年17期

5 劉正偉;文中領;張海濤;;云計算和云數(shù)據(jù)管理技術[J];計算機研究與發(fā)展;2012年S1期

6 劉強;崔莉;陳海明;;物聯(lián)網(wǎng)關鍵技術與應用[J];計算機科學;2010年06期

7 王雪濤;劉偉杰;;分布式文件系統(tǒng)[J];科技信息(學術研究);2006年11期

8 趙洋;;淘寶TFS深度剖析[J];數(shù)字化用戶;2013年03期

9 申德榮;于戈;王習特;聶鐵錚;寇月;;支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J];軟件學報;2013年08期

10 黃永勤;;國外大數(shù)據(jù)研究熱點及發(fā)展趨勢探析[J];情報雜志;2014年06期

中國碩士學位論文全文數(shù)據(jù)庫 前5條

1 魏家賓;基于Hadoop的海量交易記錄查詢系統(tǒng)研究[D];南京郵電大學;2013年

2 卓海藝;基于HBase的海量數(shù)據(jù)實時查詢系統(tǒng)設計與實現(xiàn)[D];北京郵電大學;2013年

3 常濤;改進型MapReduce框架的研究與設計[D];北京郵電大學;2011年

4 姚永剛;基于云計算的人機對話系統(tǒng)研究與實現(xiàn)[D];華南理工大學;2013年

5 劉曉靜;基于HBase的海量小視頻存儲與檢索系統(tǒng)的研究與實現(xiàn)[D];西安電子科技大學;2014年

  本文關鍵詞：基于云計算的災害大數(shù)據(jù)管理方法研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：265545