本文關(guān)鍵詞：基于HBase GPS數(shù)據(jù)存儲設(shè)計(jì)及優(yōu)化

  更多相關(guān)文章： Hadoop GPS數(shù)據(jù) 分布式計(jì)算 HBase 分布式存儲

【摘要】：隨著現(xiàn)代數(shù)據(jù)收集技術(shù)的迅速發(fā)展使各領(lǐng)域的數(shù)據(jù)不斷增長。傳統(tǒng)的計(jì)算機(jī)在海量的數(shù)據(jù)面前已經(jīng)略顯吃力。在這樣的背景之下云計(jì)算悄然而生,而Hadoop為一個(gè)開源的分布式處理系統(tǒng)平臺,屬于Apache研發(fā)公司的一個(gè)平臺。Hadoop以Hadoop分布式文件系統(tǒng)(HDFS,Hadoop Distributed Filesystem)和MapReduce(goole mapreduce的開源實(shí)現(xiàn))為核心,為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的云計(jì)算基礎(chǔ)構(gòu)架。Hadoop平臺還包含了集群管理,數(shù)據(jù)倉庫,文件查詢等平臺。Hadoop已經(jīng)發(fā)展成企業(yè)與研究領(lǐng)域?qū)υ朴?jì)算進(jìn)行研發(fā)與應(yīng)用的一個(gè)標(biāo)準(zhǔn)。HBase為Apache Hadoop中的數(shù)據(jù)倉庫,可以實(shí)現(xiàn)實(shí)時(shí)、隨機(jī)的讀/寫大規(guī)模文件的請求。HBase將數(shù)據(jù)存儲和數(shù)據(jù)的并行計(jì)算完美地結(jié)合起來。HBase是開源的,并且可以輕松地在便宜的硬件上部署規(guī)模巨大的結(jié)構(gòu)化儲存的集群。目前已經(jīng)有好多國內(nèi)外的大公司應(yīng)用HBase作為他們的數(shù)據(jù)存儲倉庫。人們的生活水平越來越高,物流車輛變得很多很多,它們產(chǎn)生的GPS數(shù)據(jù)也越來越多,我們希望存儲相應(yīng)信息的時(shí)間也越來越長,人們對信息處理的要求也越來越大,對GPS車輛信息的處理需求也變得越來越大,面對GPS產(chǎn)生的海量數(shù)據(jù)傳統(tǒng)的處理方式、存儲方式已經(jīng)力不從心,云計(jì)算、云儲存技術(shù)的產(chǎn)生給大數(shù)據(jù)的處理、儲存提供了一種很好的解決途徑。因此GPS信息基于Hadoop的應(yīng)用,基于HBase的存儲是物流行業(yè)未來發(fā)展的潮流,是解決物流大數(shù)據(jù)很有效的途徑。本論文首先對hadoop的基礎(chǔ)知識進(jìn)行了介紹,講解了Hadoop的核心子項(xiàng)目分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)和MapReduce分布式處理編程模型,以及Hadoop的數(shù)據(jù)倉庫HBase。然后對所需要的分布式環(huán)境進(jìn)行了搭建,講述了Hadoop集群的搭建過程和HBase的搭建過程,及Sqoop的安裝。接著通過Hadoop的分布式編程模型對GPS物流車輛信息進(jìn)行了處理,編寫實(shí)現(xiàn)了基于Hadoop的四個(gè)應(yīng)用實(shí)例,通過應(yīng)用實(shí)例加深對Hadoop編程模型的了解。最后介紹了HBase的基本原理,及GPS數(shù)據(jù)基于HBase表存儲的設(shè)計(jì),其中重點(diǎn)對rowkey進(jìn)行了設(shè)計(jì),對HBase的寫入性能進(jìn)行了分析,并對寫入性能進(jìn)行了調(diào)優(yōu)以提高HBase的寫入性能,設(shè)計(jì)實(shí)現(xiàn)了GPS數(shù)據(jù)基于HBase的存儲,并通過實(shí)驗(yàn)給予了驗(yàn)證。
【關(guān)鍵詞】：Hadoop GPS數(shù)據(jù) 分布式計(jì)算 HBase 分布式存儲
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：P228.4
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 縮略語對照表10-13
• 第一章 緒論13-19
• 1.1 研究背景及意義13-15
• 1.2 研究現(xiàn)狀15-16
• 1.3 論文的研究內(nèi)容與章節(jié)安排16-19
• 第二章 Hadoop基礎(chǔ)19-31
• 2.1 Hadoop介紹19-21
• 2.2 MapReduce21-23
• 2.3 HDFS23-26
• 2.4 HBase簡介26-28
• 2.5 本章小結(jié)28-31
• 第三章 hadoop環(huán)境搭建31-45
• 3.1 Hadoop集群部署31-39
• 3.1.1 環(huán)境說明與網(wǎng)絡(luò)配置31-32
• 3.1.2 SSH無密碼驗(yàn)證配置32-34
• 3.1.3 Java環(huán)境安裝34
• 3.1.4 Hadoop集群安裝34-38
• 3.1.5 集群安裝過程中遇到的問題及解決38-39
• 3.2 HBase安裝39-42
• 3.3 Sqoop安裝42-45
• 第四章 Hadoop應(yīng)用實(shí)例45-55
• 4.1 用Sqoop將數(shù)據(jù)從sql server導(dǎo)入到HDFS45-47
• 4.2 某車輛經(jīng)過某個(gè)加油站次數(shù)統(tǒng)計(jì)47-49
• 4.3 區(qū)域中車量數(shù)統(tǒng)計(jì)49-50
• 4.4 車輛在道路上走過并發(fā)生異常檢測50-52
• 4.5 本章小結(jié)52-55
• 第五章 HBase存儲及優(yōu)化55-67
• 5.1 HBase原理55-60
• 5.1.1 HBase邏輯視圖55-57
• 5.1.2 HBase物理存儲57-58
• 5.1.3 子表Region服務(wù)器58-59
• 5.1.4 HMaster主服務(wù)器59-60
• 5.1.5 元數(shù)據(jù)表60
• 5.2 HBase RowKey設(shè)計(jì)60-61
• 5.3 HBase寫入性能分析及提升61-64
• 5.4 實(shí)驗(yàn)64-65
• 5.5 本章小結(jié)65-67
• 第六章總結(jié)與展望67-69
• 6.1 全文總結(jié)67
• 6.2 對未來的展望67-69
• 參考文獻(xiàn)69-71
• 致謝71-73
• 作者簡介73-74
• 1.基本情況73
• 2.教育背景73-74

【相似文獻(xiàn)】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 彭瑞華;基于HBase GPS數(shù)據(jù)存儲設(shè)計(jì)及優(yōu)化[D];西安電子科技大學(xué);2014年

，

本文編號：793761