本文關(guān)鍵詞：基于HBase GPS數(shù)據(jù)存儲(chǔ)設(shè)計(jì)及優(yōu)化

  更多相關(guān)文章： Hadoop GPS數(shù)據(jù) 分布式計(jì)算 HBase 分布式存儲(chǔ)

【摘要】：隨著現(xiàn)代數(shù)據(jù)收集技術(shù)的迅速發(fā)展使各領(lǐng)域的數(shù)據(jù)不斷增長(zhǎng)。傳統(tǒng)的計(jì)算機(jī)在海量的數(shù)據(jù)面前已經(jīng)略顯吃力。在這樣的背景之下云計(jì)算悄然而生,而Hadoop為一個(gè)開(kāi)源的分布式處理系統(tǒng)平臺(tái),屬于Apache研發(fā)公司的一個(gè)平臺(tái)。Hadoop以Hadoop分布式文件系統(tǒng)(HDFS,Hadoop Distributed Filesystem)和MapReduce(goole mapreduce的開(kāi)源實(shí)現(xiàn))為核心,為用戶(hù)提供了系統(tǒng)底層細(xì)節(jié)透明的云計(jì)算基礎(chǔ)構(gòu)架。Hadoop平臺(tái)還包含了集群管理,數(shù)據(jù)倉(cāng)庫(kù),文件查詢(xún)等平臺(tái)。Hadoop已經(jīng)發(fā)展成企業(yè)與研究領(lǐng)域?qū)υ朴?jì)算進(jìn)行研發(fā)與應(yīng)用的一個(gè)標(biāo)準(zhǔn)。HBase為Apache Hadoop中的數(shù)據(jù)倉(cāng)庫(kù),可以實(shí)現(xiàn)實(shí)時(shí)、隨機(jī)的讀/寫(xiě)大規(guī)模文件的請(qǐng)求。HBase將數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)的并行計(jì)算完美地結(jié)合起來(lái)。HBase是開(kāi)源的,并且可以輕松地在便宜的硬件上部署規(guī)模巨大的結(jié)構(gòu)化儲(chǔ)存的集群。目前已經(jīng)有好多國(guó)內(nèi)外的大公司應(yīng)用HBase作為他們的數(shù)據(jù)存儲(chǔ)倉(cāng)庫(kù)。人們的生活水平越來(lái)越高,物流車(chē)輛變得很多很多,它們產(chǎn)生的GPS數(shù)據(jù)也越來(lái)越多,我們希望存儲(chǔ)相應(yīng)信息的時(shí)間也越來(lái)越長(zhǎng),人們對(duì)信息處理的要求也越來(lái)越大,對(duì)GPS車(chē)輛信息的處理需求也變得越來(lái)越大,面對(duì)GPS產(chǎn)生的海量數(shù)據(jù)傳統(tǒng)的處理方式、存儲(chǔ)方式已經(jīng)力不從心,云計(jì)算、云儲(chǔ)存技術(shù)的產(chǎn)生給大數(shù)據(jù)的處理、儲(chǔ)存提供了一種很好的解決途徑。因此GPS信息基于Hadoop的應(yīng)用,基于HBase的存儲(chǔ)是物流行業(yè)未來(lái)發(fā)展的潮流,是解決物流大數(shù)據(jù)很有效的途徑。本論文首先對(duì)hadoop的基礎(chǔ)知識(shí)進(jìn)行了介紹,講解了Hadoop的核心子項(xiàng)目分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)和MapReduce分布式處理編程模型,以及Hadoop的數(shù)據(jù)倉(cāng)庫(kù)HBase。然后對(duì)所需要的分布式環(huán)境進(jìn)行了搭建,講述了Hadoop集群的搭建過(guò)程和HBase的搭建過(guò)程,及Sqoop的安裝。接著通過(guò)Hadoop的分布式編程模型對(duì)GPS物流車(chē)輛信息進(jìn)行了處理,編寫(xiě)實(shí)現(xiàn)了基于Hadoop的四個(gè)應(yīng)用實(shí)例,通過(guò)應(yīng)用實(shí)例加深對(duì)Hadoop編程模型的了解。最后介紹了HBase的基本原理,及GPS數(shù)據(jù)基于HBase表存儲(chǔ)的設(shè)計(jì),其中重點(diǎn)對(duì)rowkey進(jìn)行了設(shè)計(jì),對(duì)HBase的寫(xiě)入性能進(jìn)行了分析,并對(duì)寫(xiě)入性能進(jìn)行了調(diào)優(yōu)以提高HBase的寫(xiě)入性能,設(shè)計(jì)實(shí)現(xiàn)了GPS數(shù)據(jù)基于HBase的存儲(chǔ),并通過(guò)實(shí)驗(yàn)給予了驗(yàn)證。
【關(guān)鍵詞】：Hadoop GPS數(shù)據(jù) 分布式計(jì)算 HBase 分布式存儲(chǔ)
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：P228.4
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 縮略語(yǔ)對(duì)照表10-13
• 第一章 緒論13-19
• 1.1 研究背景及意義13-15
• 1.2 研究現(xiàn)狀15-16
• 1.3 論文的研究?jī)?nèi)容與章節(jié)安排16-19
• 第二章 Hadoop基礎(chǔ)19-31
• 2.1 Hadoop介紹19-21
• 2.2 MapReduce21-23
• 2.3 HDFS23-26
• 2.4 HBase簡(jiǎn)介26-28
• 2.5 本章小結(jié)28-31
• 第三章 hadoop環(huán)境搭建31-45
• 3.1 Hadoop集群部署31-39
• 3.1.1 環(huán)境說(shuō)明與網(wǎng)絡(luò)配置31-32
• 3.1.2 SSH無(wú)密碼驗(yàn)證配置32-34
• 3.1.3 Java環(huán)境安裝34
• 3.1.4 Hadoop集群安裝34-38
• 3.1.5 集群安裝過(guò)程中遇到的問(wèn)題及解決38-39
• 3.2 HBase安裝39-42
• 3.3 Sqoop安裝42-45
• 第四章 Hadoop應(yīng)用實(shí)例45-55
• 4.1 用Sqoop將數(shù)據(jù)從sql server導(dǎo)入到HDFS45-47
• 4.2 某車(chē)輛經(jīng)過(guò)某個(gè)加油站次數(shù)統(tǒng)計(jì)47-49
• 4.3 區(qū)域中車(chē)量數(shù)統(tǒng)計(jì)49-50
• 4.4 車(chē)輛在道路上走過(guò)并發(fā)生異常檢測(cè)50-52
• 4.5 本章小結(jié)52-55
• 第五章 HBase存儲(chǔ)及優(yōu)化55-67
• 5.1 HBase原理55-60
• 5.1.1 HBase邏輯視圖55-57
• 5.1.2 HBase物理存儲(chǔ)57-58
• 5.1.3 子表Region服務(wù)器58-59
• 5.1.4 HMaster主服務(wù)器59-60
• 5.1.5 元數(shù)據(jù)表60
• 5.2 HBase RowKey設(shè)計(jì)60-61
• 5.3 HBase寫(xiě)入性能分析及提升61-64
• 5.4 實(shí)驗(yàn)64-65
• 5.5 本章小結(jié)65-67
• 第六章總結(jié)與展望67-69
• 6.1 全文總結(jié)67
• 6.2 對(duì)未來(lái)的展望67-69
• 參考文獻(xiàn)69-71
• 致謝71-73
• 作者簡(jiǎn)介73-74
• 1.基本情況73
• 2.教育背景73-74

【相似文獻(xiàn)】

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 彭瑞華;基于HBase GPS數(shù)據(jù)存儲(chǔ)設(shè)計(jì)及優(yōu)化[D];西安電子科技大學(xué);2014年

，

本文編號(hào)：793761