本文關(guān)鍵詞：HBase存儲的研究與應(yīng)用

  更多相關(guān)文章： HBase Hadoop 數(shù)據(jù)庫 存儲 加載數(shù)據(jù) 查詢

【摘要】：因特網(wǎng)的快速發(fā)展已經(jīng)徹底改變了人們的生活。如今每時每刻都會有大量的數(shù)據(jù)被傳到互聯(lián)網(wǎng)上。伴隨著數(shù)據(jù)規(guī)模越來越大,越來越多的數(shù)據(jù)存儲業(yè)務(wù)場景開始考慮水平擴展,這樣就可以刪除和增加存儲服務(wù),而目前的關(guān)系型數(shù)據(jù)庫更側(cè)重在一臺服務(wù)器上。海量數(shù)據(jù)的存儲成為瓶頸,單臺服務(wù)器無法加載大量數(shù)據(jù)。HBase是從Hadoop中分離出來的Apache頂級開源項目。由于它很好地用Java實現(xiàn)了Google的BigTable系統(tǒng)的大部分功能,所以在數(shù)據(jù)量激增的今天非常受歡迎。HBase的存儲機制不同于傳統(tǒng)關(guān)系型數(shù)據(jù)庫,它是基于列存儲的非關(guān)系型數(shù)據(jù)庫,在海量數(shù)據(jù)存儲與查詢方面有很大的優(yōu)勢。因此,研究HBase的存儲機制以及查詢特性有很大的實際意義。 本文從HBase的存儲機制入手,對其加載數(shù)據(jù)特點以及查詢方式等內(nèi)容進行了深入研究。主要工作包括以下內(nèi)容： 1. HBase底層存儲機制的研究。本文詳細分析了HBase的底層存儲機制,并以實際存儲數(shù)據(jù)出發(fā),對其存儲特點進行了分析。HBase會徹底修改數(shù)據(jù)的存儲格式,但需要耗費更多的存儲空間以換得快速的查詢效率。 2. HBase加載數(shù)據(jù)的研究。使用HBase之前,首先需要將海量數(shù)據(jù)加載到HBase當(dāng)中。HBase本身帶有幾種不同的加載數(shù)據(jù)方式,各有特點。同時提供了接口允許用戶自定義加載數(shù)據(jù)。文本借助MapReduce并行計算框架實現(xiàn)了HBase自定義并行加載數(shù)據(jù)方式,并且其具有較高的執(zhí)行效率。 3. HBase查詢效率的研究與分析。HBase的優(yōu)勢在于海量數(shù)據(jù)隨機查詢,但是由于其不支持SQL查詢,對于復(fù)查的業(yè)務(wù)流程難以滿足需求。但是其提供了與Hive整合的接口,允許將數(shù)據(jù)存儲在HBase當(dāng)中,但是用Hive進行查詢。本文詳細分析了HBase的查詢特點,并實現(xiàn)了HBase與Hive整合查詢。 4. HBase與MapReduce整合的研究與分析。相對于其他非關(guān)系型數(shù)據(jù)庫,HBase最大的優(yōu)勢在于與Hadoop的天然結(jié)合。Hadoop是當(dāng)前最流行的云計算技術(shù)之一。借助HBase的接口,本文實現(xiàn)了HBase與MapReduce的整合,使得算法可以直接以HBase作為輸入、輸出源。
【關(guān)鍵詞】：HBase Hadoop 數(shù)據(jù)庫 存儲 加載數(shù)據(jù) 查詢
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-10
• 第一章 緒論10-19
• 1.1 課題研究背景10-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-16
• 1.3 論文相關(guān)工作16-17
• 1.3.1 HBase底層存儲機制以及向HBase加載數(shù)據(jù)的研究16
• 1.3.2 HBase查詢分析16-17
• 1.3.3 HBase與MapReduce整合17
• 1.4 論文組織結(jié)構(gòu)17-19
• 第二章 HBase存儲機制及加載數(shù)據(jù)研究19-33
• 2.1 HBase存儲機制研究19-24
• 2.1.1 HBase系統(tǒng)架構(gòu)20-22
• 2.1.2 HBase文件存儲格式22-24
• 2.2 HBase加載數(shù)據(jù)24-31
• 2.2.1 自帶加載數(shù)據(jù)方法25-28
• 2.2.2 自定義加載數(shù)據(jù)28-31
• 2.3 本章小結(jié)31-33
• 第三章 HBase查詢分析33-40
• 3.1 簡單查詢對比分析33-36
• 3.1.1 Hive對比分析33-35
• 3.1.2 存儲空間對比35-36
• 3.2 HBase與Hive整合36-39
• 3.2.1 整合操作36-38
• 3.2.2 聚合查詢對比38-39
• 3.3 本章小結(jié)39-40
• 第四章 HBase典型示范應(yīng)用40-52
• 4.1 電信網(wǎng)絡(luò)尋呼黑洞40-44
• 4.1.1 數(shù)據(jù)描述41-42
• 4.1.2 傳統(tǒng)解決方法描述42-44
• 4.2 基于HBase的尋呼黑洞分析44-51
• 4.2.1 建立數(shù)據(jù)表45-47
• 4.2.2 加載數(shù)據(jù)47-48
• 4.2.3 數(shù)據(jù)分析48-51
• 4.3 本章小結(jié)51-52
• 第五章 基于HBase的MapReduce處理52-62
• 5.1 基于HBase的MapReduce實現(xiàn)原理52-54
• 5.2 典型數(shù)據(jù)挖掘算法實現(xiàn)54-59
• 5.2.1 Kmeans 算法54-56
• 5.2.2 單變量假設(shè)檢驗56-59
• 5.3 性能測試59-61
• 5.4 本章小結(jié)61-62
• 第六章 總結(jié)與展望62-64
• 6.1 全文工作總結(jié)62-63
• 6.2 展望未來63-64
• 參考文獻64-66
• 致謝66-68
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄68

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前9條

1 王映東;匡藝;費江濤;;Bigtable系統(tǒng)的負載平衡技術(shù)研究[J];計算機安全;2009年02期

2 李慧蓮;鄒海燕;林宇年;;尋呼成功率優(yōu)化方法探討[J];電信技術(shù);2013年05期

3 劉海濤;無線尋呼“黑洞”的查找和優(yōu)化[J];通信世界;2004年33期

4 毛典輝;;基于MapReduce的Canopy-Kmeans改進算法[J];計算機工程與應(yīng)用;2012年27期

5 程麗萍;孫傳亮;;尋找尋呼黑洞小區(qū)提升尋呼成功率的方法[J];黑龍江科技信息;2013年20期

6 張曉清;費江濤;潘清;;分布式海量數(shù)據(jù)管理系統(tǒng)Bigtable主服務(wù)器設(shè)計[J];計算機工程與設(shè)計;2010年05期

7 張曉清;費江濤;潘清;;分布式海量數(shù)據(jù)管理系統(tǒng)Bigtable數(shù)據(jù)服務(wù)器設(shè)計[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2009年03期

8 陳長生,徐勇勇;重復(fù)觀測數(shù)據(jù)單變量方差分析的前提條件的檢驗[J];中國衛(wèi)生統(tǒng)計;2000年02期

9 孫少陵;周大;錢嶺;;云數(shù)據(jù)倉庫高性能查詢技術(shù)研究[J];郵電設(shè)計技術(shù);2011年10期

，

本文編號：559533