本文關(guān)鍵詞：基于Hadoop的數(shù)據(jù)遷移與存儲(chǔ)的研究

  更多相關(guān)文章： Hadoop 數(shù)據(jù)遷移 數(shù)據(jù)存儲(chǔ) Hive HBase

【摘要】：大數(shù)據(jù)時(shí)代到來(lái)了,所有企業(yè)每天的信息儲(chǔ)存量以ZB統(tǒng)計(jì),越來(lái)越多的企業(yè)傾向于多層次的數(shù)據(jù)管理系統(tǒng),將大量的數(shù)據(jù)轉(zhuǎn)移到專(zhuān)業(yè)的數(shù)據(jù)管理平臺(tái),能夠存儲(chǔ)、計(jì)算和管理大規(guī)模數(shù)據(jù)的大數(shù)據(jù)平臺(tái)。本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)數(shù)據(jù)遷移存儲(chǔ)系統(tǒng)。該系統(tǒng)能夠?qū)崿F(xiàn)企業(yè)日常數(shù)據(jù)管理任務(wù)中數(shù)據(jù)向Hadoop大數(shù)據(jù)平臺(tái)的遷移和在Hadoop平臺(tái)的自動(dòng)化存儲(chǔ)歸檔。 等待遷移的數(shù)據(jù)有非結(jié)構(gòu)化的數(shù)據(jù)文件也有存儲(chǔ)在數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)。結(jié)合待遷移數(shù)據(jù)的結(jié)構(gòu)特點(diǎn),考慮到遷移的安全性、完整性、效率及成本,通過(guò)對(duì)幾種遷移方式的對(duì)比分析,本文最終采用基于FTP服務(wù)的開(kāi)發(fā)實(shí)現(xiàn)了大量文件的跨平臺(tái)遷移。這樣的遷移方式保障了遷移本身的安全性,同時(shí)也使整個(gè)系統(tǒng)流程更加流暢清晰。為了實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)歸檔的自動(dòng)化,數(shù)據(jù)遷移需要攜帶參數(shù)配置文檔來(lái)說(shuō)明如何處理數(shù)據(jù)。 在Hadoop平臺(tái)程序自動(dòng)的訪問(wèn)到達(dá)的數(shù)據(jù)文件,通過(guò)解析參數(shù)執(zhí)行命令,相當(dāng)于Hadoop平臺(tái)的數(shù)據(jù)處理接口。Hadoop是現(xiàn)在比較主流的大數(shù)據(jù)平臺(tái)架構(gòu)。平臺(tái)上用HDFS分布式文件系統(tǒng)來(lái)存儲(chǔ)和管理數(shù)據(jù)文件,同時(shí)支持MapReduce分布式計(jì)算框架的編程,能夠提供安全可靠的數(shù)據(jù)存儲(chǔ)和高效靈活的數(shù)據(jù)計(jì)算。Hive和HBase是基于Hadoop的數(shù)據(jù)管理組件,兩者本質(zhì)不同且各有所長(zhǎng),本文實(shí)現(xiàn)了Hive與HBase的整合,結(jié)合兩者的長(zhǎng)處實(shí)現(xiàn)了一種高效、靈活的復(fù)合存儲(chǔ)體系。 經(jīng)測(cè)試,系統(tǒng)能夠支持完成數(shù)據(jù)的遷移存儲(chǔ),同時(shí)Hive與HBase的整合使平臺(tái)的數(shù)據(jù)管理性能得到了優(yōu)化。
【關(guān)鍵詞】：Hadoop 數(shù)據(jù)遷移 數(shù)據(jù)存儲(chǔ) Hive HBase
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP311.13;TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-7
• 目錄7-9
• 第一章 緒論9-15
• 1.1 課題背景和研究意義9-10
• 1.2 研究現(xiàn)狀10-13
• 1.2.1 大數(shù)據(jù)平臺(tái)11
• 1.2.2 數(shù)據(jù)遷移11-12
• 1.2.3 數(shù)據(jù)存儲(chǔ)12-13
• 1.3 論文的主要內(nèi)容及結(jié)構(gòu)安排13-15
• 第二章 系統(tǒng)相關(guān)技術(shù)分析15-32
• 2.1 Hadoop簡(jiǎn)介15-16
• 2.2 MapReduce關(guān)鍵技術(shù)分析16-19
• 2.2.1 MapReduce編程模型16
• 2.2.2 MapReduce的處理過(guò)程16-18
• 2.2.3 MapReduce的容錯(cuò)機(jī)制18-19
• 2.3 HDFS文件系統(tǒng)分析19-25
• 2.3.1 HDFS技術(shù)特點(diǎn)19-20
• 2.3.2 HDFS的體系結(jié)構(gòu)20-21
• 2.3.3 HDFS的節(jié)點(diǎn)管理21-22
• 2.3.4 HDFS讀寫(xiě)文件流程22-24
• 2.3.5 HDFS副本控制24-25
• 2.3.6 HDFS容錯(cuò)性25
• 2.4 HBase關(guān)鍵技術(shù)分析25-29
• 2.4.1 HBase技術(shù)特點(diǎn)26
• 2.4.2 HBase的體系結(jié)構(gòu)26-27
• 2.4.3 HBase的數(shù)據(jù)模型27-28
• 2.4.4 數(shù)據(jù)查詢(xún)流程分析28-29
• 2.5 Hive關(guān)鍵技術(shù)分析29-31
• 2.5.1 Hive技術(shù)特點(diǎn)29-30
• 2.5.2 Hive的體系結(jié)構(gòu)30-31
• 2.5.3 Hive與傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)比31
• 2.6 本章小結(jié)31-32
• 第三章 數(shù)據(jù)遷移和存儲(chǔ)系統(tǒng)設(shè)計(jì)32-54
• 3.1 系統(tǒng)整體架構(gòu)設(shè)計(jì)32-34
• 3.1.1 背景與需求分析32-33
• 3.1.2 架構(gòu)設(shè)計(jì)33-34
• 3.2 基于Hive與HBase整合的復(fù)合存儲(chǔ)方案設(shè)計(jì)34-40
• 3.2.1 Hive與HBase的整合優(yōu)勢(shì)分析35-37
• 3.2.2 Hive與HBase的整合原理37-40
• 3.3 基于FTP的數(shù)據(jù)遷移設(shè)計(jì)40-47
• 3.3.1 數(shù)據(jù)遷移工具Sqoop40-42
• 3.3.2 基于FTP的數(shù)據(jù)遷移42-43
• 3.3.3 數(shù)據(jù)遷移流程設(shè)計(jì)43-47
• 3.4 異步數(shù)據(jù)存儲(chǔ)處理接口設(shè)計(jì)47-52
• 3.4.1 日常任務(wù)分析47-49
• 3.4.2 數(shù)據(jù)存儲(chǔ)的相關(guān)機(jī)制設(shè)計(jì)49-50
• 3.4.3 任務(wù)執(zhí)行流程設(shè)計(jì)50-52
• 3.5 本章小結(jié)52-54
• 第四章 數(shù)據(jù)遷移存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)54-70
• 4.1 Hive與HBase整合的實(shí)現(xiàn)54-58
• 4.1.1 整合的配置54-55
• 4.1.2 關(guān)聯(lián)表55-58
• 4.2 數(shù)據(jù)遷移模塊的實(shí)現(xiàn)58-65
• 4.2.1 基礎(chǔ)設(shè)置及數(shù)據(jù)庫(kù)的實(shí)現(xiàn)58-60
• 4.2.2 主要功能的實(shí)現(xiàn)60-65
• 4.3 數(shù)據(jù)存儲(chǔ)模塊的實(shí)現(xiàn)65-69
• 4.3.1 基礎(chǔ)設(shè)置及數(shù)據(jù)庫(kù)的實(shí)現(xiàn)65-66
• 4.3.2 主要功能實(shí)現(xiàn)66-69
• 4.4 本章小結(jié)69-70
• 第五章 測(cè)試70-79
• 5.1 測(cè)試環(huán)境70-71
• 5.2 系統(tǒng)功能測(cè)試71-75
• 5.3 Hive與HBase整合查詢(xún)性能測(cè)試75-77
• 5.4 本章小結(jié)77-79
• 第六章 總結(jié)與展望79-81
• 6.1 本文的主要工作總結(jié)79
• 6.2 未來(lái)工作展望79-81
• 參考文獻(xiàn)81-83
• 致謝83

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 張興旺;李晨暉;秦曉珠;;構(gòu)建于廉價(jià)計(jì)算機(jī)集群上的云存儲(chǔ)的研究與初步實(shí)現(xiàn)[J];情報(bào)雜志;2011年11期

2 許春玲;張廣泉;;分布式文件系統(tǒng)Hadoop HDFS與傳統(tǒng)文件系統(tǒng)Linux FS的比較與分析[J];蘇州大學(xué)學(xué)報(bào)(工科版);2010年04期

，

本文編號(hào)：848620