本文關鍵詞：基于hadoop的農(nóng)業(yè)電子商務數(shù)據(jù)平臺構建關鍵技術研究，由筆耕文化傳播整理發(fā)布。

【摘要】：當前農(nóng)業(yè)信息化進程中,農(nóng)業(yè)電子商務發(fā)展尤為迅速,越來越多的用戶通過農(nóng)業(yè)電子商務網(wǎng)站來購買農(nóng)產(chǎn)品,農(nóng)業(yè)電子商務網(wǎng)站中農(nóng)產(chǎn)品、物流、用戶數(shù)據(jù)的積累越來越多。這些數(shù)據(jù)是分布在不同的主機,不同的終端,如何采集,存儲這些數(shù)據(jù),為農(nóng)業(yè)電子商務網(wǎng)站發(fā)展做數(shù)據(jù)支撐,成為很多農(nóng)業(yè)電子商務網(wǎng)站待以解決的問題。大數(shù)據(jù)技術的飛速進步,帶來了重構數(shù)據(jù)平臺的新技術,基于hadoop的大數(shù)據(jù)技術能夠很好的滿足農(nóng)業(yè)電子商務數(shù)據(jù)平臺現(xiàn)有的需求,本文研究hadoop相關技術在農(nóng)業(yè)電子商務中的落地實現(xiàn),闡述其基本原理,使用hadoop相關技術采集和存儲數(shù)據(jù),通過該論文可以使農(nóng)業(yè)電子商務相關行業(yè)人員迅速理解hadoop,了解hadoop相關技術的使用,快速搭建基于hadoop集群環(huán)境,構建基于hadoop的農(nóng)業(yè)電子商務數(shù)據(jù)平臺。本文的主要研究內(nèi)容和創(chuàng)新點如下：1.針對農(nóng)業(yè)電子商務的數(shù)據(jù)平臺存在的相關問題進行研究,提出了一種針對海量數(shù)據(jù)處理業(yè)務的分布式數(shù)據(jù)采集、存儲平臺�？梢越鉀Q原有的數(shù)據(jù)平臺大數(shù)據(jù)采集和存儲問題。2.考慮到hadoop平臺的搭建步驟較多且具有一定難度,本文詳細介紹了hadoop數(shù)據(jù)平臺的搭建過程,為農(nóng)業(yè)電子商務網(wǎng)站實現(xiàn)hadoop平臺做參考,也通過部署過程加深對hadoop平臺的了解。3、對農(nóng)業(yè)電子商務數(shù)據(jù)采集技術的特點和難點進行了詳細分析,包括分布式、高動態(tài)性、采集終端多樣性等,針對這些數(shù)據(jù)采集難點,引入flume、sqoop數(shù)據(jù)采集工具,保證數(shù)據(jù)的可靠性采集。4、針對農(nóng)業(yè)電子商務網(wǎng)站日益增長的離線和在線數(shù)據(jù)存儲問題,引入hdfs分布式文件系統(tǒng)、和hbase非關系型數(shù)據(jù)庫,解決對農(nóng)業(yè)電子商務多類型,多業(yè)務數(shù)據(jù)的存儲容災、冗余備份等問題。
【關鍵詞】：hadoop 農(nóng)業(yè)電子商務 數(shù)據(jù)平臺
【學位授予單位】：華中師范大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP311.13;F724.6
【目錄】：

• 摘要6-7
• Abstract7-10
• 第一章 緒論10-12
• 1.1 研究背景10
• 1.2 研究的目的和意義10-11
• 1.3 主要研究內(nèi)容和創(chuàng)新點11-12
• 第二章 基于hadoop的農(nóng)業(yè)電子商務數(shù)據(jù)平臺構建需求分析12-16
• 2.1 傳統(tǒng)農(nóng)業(yè)電子商務數(shù)據(jù)平臺不足12-13
• 2.1.1 單機環(huán)境能力有限問題12
• 2.1.2 數(shù)據(jù)可靠采集問題12
• 2.1.3 數(shù)據(jù)存儲能力不足問題12-13
• 2.2 使用hadoop平臺搭建數(shù)據(jù)平臺的必要性13-14
• 2.3 基于hadoop農(nóng)業(yè)電子商務數(shù)據(jù)平臺的關鍵解決技術14-16
• 2.3.1 高可靠分布式集群環(huán)境部署14
• 2.3.2 分布式多類型數(shù)據(jù)采集14-15
• 2.3.3 基于分布式的數(shù)據(jù)存儲15-16
• 第三章 Hadoop平臺概述16-22
• 3.1 Hadoop平臺核心框架簡介16-19
• 3.1.1 數(shù)據(jù)存儲框架-hdfs16-17
• 3.1.2 資源管理調(diào)度系統(tǒng)-yarn17-18
• 3.1.3 分布式計算框架--MapReducer18-19
• 3.2 Hadoop平臺常用組件介紹19-22
• 3.2.1 數(shù)據(jù)庫組件-hbase19-20
• 3.2.2 程序協(xié)調(diào)服務-zookeeper20
• 3.2.3 數(shù)據(jù)采集組件-Flume20-21
• 3.2.4 數(shù)據(jù)倉庫組件-hive21-22
• 第四章 電子商務數(shù)據(jù)平臺部署技術22-28
• 6.1 安裝環(huán)境準備22-24
• 6.1.1 集群規(guī)劃22
• 6.1.2 集群環(huán)境準備22-24
• 6.2 安裝ZooKeeper24
• 6.3 安裝配置hadoop集群24-26
• 6.4 Hbase集群安裝26-28
• 第五章 數(shù)據(jù)平臺數(shù)據(jù)采集技術28-33
• 5.1 農(nóng)業(yè)電子商務平臺數(shù)據(jù)分類28
• 5.2 農(nóng)業(yè)電子商務數(shù)據(jù)平臺數(shù)據(jù)采集問題28
• 5.3 平臺非結(jié)構化數(shù)據(jù)采集28-31
• 5.3.1 Flume原理29-30
• 5.3.2 Flume采集農(nóng)業(yè)電子商務網(wǎng)站日志數(shù)據(jù)30-31
• 5.4 平臺結(jié)構化數(shù)據(jù)采集31-33
• 5.4.1 Sqoop原理31-32
• 5.3.2 Sqoop采集農(nóng)產(chǎn)品庫數(shù)據(jù)32-33
• 第六章 數(shù)據(jù)平臺數(shù)據(jù)存儲技術33-39
• 6.1 數(shù)據(jù)平臺數(shù)據(jù)存儲問題33
• 6.2 HDFS存儲農(nóng)業(yè)電子商務離線數(shù)據(jù)33-36
• 6.2.1 HDFS數(shù)據(jù)存儲33-34
• 6.2.2 HDFS離線數(shù)據(jù)存儲34-36
• 6.3 Hbase實時存儲農(nóng)業(yè)電子商務在線數(shù)據(jù)36-39
• 6.3.1 Hbase原理36-37
• 6.3.2 Hbase實時存儲數(shù)據(jù)37-39
• 結(jié)語39-40
• 參考文獻40-42
• 致謝42-43
• 附錄43-46

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 陳俊;陳孝威;;基于Hadoop建立云計算系統(tǒng)[J];貴州大學學報(自然科學版);2011年03期

2 孫忠富;杜克明;鄭飛翔;尹首一;;大數(shù)據(jù)在智慧農(nóng)業(yè)中研究與應用展望[J];中國農(nóng)業(yè)科技導報;2013年06期

  本文關鍵詞：基于hadoop的農(nóng)業(yè)電子商務數(shù)據(jù)平臺構建關鍵技術研究，，由筆耕文化傳播整理發(fā)布。

本文編號：434860