本文關(guān)鍵詞：基于hadoop的農(nóng)業(yè)電子商務(wù)數(shù)據(jù)平臺(tái)構(gòu)建關(guān)鍵技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：當(dāng)前農(nóng)業(yè)信息化進(jìn)程中,農(nóng)業(yè)電子商務(wù)發(fā)展尤為迅速,越來(lái)越多的用戶通過(guò)農(nóng)業(yè)電子商務(wù)網(wǎng)站來(lái)購(gòu)買農(nóng)產(chǎn)品,農(nóng)業(yè)電子商務(wù)網(wǎng)站中農(nóng)產(chǎn)品、物流、用戶數(shù)據(jù)的積累越來(lái)越多。這些數(shù)據(jù)是分布在不同的主機(jī),不同的終端,如何采集,存儲(chǔ)這些數(shù)據(jù),為農(nóng)業(yè)電子商務(wù)網(wǎng)站發(fā)展做數(shù)據(jù)支撐,成為很多農(nóng)業(yè)電子商務(wù)網(wǎng)站待以解決的問(wèn)題。大數(shù)據(jù)技術(shù)的飛速進(jìn)步,帶來(lái)了重構(gòu)數(shù)據(jù)平臺(tái)的新技術(shù),基于hadoop的大數(shù)據(jù)技術(shù)能夠很好的滿足農(nóng)業(yè)電子商務(wù)數(shù)據(jù)平臺(tái)現(xiàn)有的需求,本文研究hadoop相關(guān)技術(shù)在農(nóng)業(yè)電子商務(wù)中的落地實(shí)現(xiàn),闡述其基本原理,使用hadoop相關(guān)技術(shù)采集和存儲(chǔ)數(shù)據(jù),通過(guò)該論文可以使農(nóng)業(yè)電子商務(wù)相關(guān)行業(yè)人員迅速理解hadoop,了解hadoop相關(guān)技術(shù)的使用,快速搭建基于hadoop集群環(huán)境,構(gòu)建基于hadoop的農(nóng)業(yè)電子商務(wù)數(shù)據(jù)平臺(tái)。本文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下：1.針對(duì)農(nóng)業(yè)電子商務(wù)的數(shù)據(jù)平臺(tái)存在的相關(guān)問(wèn)題進(jìn)行研究,提出了一種針對(duì)海量數(shù)據(jù)處理業(yè)務(wù)的分布式數(shù)據(jù)采集、存儲(chǔ)平臺(tái)。可以解決原有的數(shù)據(jù)平臺(tái)大數(shù)據(jù)采集和存儲(chǔ)問(wèn)題。2.考慮到hadoop平臺(tái)的搭建步驟較多且具有一定難度,本文詳細(xì)介紹了hadoop數(shù)據(jù)平臺(tái)的搭建過(guò)程,為農(nóng)業(yè)電子商務(wù)網(wǎng)站實(shí)現(xiàn)hadoop平臺(tái)做參考,也通過(guò)部署過(guò)程加深對(duì)hadoop平臺(tái)的了解。3、對(duì)農(nóng)業(yè)電子商務(wù)數(shù)據(jù)采集技術(shù)的特點(diǎn)和難點(diǎn)進(jìn)行了詳細(xì)分析,包括分布式、高動(dòng)態(tài)性、采集終端多樣性等,針對(duì)這些數(shù)據(jù)采集難點(diǎn),引入flume、sqoop數(shù)據(jù)采集工具,保證數(shù)據(jù)的可靠性采集。4、針對(duì)農(nóng)業(yè)電子商務(wù)網(wǎng)站日益增長(zhǎng)的離線和在線數(shù)據(jù)存儲(chǔ)問(wèn)題,引入hdfs分布式文件系統(tǒng)、和hbase非關(guān)系型數(shù)據(jù)庫(kù),解決對(duì)農(nóng)業(yè)電子商務(wù)多類型,多業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)容災(zāi)、冗余備份等問(wèn)題。
【關(guān)鍵詞】：hadoop 農(nóng)業(yè)電子商務(wù) 數(shù)據(jù)平臺(tái)
【學(xué)位授予單位】：華中師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.13;F724.6
【目錄】：

• 摘要6-7
• Abstract7-10
• 第一章 緒論10-12
• 1.1 研究背景10
• 1.2 研究的目的和意義10-11
• 1.3 主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)11-12
• 第二章 基于hadoop的農(nóng)業(yè)電子商務(wù)數(shù)據(jù)平臺(tái)構(gòu)建需求分析12-16
• 2.1 傳統(tǒng)農(nóng)業(yè)電子商務(wù)數(shù)據(jù)平臺(tái)不足12-13
• 2.1.1 單機(jī)環(huán)境能力有限問(wèn)題12
• 2.1.2 數(shù)據(jù)可靠采集問(wèn)題12
• 2.1.3 數(shù)據(jù)存儲(chǔ)能力不足問(wèn)題12-13
• 2.2 使用hadoop平臺(tái)搭建數(shù)據(jù)平臺(tái)的必要性13-14
• 2.3 基于hadoop農(nóng)業(yè)電子商務(wù)數(shù)據(jù)平臺(tái)的關(guān)鍵解決技術(shù)14-16
• 2.3.1 高可靠分布式集群環(huán)境部署14
• 2.3.2 分布式多類型數(shù)據(jù)采集14-15
• 2.3.3 基于分布式的數(shù)據(jù)存儲(chǔ)15-16
• 第三章 Hadoop平臺(tái)概述16-22
• 3.1 Hadoop平臺(tái)核心框架簡(jiǎn)介16-19
• 3.1.1 數(shù)據(jù)存儲(chǔ)框架-hdfs16-17
• 3.1.2 資源管理調(diào)度系統(tǒng)-yarn17-18
• 3.1.3 分布式計(jì)算框架--MapReducer18-19
• 3.2 Hadoop平臺(tái)常用組件介紹19-22
• 3.2.1 數(shù)據(jù)庫(kù)組件-hbase19-20
• 3.2.2 程序協(xié)調(diào)服務(wù)-zookeeper20
• 3.2.3 數(shù)據(jù)采集組件-Flume20-21
• 3.2.4 數(shù)據(jù)倉(cāng)庫(kù)組件-hive21-22
• 第四章 電子商務(wù)數(shù)據(jù)平臺(tái)部署技術(shù)22-28
• 6.1 安裝環(huán)境準(zhǔn)備22-24
• 6.1.1 集群規(guī)劃22
• 6.1.2 集群環(huán)境準(zhǔn)備22-24
• 6.2 安裝ZooKeeper24
• 6.3 安裝配置hadoop集群24-26
• 6.4 Hbase集群安裝26-28
• 第五章 數(shù)據(jù)平臺(tái)數(shù)據(jù)采集技術(shù)28-33
• 5.1 農(nóng)業(yè)電子商務(wù)平臺(tái)數(shù)據(jù)分類28
• 5.2 農(nóng)業(yè)電子商務(wù)數(shù)據(jù)平臺(tái)數(shù)據(jù)采集問(wèn)題28
• 5.3 平臺(tái)非結(jié)構(gòu)化數(shù)據(jù)采集28-31
• 5.3.1 Flume原理29-30
• 5.3.2 Flume采集農(nóng)業(yè)電子商務(wù)網(wǎng)站日志數(shù)據(jù)30-31
• 5.4 平臺(tái)結(jié)構(gòu)化數(shù)據(jù)采集31-33
• 5.4.1 Sqoop原理31-32
• 5.3.2 Sqoop采集農(nóng)產(chǎn)品庫(kù)數(shù)據(jù)32-33
• 第六章 數(shù)據(jù)平臺(tái)數(shù)據(jù)存儲(chǔ)技術(shù)33-39
• 6.1 數(shù)據(jù)平臺(tái)數(shù)據(jù)存儲(chǔ)問(wèn)題33
• 6.2 HDFS存儲(chǔ)農(nóng)業(yè)電子商務(wù)離線數(shù)據(jù)33-36
• 6.2.1 HDFS數(shù)據(jù)存儲(chǔ)33-34
• 6.2.2 HDFS離線數(shù)據(jù)存儲(chǔ)34-36
• 6.3 Hbase實(shí)時(shí)存儲(chǔ)農(nóng)業(yè)電子商務(wù)在線數(shù)據(jù)36-39
• 6.3.1 Hbase原理36-37
• 6.3.2 Hbase實(shí)時(shí)存儲(chǔ)數(shù)據(jù)37-39
• 結(jié)語(yǔ)39-40
• 參考文獻(xiàn)40-42
• 致謝42-43
• 附錄43-46

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 陳俊;陳孝威;;基于Hadoop建立云計(jì)算系統(tǒng)[J];貴州大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年03期

2 孫忠富;杜克明;鄭飛翔;尹首一;;大數(shù)據(jù)在智慧農(nóng)業(yè)中研究與應(yīng)用展望[J];中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào);2013年06期

  本文關(guān)鍵詞：基于hadoop的農(nóng)業(yè)電子商務(wù)數(shù)據(jù)平臺(tái)構(gòu)建關(guān)鍵技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：434860