利用貴州農(nóng)經(jīng)云大數(shù)據(jù)平臺(tái),設(shè)計(jì)了食用菌電商平臺(tái)整合訂單系統(tǒng),實(shí)現(xiàn)了多電商平臺(tái)多訂單的整合、數(shù)據(jù)采集和訂單統(tǒng)計(jì)等功能,可借助農(nóng)經(jīng)云的大數(shù)據(jù)管理平臺(tái)實(shí)現(xiàn)多電商多訂單的有效整合管理。
【部分圖文】：

如圖1所示，根據(jù)食用菌電商平臺(tái)的訂單整合業(yè)務(wù)需求及農(nóng)村電商特點(diǎn)[5]，對(duì)平臺(tái)采用分層模塊化體系建設(shè)，整合訂單系統(tǒng)采用松耦合的架構(gòu)設(shè)計(jì)，各模塊之間通過(guò)元數(shù)據(jù)的共享和交互，來(lái)驅(qū)動(dòng)數(shù)據(jù)的存儲(chǔ)與計(jì)算。實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)海量、多源、異構(gòu)數(shù)據(jù)的采集、離線處理和實(shí)時(shí)計(jì)算等功能。系統(tǒng)總體架構(gòu)由基礎(chǔ)數(shù)據(jù)源層、數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、計(jì)算層和應(yīng)用層組成。各層間均采用模塊化設(shè)計(jì)，通過(guò)數(shù)據(jù)接口來(lái)實(shí)現(xiàn)各模塊和外部系統(tǒng)的集成。2 整合訂單系統(tǒng)搭建

系統(tǒng)的訂單數(shù)據(jù)主要來(lái)自多個(gè)電商平臺(tái)的訂單數(shù)據(jù)。訂單數(shù)據(jù)采集主要分為實(shí)時(shí)數(shù)據(jù)采集和離線數(shù)據(jù)采集，其結(jié)構(gòu)如圖2所示。由圖2可知，采集數(shù)據(jù)類型主要包括訂單日志數(shù)據(jù)、用戶訂單行為數(shù)據(jù)、訂單業(yè)務(wù)數(shù)據(jù)和訂單狀態(tài)數(shù)據(jù)。實(shí)時(shí)數(shù)據(jù)采集采用Flume+Kafka的模式，F(xiàn)lume安裝在每個(gè)有日志產(chǎn)生的服務(wù)器上，監(jiān)控相應(yīng)的文件目錄，當(dāng)產(chǎn)生新日志時(shí)，F(xiàn)lume組件會(huì)自動(dòng)捕獲新文件，然后將文件輸送到Kafka指定的主題中，完成實(shí)時(shí)數(shù)據(jù)的采集，后續(xù)將數(shù)據(jù)輸送到農(nóng)經(jīng)云的HBase等No SQL數(shù)據(jù)庫(kù)上或者接入流式處理框架，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)查詢或處理。離線數(shù)據(jù)采集則是通過(guò)各系統(tǒng)的數(shù)據(jù)接口獲取相關(guān)數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行處理后存儲(chǔ)到農(nóng)經(jīng)云的關(guān)系型數(shù)據(jù)庫(kù)（如Oracle、SQL Server數(shù)據(jù)庫(kù)）中，最后通過(guò)Sqoop工具將其數(shù)據(jù)導(dǎo)入分布式文件系統(tǒng)當(dāng)中。

實(shí)時(shí)數(shù)據(jù)采集所用的框架是Flume+Kafka，將產(chǎn)生的數(shù)據(jù)收集到Kafka隊(duì)列中，然后同步到HDFS中。實(shí)時(shí)數(shù)據(jù)采集流程圖如圖3所示。由圖3可知，F(xiàn)lume是一個(gè)分布式的海量日志聚合系統(tǒng)，支持在系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方。本系統(tǒng)中，F(xiàn)lume負(fù)責(zé)監(jiān)控整個(gè)文件目錄或者某一個(gè)特定文件，產(chǎn)生新日志文件時(shí)，F(xiàn)lume獲取到日志文件的數(shù)據(jù)，將數(shù)據(jù)封裝為event對(duì)象。從scour中獲取的數(shù)據(jù)會(huì)先封裝為event，然后發(fā)送到channel,sink從channel拿event消費(fèi)。在本系統(tǒng)中sink對(duì)象是Kafka，因此數(shù)據(jù)上傳到了Kafka的topic分區(qū)。最后數(shù)據(jù)同步到HBase中，或者在框架后接入Storm等流式實(shí)時(shí)處理技術(shù)。
【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 史中良;彭佳紅;;電子商務(wù)訂單物流配送系統(tǒng)設(shè)計(jì)研究[J];電腦知識(shí)與技術(shù);2015年30期

2 于聚然;于朝鋒;;中國(guó)食用菌電子商務(wù)平臺(tái)開(kāi)發(fā)與設(shè)計(jì)[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2008年10期

【共引文獻(xiàn)】

相關(guān)期刊論文 前1條

1 馬海霞;白泰;;甘肅省馬鈴薯網(wǎng)絡(luò)信息共享平臺(tái)的構(gòu)建[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2010年11期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 周文瓊;;大數(shù)據(jù)環(huán)境下的電力客戶服務(wù)數(shù)據(jù)分析系統(tǒng)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2015年04期

2 戢曉峰;普永明;梁斐雯;覃文文;;交通管制時(shí)限條件下城市物流配送優(yōu)化雙層規(guī)劃模型[J];公路交通科技;2014年12期

3 孫迪;李沛鴻;;百度地圖API在WebGIS中的應(yīng)用[J];河南科技;2013年22期

4 蔣麗;丁斌;臧曉寧;;以工位為中心的生產(chǎn)物流配送優(yōu)化[J];計(jì)算機(jī)集成制造系統(tǒng);2009年11期

5 傅守亮;戚國(guó)強(qiáng);孫振東;陳紅偉;;鄉(xiāng)(鎮(zhèn))級(jí)農(nóng)業(yè)生資電子商務(wù)平臺(tái)的設(shè)計(jì)[J];東北農(nóng)業(yè)大學(xué)學(xué)報(bào);2008年04期

6 朱興榮;;新農(nóng)村電子商務(wù)及實(shí)施模式的探索[J];科技情報(bào)開(kāi)發(fā)與經(jīng)濟(jì);2007年12期

7 邱陽(yáng);;義烏中小企業(yè)電子商務(wù)發(fā)展現(xiàn)狀及對(duì)策淺析[J];甘肅農(nóng)業(yè);2006年12期

8 劉宇翔;基于數(shù)據(jù)挖掘技術(shù)的電子商務(wù)設(shè)計(jì)[J];太原科技;2005年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王井樂(lè);;基于大數(shù)據(jù)下主題數(shù)據(jù)庫(kù)的研究現(xiàn)狀與展望[J];中國(guó)新通信;2018年09期

2 彭喬;;大數(shù)據(jù)時(shí)代環(huán)境下數(shù)據(jù)庫(kù)的發(fā)展趨勢(shì)與影響[J];信息通信;2014年07期

3 金紫蘅;;論如何保護(hù)數(shù)據(jù)庫(kù)[J];通訊世界;2015年23期

4 戴昀;;基于大數(shù)據(jù)背景的數(shù)據(jù)庫(kù)技術(shù)應(yīng)用現(xiàn)狀與發(fā)展方向研究[J];數(shù)字技術(shù)與應(yīng)用;2019年10期

5 蔣敏;周燕;樂(lè)思詩(shī);貢金濤;張永春;;大數(shù)據(jù)時(shí)代中英文數(shù)據(jù)庫(kù)收錄情況分析[J];電腦編程技巧與維護(hù);2015年16期

6 李戰(zhàn)懷;王國(guó)仁;周傲英;;從數(shù)據(jù)庫(kù)視角解讀大數(shù)據(jù)的研究進(jìn)展與趨勢(shì)[J];計(jì)算機(jī)工程與科學(xué);2013年10期

7 戚斌;;從數(shù)據(jù)庫(kù)視角解讀大數(shù)據(jù)研究進(jìn)展與趨勢(shì)[J];科技風(fēng);2018年13期

8 吳茵茵;;大數(shù)據(jù)時(shí)代如何提升數(shù)據(jù)庫(kù)效能之我見(jiàn)[J];通訊世界;2017年11期

9 于翔;;數(shù)據(jù)庫(kù)的安全重要性以及帶來(lái)的風(fēng)險(xiǎn)[J];計(jì)算機(jī)產(chǎn)品與流通;2020年04期

10 陳曉;;從數(shù)據(jù)庫(kù)視角解讀大數(shù)據(jù)的研究進(jìn)展與趨勢(shì)[J];信息記錄材料;2017年03期

相關(guān)博士學(xué)位論文 前10條

1 湯宏勝;激光誘導(dǎo)擊穿光譜數(shù)據(jù)庫(kù)和含能材料數(shù)據(jù)庫(kù)的建立及應(yīng)用[D];西北大學(xué);2016年

2 劉然;負(fù)數(shù)據(jù)庫(kù)生成算法及應(yīng)用研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

3 駱軼姝;數(shù)據(jù)庫(kù)權(quán)益管理模式及應(yīng)用研究[D];東華大學(xué);2011年

4 強(qiáng)彥;數(shù)據(jù)庫(kù)負(fù)載自適應(yīng)技術(shù)研究[D];太原理工大學(xué);2010年

5 顏焱鋒;以鼠疫菌為模型的重要致病菌基因組多態(tài)性數(shù)據(jù)庫(kù)的構(gòu)建及應(yīng)用研究[D];中國(guó)人民解放軍軍事醫(yī)學(xué)科學(xué)院;2014年

6 鄒磊;圖數(shù)據(jù)庫(kù)中的子圖查詢算法研究[D];華中科技大學(xué);2009年

7 付戈;數(shù)據(jù)庫(kù)動(dòng)態(tài)恢復(fù)研究[D];華中科技大學(xué);2011年

8 荊長(zhǎng)偉;浙江省土壤數(shù)據(jù)庫(kù)的建立與應(yīng)用[D];浙江大學(xué);2013年

9 劉艷艷;基于數(shù)據(jù)庫(kù)集群的海洋環(huán)境數(shù)據(jù)優(yōu)化存儲(chǔ)與分布式管理[D];中國(guó)海洋大學(xué);2008年

10 包亮;基于GIS/SOTER數(shù)據(jù)庫(kù)的區(qū)域土地利用系統(tǒng)分析[D];中國(guó)農(nóng)業(yè)大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 程文琛;獨(dú)立于應(yīng)用的數(shù)據(jù)庫(kù)聚類技術(shù)研究[D];合肥工業(yè)大學(xué);2013年

2 王鵬;論數(shù)據(jù)庫(kù)權(quán)利的法律保護(hù)[D];河南大學(xué);2009年

3 劉冬亮;我國(guó)數(shù)據(jù)庫(kù)產(chǎn)業(yè)發(fā)展與戰(zhàn)略研究[D];東北師范大學(xué);2009年

4 魏曉;基于狀態(tài)監(jiān)測(cè)與故障診斷大型數(shù)據(jù)庫(kù)的設(shè)計(jì)開(kāi)發(fā)[D];大連理工大學(xué);2006年

5 劉月蘭;生物信息學(xué)數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)[D];黑龍江大學(xué);2005年

6 李想;大規(guī)模圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)的建立和分析[D];上海交通大學(xué);2019年

7 王家偉;肌萎縮側(cè)索硬化數(shù)據(jù)庫(kù)的建立與應(yīng)用[D];廣州中醫(yī)藥大學(xué);2015年

8 汪偉;長(zhǎng)江中下游通航要素信息數(shù)據(jù)庫(kù)的研究[D];武漢理工大學(xué);2011年

9 葉志坤;國(guó)產(chǎn)數(shù)據(jù)庫(kù)應(yīng)用增值平臺(tái)研究與開(kāi)發(fā)[D];華中科技大學(xué);2004年

10 張躍宇;網(wǎng)管數(shù)據(jù)庫(kù)災(zāi)難備份技術(shù)的研究[D];西安電子科技大學(xué);2005年

本文編號(hào)：2864550