12農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì)
本文關(guān)鍵詞:農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì),由筆耕文化傳播整理發(fā)布。
第29卷第24期農(nóng)業(yè)工程學(xué)報(bào)Vol.29No.2;2682013年12月Transactionso;?農(nóng)產(chǎn)品加工工程?;農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì);陳聯(lián)誠(chéng),胡月明※,張飛揚(yáng),段文杰,余平祥;(華南農(nóng)業(yè)大學(xué)信息學(xué)院,廣州510642);摘要:農(nóng)業(yè)生產(chǎn)及環(huán)境的信息采集是農(nóng)業(yè)信息系統(tǒng)的重;中圖分類(lèi)號(hào):TP391文獻(xiàn)標(biāo)志碼:A文章編號(hào):1;陳聯(lián)誠(chéng),胡
第29卷 第24期 農(nóng) 業(yè) 工 程 學(xué) 報(bào) Vol.29 No.24
268 2013年 12月 Transactions of the Chinese Society of Agricultural Engineering Dec. 2013
?農(nóng)產(chǎn)品加工工程?
農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì)
陳聯(lián)誠(chéng),胡月明※,張飛揚(yáng),段文杰,余平祥
(華南農(nóng)業(yè)大學(xué)信息學(xué)院,廣州 510642)
摘 要:農(nóng)業(yè)生產(chǎn)及環(huán)境的信息采集是農(nóng)業(yè)信息系統(tǒng)的重要環(huán)節(jié),無(wú)線(xiàn)傳感器網(wǎng)絡(luò)以它的低成本、無(wú)線(xiàn)傳輸?shù)葍?yōu)勢(shì)廣泛應(yīng)用于農(nóng)產(chǎn)品安全追溯的信息采集中。由于無(wú)線(xiàn)傳感器網(wǎng)絡(luò)長(zhǎng)年不間斷信息采集的積累,數(shù)據(jù)庫(kù)的大信息量及網(wǎng)站用戶(hù)高訪(fǎng)問(wèn)量將對(duì)網(wǎng)站服務(wù)器造成高負(fù)載的壓力,這將導(dǎo)致網(wǎng)站的響應(yīng)速度大大降低。采用高存儲(chǔ)、高負(fù)載處理性能云計(jì)算計(jì)算技術(shù),能提高網(wǎng)站訪(fǎng)問(wèn)的響應(yīng)速度,提高網(wǎng)站的訪(fǎng)問(wèn)性能。該文設(shè)計(jì)了基于私有云的農(nóng)產(chǎn)品安全追溯網(wǎng)站,研究了Hill-Climbing搜索算法優(yōu)化云平臺(tái)配置及MapReduce對(duì)大數(shù)據(jù)的并行計(jì)算,提高了私有云上的農(nóng)產(chǎn)品安全追溯系統(tǒng)的性能。通過(guò)將網(wǎng)站系統(tǒng)遷移至私有云的前后的比較試驗(yàn),說(shuō)明將網(wǎng)站系統(tǒng)遷移至私有云后各方面性能得到較大提升,網(wǎng)站訪(fǎng)問(wèn)響應(yīng)速度提高了33%。 關(guān)鍵詞:設(shè)計(jì),農(nóng)產(chǎn)品,網(wǎng)站,云計(jì)算,追溯,水產(chǎn)品,負(fù)載均衡 doi:10.3969/j.issn.1002-6819.2013.24.035
中圖分類(lèi)號(hào):TP391 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1002-6819(2013)-24-0268-07
陳聯(lián)誠(chéng),胡月明,張飛揚(yáng),等. 農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2013,29(24):268-274.
Chen Liancheng, Hu Yueming, Zhang Feiyang, et al. Performance improving design on cloud computing for agricultural products safety traceability system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 268-274. (in Chinese with English abstract)
0 引 言?
在推進(jìn)農(nóng)業(yè)信息化建設(shè)的進(jìn)程中,農(nóng)業(yè)生產(chǎn)、供應(yīng)、銷(xiāo)售鏈的信息采集是不可缺少的環(huán)節(jié)。無(wú)線(xiàn)傳感器網(wǎng)絡(luò)作為一種全新的信息采集技術(shù),憑借其低功耗、低成本、無(wú)線(xiàn)傳輸?shù)忍攸c(diǎn),已逐漸滲透到農(nóng)業(yè)領(lǐng)域[1-5]。在國(guó)外Lee W S等提出的傳感技術(shù)在農(nóng)作物精確種植中的應(yīng)用,利用無(wú)線(xiàn)傳感技術(shù)精確采集農(nóng)業(yè)現(xiàn)場(chǎng)數(shù)據(jù)信息,實(shí)現(xiàn)農(nóng)作物的精確管理[6]。國(guó)內(nèi)一些科研院所和高校展開(kāi)了相關(guān)研究,劉卉等研究基于物聯(lián)網(wǎng)的保育豬舍環(huán)境監(jiān)控系統(tǒng)取得了較好效果[7]。
對(duì)于以無(wú)線(xiàn)傳感器為采集端的農(nóng)業(yè)信息系統(tǒng),無(wú)線(xiàn)傳感器網(wǎng)絡(luò)不間斷的采集、傳輸、存儲(chǔ)數(shù)據(jù)以
收稿日期:2013-06-24 修訂日期:2013-11-10
基金項(xiàng)目:廣東省農(nóng)村信息化建設(shè)專(zhuān)項(xiàng)資金項(xiàng)目(201210112600794);廣東省教育部產(chǎn)學(xué)研結(jié)合項(xiàng)目(2012B091100110);廣東省教育部產(chǎn)學(xué)研結(jié)合項(xiàng)目(2011B090400547);廣東省科技廳專(zhuān)業(yè)鎮(zhèn)中小微企業(yè)公共服務(wù)平臺(tái)建設(shè)(2012B040500060);廣東省科技廳專(zhuān)業(yè)鎮(zhèn)中小微企業(yè)服務(wù)平臺(tái)建設(shè)(2012B040500015)
作者簡(jiǎn)介:陳聯(lián)誠(chéng)(1946-),女,漢族,福建古田,教授,碩士生導(dǎo)師,主要從事農(nóng)業(yè)信息系統(tǒng)研究。廣州 華南農(nóng)業(yè)大學(xué)信息學(xué)院,510642。Email:liancheng@scau.edu.cn ※通信作者:胡月明(1964-),男,漢族,湖南,教授,博士生導(dǎo)師,主要從事地理信息應(yīng)用研究。廣州 華南農(nóng)業(yè)大學(xué)信息學(xué)院,510642。Email:ymhu@scau.edu.cn
及大量用戶(hù)查詢(xún)數(shù)據(jù),都將對(duì)系統(tǒng)服務(wù)器造成較高的壓力,導(dǎo)致系統(tǒng)網(wǎng)站訪(fǎng)問(wèn)及查詢(xún)的響應(yīng)時(shí)間上升。網(wǎng)站訪(fǎng)問(wèn)的響應(yīng)時(shí)間是網(wǎng)站性能的關(guān)鍵因素,因此農(nóng)業(yè)信息系統(tǒng)需要一個(gè)具有大容量存儲(chǔ)能力、能處理并發(fā)高訪(fǎng)問(wèn)量的支持平臺(tái)[8]。云計(jì)算是一種通過(guò)Internet以服務(wù)的方式提供動(dòng)態(tài)可伸縮的虛擬化的資源的計(jì)算模式,云計(jì)算是并行計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物,它具有多服務(wù)器協(xié)同工作能力、能分解高并發(fā)訪(fǎng)問(wèn)量及大信息存儲(chǔ)造成的負(fù)載壓力[9]。所以,繼農(nóng)業(yè)物聯(lián)網(wǎng)之后,把云計(jì)算技術(shù)引入農(nóng)業(yè)是必要的。云計(jì)算技術(shù)在農(nóng)業(yè)領(lǐng)域起步較晚,目前已經(jīng)運(yùn)用到一些項(xiàng)目中。趙青松等為了提高作物生長(zhǎng)模型的計(jì)算速度,提出了云環(huán)境下作物生長(zhǎng)模型算法的實(shí)現(xiàn)方案[10]。楊鋒等在Hadoop的基礎(chǔ)上研究海量農(nóng)業(yè)數(shù)據(jù)資源組織存儲(chǔ)與檢索技術(shù),提出基于Hadoop的大文件分塊存儲(chǔ)方法和海量農(nóng)業(yè)數(shù)據(jù)資源檢索方法[11]。因此,把云計(jì)算技術(shù)引入到農(nóng)業(yè)領(lǐng)域具有重要意義[12-13]。
本項(xiàng)目承擔(dān)農(nóng)產(chǎn)品安全追溯系統(tǒng)的研發(fā),包括農(nóng)、林、牧、漁,品種繁多,系統(tǒng)的物聯(lián)網(wǎng)信息采集系統(tǒng)長(zhǎng)年不間斷采集生產(chǎn)環(huán)境數(shù)據(jù),系統(tǒng)數(shù)據(jù)量大,項(xiàng)目需要有大數(shù)據(jù)處理能力的云計(jì)算技術(shù);其次,由于云平臺(tái)內(nèi)的硬件及軟件資源可以共享、資
第24期 陳聯(lián)誠(chéng)等:農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì)
269
源可以彈性配置,使用本系統(tǒng)的企業(yè)可直接利用云平臺(tái)進(jìn)行產(chǎn)品的發(fā)布及安全追溯,并且可以共享云平臺(tái)的資源,不需要獨(dú)自購(gòu)買(mǎi)硬件軟件、獨(dú)自配套專(zhuān)業(yè)技術(shù)管理隊(duì)伍,因此可以大大降低企業(yè)的開(kāi)發(fā)及運(yùn)營(yíng)成本;再次,由于農(nóng)產(chǎn)品安全追溯項(xiàng)目應(yīng)用要求,項(xiàng)目將逐步在各地推開(kāi)應(yīng)用,使用平臺(tái)的企業(yè)隊(duì)伍不斷擴(kuò)大,這些企業(yè)將聚集在項(xiàng)目的‘平臺(tái)’下進(jìn)行生產(chǎn)經(jīng)營(yíng),這個(gè)平臺(tái)將引導(dǎo)農(nóng)產(chǎn)品生產(chǎn)經(jīng)營(yíng)走向集團(tuán)化、工廠(chǎng)化生產(chǎn)。所以,把云計(jì)算技術(shù)應(yīng)用于本項(xiàng)目將大大提升項(xiàng)目的適用意義。
本文設(shè)計(jì)了基于私有云的農(nóng)產(chǎn)品安全追溯系統(tǒng)并實(shí)現(xiàn)了系統(tǒng)網(wǎng)站的性能提升。項(xiàng)目研究云計(jì)算技術(shù)對(duì)大信息量存儲(chǔ)及客戶(hù)高訪(fǎng)問(wèn)量的高負(fù)載處理性能,通過(guò)測(cè)試私有云處理高訪(fǎng)問(wèn)量時(shí)的響應(yīng)時(shí)間等性能,檢測(cè)私有云分解處理高負(fù)載的能力。
2 方法及實(shí)現(xiàn)
2.1 基于云計(jì)算技術(shù)的農(nóng)產(chǎn)品安全追溯網(wǎng)站的構(gòu)建 2.1.1 私有云的構(gòu)建
本項(xiàng)目用Amazon的EC2的品高云開(kāi)發(fā)軟件在4臺(tái)物理機(jī)上構(gòu)建小型私有云,一臺(tái)作為云控制器(CLC),負(fù)責(zé)管理和調(diào)度集群控制器(CC)的計(jì)算資源和網(wǎng)絡(luò)資源,以及存儲(chǔ)控制器(SC)的存儲(chǔ)資源;另外3臺(tái)既作為集群控制器也作為存儲(chǔ)控制器,運(yùn)行EC2實(shí)例來(lái)提供實(shí)際計(jì)算和存儲(chǔ)能力。
農(nóng)產(chǎn)品安全追溯系統(tǒng)的整體布局規(guī)劃及結(jié)構(gòu)如圖1所示,其中IP地址為192.168.1.174和192.168.1.175的實(shí)例負(fù)責(zé)支撐農(nóng)產(chǎn)品安全追溯子系統(tǒng)的運(yùn)行,并由一臺(tái)IP地址為192.168.1.173的外部Nginx代理服務(wù)器對(duì)用戶(hù)的高訪(fǎng)問(wèn)請(qǐng)求進(jìn)行負(fù)載均衡。IP地址為192.168.1.173的實(shí)例用于接收和處理信息采集子系統(tǒng)發(fā)送的數(shù)據(jù)。另外,項(xiàng)目還擬用并行計(jì)算對(duì)農(nóng)產(chǎn)品監(jiān)測(cè)結(jié)果進(jìn)行綜合分析,需在私有云上啟用3臺(tái)Linux實(shí)例并部署一個(gè)小型Hadoop集群,并將每日的采集信息上傳至Hadoop中進(jìn)行1次MapReduce統(tǒng)計(jì),統(tǒng)計(jì)結(jié)果保存至SQL Server數(shù)據(jù)庫(kù)。
1 系統(tǒng)整體結(jié)構(gòu)及基本原理
本文設(shè)計(jì)的基于云計(jì)算技術(shù)的農(nóng)產(chǎn)品安全追溯系統(tǒng)邏輯上可劃分為3大子系統(tǒng):私有云、農(nóng)產(chǎn)品安全追溯子系統(tǒng)、無(wú)線(xiàn)傳感器網(wǎng)絡(luò)環(huán)境信息采集子系統(tǒng),現(xiàn)已有一套信息采集子系統(tǒng)部署在珠海生產(chǎn)基地。
本項(xiàng)目中的私有云采用基于Amazon的EC2系列的品高云平臺(tái)構(gòu)建通過(guò)虛擬化技術(shù)整合現(xiàn)有的物理服務(wù)器及網(wǎng)絡(luò)資源,為農(nóng)產(chǎn)品安全追溯系統(tǒng)提供并行計(jì)算和存儲(chǔ)能力。農(nóng)產(chǎn)品安全追溯子系統(tǒng)采用.NET技術(shù)開(kāi)發(fā),運(yùn)行于IIS網(wǎng)站服務(wù)器和SQL Server數(shù)據(jù)庫(kù)集群中,并由Nginx代理服務(wù)器對(duì)網(wǎng)站的高訪(fǎng)問(wèn)請(qǐng)求進(jìn)行負(fù)載均衡。信息采集子系統(tǒng)采用基于Atmel單片機(jī)、CC1000芯片和各類(lèi)型傳感器組成的以生產(chǎn)過(guò)程中的溫度、pH值、濕度等為檢測(cè)目標(biāo)的無(wú)線(xiàn)傳感器網(wǎng)絡(luò),傳感數(shù)據(jù)經(jīng)由GPRS移動(dòng)網(wǎng)絡(luò)上傳到服務(wù)器,對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)化處理后存儲(chǔ)至SQL Server數(shù)據(jù)庫(kù)集群,客戶(hù)可根據(jù)需求下載所需的信息。
項(xiàng)目先構(gòu)建私有云,然后把農(nóng)產(chǎn)品安全追溯子系統(tǒng)遷移到私有云,再把無(wú)線(xiàn)傳感器網(wǎng)絡(luò)采集子系統(tǒng)與私有云對(duì)接,完成了基于云計(jì)算技術(shù)的農(nóng)產(chǎn)品安全追溯子系統(tǒng)構(gòu)建;最后通過(guò)優(yōu)化系統(tǒng)的各項(xiàng)配置及運(yùn)用并行計(jì)算等技術(shù),提升系統(tǒng)性能。
系統(tǒng)工作原理是無(wú)線(xiàn)傳感器網(wǎng)絡(luò)把采集到的現(xiàn)場(chǎng)環(huán)境信息數(shù)據(jù)傳送到云端服務(wù)器。私用云自動(dòng)分配大數(shù)據(jù)量的存儲(chǔ)。大量客戶(hù)追溯產(chǎn)品信息時(shí),私有云能自動(dòng)均衡大訪(fǎng)問(wèn)量、高負(fù)載的信息查詢(xún)?nèi)蝿?wù),并運(yùn)用并行計(jì)算技術(shù),使多臺(tái)服務(wù)器協(xié)同工作,快速查詢(xún)并反饋客戶(hù)追溯的信息。
圖1 基于私有云農(nóng)產(chǎn)品安全追溯網(wǎng)站結(jié)構(gòu)框圖 Fig.1 Structure block diagram of agricultural product safety
trace website based on private cloud
在構(gòu)建了私有云后,即可進(jìn)行農(nóng)產(chǎn)品安全追溯系統(tǒng)網(wǎng)站的云端遷移及無(wú)線(xiàn)傳感器網(wǎng)絡(luò)與私有云的對(duì)接,構(gòu)建基于云計(jì)算技術(shù)的農(nóng)產(chǎn)品安全追溯系統(tǒng)。
2.1.2 農(nóng)產(chǎn)品安全追溯網(wǎng)站的云端遷移
此前農(nóng)產(chǎn)品安全追溯系統(tǒng)網(wǎng)站及數(shù)據(jù)庫(kù)均由廣州市某數(shù)據(jù)中心托管,因此需將網(wǎng)站和已有數(shù)據(jù)下載并遷移到EC2實(shí)例中。網(wǎng)站部署在IIS網(wǎng)站服務(wù)器中,數(shù)據(jù)則存儲(chǔ)在SQL Server,,其中2臺(tái)SQL
270
農(nóng)業(yè)工程學(xué)報(bào) 2013年
Server啟用對(duì)等復(fù)制功能,以保證2個(gè)實(shí)例內(nèi)的SQL Server數(shù)據(jù)庫(kù)實(shí)時(shí)同步。最后將Nginx負(fù)載均衡器的后端路徑分別指向這2個(gè)實(shí)例的IP,并采用默認(rèn)輪詢(xún)策略實(shí)現(xiàn)高訪(fǎng)問(wèn)量的負(fù)載均衡。
圖2 農(nóng)產(chǎn)品追溯系統(tǒng)網(wǎng)站首頁(yè)
agricultural product safety trace website Fig.2 Homepage of
2.1.3 信息采集無(wú)線(xiàn)傳感器網(wǎng)絡(luò)與私有云的對(duì)接
無(wú)線(xiàn)傳感器網(wǎng)絡(luò)通過(guò)網(wǎng)關(guān)上的GPRS模塊將數(shù)據(jù)傳上互聯(lián)網(wǎng),因此私有云中需要通過(guò)專(zhuān)門(mén)的數(shù)據(jù)接收程序與無(wú)線(xiàn)傳感器網(wǎng)絡(luò)的GPRS模塊對(duì)接。
首先修改無(wú)線(xiàn)傳感器網(wǎng)絡(luò)的網(wǎng)關(guān)模塊,將數(shù)據(jù)連接指向私有云對(duì)外地址上的8010端口;然后在私有云的網(wǎng)關(guān)上做地址映射,將對(duì)外的8010端口映射到私有云內(nèi)IP地址為192.168.1.173的實(shí)例的8010端口;再后調(diào)整192.168.1.173的實(shí)例中的數(shù)據(jù)接收程序,數(shù)據(jù)存儲(chǔ)則指向同實(shí)例內(nèi)的SQL Server數(shù)據(jù)庫(kù);最后將此數(shù)據(jù)庫(kù)與云計(jì)算平臺(tái)內(nèi)的SQL Server數(shù)據(jù)庫(kù)集群同步并加入到集群中。至此完成無(wú)線(xiàn)傳感器網(wǎng)絡(luò)與私有云的對(duì)接。
2.2 基于私有云的追溯系統(tǒng)網(wǎng)站性能提升及檢測(cè)試驗(yàn)
2.2.1 用Hill-Climbing搜索算法優(yōu)化基于私有云的追溯系統(tǒng)網(wǎng)站的性能配置
影響農(nóng)產(chǎn)品追溯系統(tǒng)網(wǎng)站性能的主要因素是系統(tǒng)運(yùn)行過(guò)程中用戶(hù)訪(fǎng)問(wèn)網(wǎng)站的并發(fā)數(shù)和運(yùn)行時(shí)硬件資源使用狀況,這些資源除了構(gòu)建私有云的物理機(jī)的CPU、內(nèi)存使用量、網(wǎng)絡(luò)情況及3個(gè)實(shí)例中CPU、內(nèi)存的使用量外,還與另外4臺(tái)負(fù)責(zé)提供訪(fǎng)問(wèn)壓力的測(cè)試機(jī)的CPU、內(nèi)存使用量有直接的關(guān)系。如果將18個(gè)主要影響因素及它們交互作用的影響進(jìn)行組合,用窮舉法搜索策略,在給定的時(shí)間內(nèi)很難得到優(yōu)化結(jié)果的。本文采用Hill-Climbing啟發(fā)式搜索算法優(yōu)化私有云內(nèi)的農(nóng)產(chǎn)品追溯系統(tǒng)的性能配置。
Hill-Climbing(爬山法)是啟發(fā)式搜索的一種情況!八阉鳌笔侨斯ぶ悄艿囊环N基本技術(shù),“啟發(fā)”是關(guān)于發(fā)現(xiàn)和發(fā)明規(guī)則及方法的研究。在狀態(tài)空間的搜索中,啟發(fā)式被定義成一系列規(guī)則,它指導(dǎo)搜索向最有希望的方向進(jìn)行從而降低了搜索的復(fù)雜性。在搜索過(guò)程中擴(kuò)展當(dāng)前結(jié)點(diǎn)并估價(jià)它的子結(jié)點(diǎn),最優(yōu)的子結(jié)點(diǎn)被選擇并進(jìn)一步擴(kuò)展。當(dāng)搜索達(dá)到一種狀態(tài),該狀態(tài)比它的所有子結(jié)點(diǎn)都要好,則搜索停止[14-18]。為避免搜索結(jié)果隱入局部最大值的缺陷,搜索算法中采用了隨機(jī)選取多個(gè)搜索起點(diǎn)的方法,逐步優(yōu)化局部解,加快了滿(mǎn)意解的產(chǎn)生速度。
對(duì)于農(nóng)產(chǎn)品追溯系統(tǒng)網(wǎng)站云Hill-Climbing搜索算法性能的提升中,性能指標(biāo)可以分為事務(wù)部分、Web資源部分、資源使用部分。由于能夠測(cè)試出來(lái)的指標(biāo)過(guò)多,因此本文中選擇平均事務(wù)響應(yīng)時(shí)間、響應(yīng)時(shí)間標(biāo)準(zhǔn)差、響應(yīng)事務(wù)量、失敗事務(wù)率、每秒點(diǎn)擊數(shù)以及CPU使用率這6個(gè)最能反映影響用戶(hù)訪(fǎng)問(wèn)網(wǎng)站時(shí)的感受的指標(biāo)作為主要性能指標(biāo)。在優(yōu)化搜索過(guò)程中擴(kuò)展當(dāng)前6個(gè)維的結(jié)點(diǎn)并估價(jià)它的子結(jié)點(diǎn),最優(yōu)的子結(jié)點(diǎn)被選擇并進(jìn)一步擴(kuò)展。
為避免搜索結(jié)果陷入局部最大值的缺陷,搜索算法中采用了隨機(jī)選取多個(gè)搜索起點(diǎn)的方法,逐步優(yōu)化局部解,加快了滿(mǎn)意解的產(chǎn)生速度。
2.2.2 MapReduce 對(duì)大數(shù)據(jù)并行計(jì)算的處理
云計(jì)算的核心技術(shù)之一是MapReduce,它為并行系統(tǒng)的數(shù)據(jù)處理提供了一個(gè)有效的解決方案[19-21]。
一個(gè)MapReduce操作分為2個(gè)階段:Map階段和Reduce階段。Map負(fù)責(zé)把任務(wù)分解成多個(gè)任務(wù),Reduce 負(fù)責(zé)把分解后多個(gè)任務(wù)處理的結(jié)果匯總起來(lái)[22-25]。圖3說(shuō)明了用 MapReduce 來(lái)處理大數(shù)據(jù)集的過(guò)程。用map函數(shù)接受數(shù)據(jù)并產(chǎn)生<key, value>形式的中間輸出,將所有具有相同中間key值的value集合到一起傳遞給reduce函數(shù),reduce函數(shù)接收一個(gè)如<key, list(value)>形式的輸入,然后對(duì)這個(gè)value集合進(jìn)行處理,最后產(chǎn)生一個(gè)<key, value>形式的輸出[26-30]。這樣云平臺(tái)就把大數(shù)據(jù)分成多個(gè)任務(wù),分派給多個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行并行計(jì)算,因此云平臺(tái)上系統(tǒng)的性能就進(jìn)一步得到提升。以本系統(tǒng)中對(duì)養(yǎng)殖個(gè)體健康行為監(jiān)測(cè)模塊為例,對(duì)于3次/s采集到的海量數(shù)據(jù)及復(fù)雜的分析流程,用Map把任務(wù)分解成多個(gè)任務(wù),再用Reduce把分解后多任務(wù)處理的結(jié)果匯總起來(lái),最后得到養(yǎng)殖個(gè)體屬于‘健康、病態(tài)、死亡、失蹤’的監(jiān)測(cè)結(jié)果。
2.2.3 基于私有云的追溯網(wǎng)站的性能檢測(cè)
基于私有云的農(nóng)產(chǎn)品追溯系統(tǒng)網(wǎng)站性能測(cè)試結(jié)構(gòu)框圖如圖4所示。
第24期 陳聯(lián)誠(chéng)等:農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì)
271
試驗(yàn)將對(duì)常規(guī)服務(wù)器內(nèi)網(wǎng)站和私有云上網(wǎng)站進(jìn)行各3次重復(fù)試驗(yàn),以獲取高負(fù)載運(yùn)行狀況下性能優(yōu)化后私有云上網(wǎng)站與常規(guī)服務(wù)器上網(wǎng)站在響應(yīng)時(shí)間等性能參數(shù)的比較。
圖3 MapReduce處理大數(shù)據(jù)集的過(guò)程
Fig.3
Process of MapReduce dealing with big data
3 結(jié)果與分析
比較私有云內(nèi)各個(gè)服務(wù)器與資源配置相應(yīng)的常規(guī)服務(wù)器性能測(cè)試數(shù)據(jù),測(cè)試結(jié)果如表1所示。
表1 性能檢測(cè)結(jié)果
Table 1 Result of performance test
常規(guī) 服務(wù)器
性能指標(biāo) 提升效果
平均值Performance 試驗(yàn)1試驗(yàn)2 試驗(yàn)3 平均值 Improvement Normal efficiencyindex Test 1Test 2Test 3 Mean server mean
平均事務(wù) 響應(yīng)時(shí)間 Average 15.215.314.3 14.9 22.3 減少33%transaction response time
t/s 響應(yīng)時(shí)間
減少 標(biāo)準(zhǔn)差 3.7 4.9 3.5 4.0 5.8
31% Response time
Std. deviation響應(yīng)事務(wù)量Transaction
15.114.915.1 15.1 13.3 增加13.7%
summary /萬(wàn)件 失敗事務(wù)率
Percentage of 0.150.160.17 0.16 0 增加16%
fail
Transaction/%每秒點(diǎn)擊數(shù)
Hits per second264327612770 2725 2380 增加14.5%
/次 CPU使用率
85.390.2,89.9
88.4 100 減少11.6%Processor
85.489.689.7
time/%
云平臺(tái) Clound platform
圖4 性能測(cè)試連接圖
Fig.4 Connect diagram of performance testing
本次測(cè)試使用LoadRunner8.1作為測(cè)試軟件,由4臺(tái)測(cè)試機(jī)組成壓力輸出機(jī)群,機(jī)群最高能模擬1,800個(gè)用戶(hù)并發(fā)訪(fǎng)問(wèn)追溯網(wǎng)站,軟件同時(shí)能檢測(cè)并顯示出網(wǎng)站平均事務(wù)響應(yīng)時(shí)間等性能參數(shù)。
圖4左邊是對(duì)常規(guī)服務(wù)器內(nèi)網(wǎng)站訪(fǎng)問(wèn)壓力測(cè)試的結(jié)構(gòu)圖,測(cè)試機(jī)群將模擬1 800個(gè)用戶(hù)并發(fā)訪(fǎng)問(wèn)常規(guī)服務(wù)器的農(nóng)產(chǎn)品追溯系統(tǒng)網(wǎng)站;圖4右邊是對(duì)基于私有云上網(wǎng)站的壓力測(cè)試結(jié)構(gòu)圖,測(cè)試機(jī)群模擬1 800個(gè)用戶(hù)并發(fā)訪(fǎng)問(wèn)私有云上的網(wǎng)站,訪(fǎng)問(wèn)壓力通過(guò)Nginx負(fù)載均衡器自動(dòng)分配到2個(gè)實(shí)例內(nèi)的農(nóng)產(chǎn)品追溯系統(tǒng)網(wǎng)站。
性能測(cè)試的每個(gè)并發(fā)線(xiàn)程執(zhí)行的事務(wù)操作包括:
1)訪(fǎng)問(wèn)農(nóng)產(chǎn)品追溯系統(tǒng)網(wǎng)站的主頁(yè),新聞公告等子頁(yè)面;
2)網(wǎng)站3次連接數(shù)據(jù)庫(kù)并對(duì)通知公告數(shù)據(jù)庫(kù)表進(jìn)行條件查詢(xún),完成后將查詢(xún)到的信息顯示到網(wǎng)頁(yè)上。
3)網(wǎng)站4次連接數(shù)據(jù)庫(kù)并對(duì)新聞信息數(shù)據(jù)庫(kù)表進(jìn)行條件查詢(xún),完成后將查詢(xún)到的信息顯示到網(wǎng)頁(yè)上。
4)網(wǎng)站6次連接數(shù)據(jù)庫(kù)并對(duì)飼料信息數(shù)據(jù)庫(kù)表進(jìn)行條件查詢(xún),完成后將查詢(xún)到的信息顯示到網(wǎng)頁(yè)上。
從測(cè)試結(jié)果可以看出:
1)私有云上的追溯系統(tǒng)網(wǎng)站對(duì)事務(wù)響應(yīng)要比常規(guī)服務(wù)器上網(wǎng)站對(duì)事物平均響應(yīng)時(shí)間縮短了1/3,說(shuō)明私有云上的網(wǎng)站應(yīng)對(duì)高并發(fā)訪(fǎng)問(wèn)的響應(yīng)速度加快了,這樣在網(wǎng)站訪(fǎng)問(wèn)的高峰時(shí)期也能保證訪(fǎng)問(wèn)的順暢。網(wǎng)站響應(yīng)時(shí)間是網(wǎng)站性能的一個(gè)重要標(biāo)志,說(shuō)明運(yùn)用私有云有效地提高了追溯網(wǎng)站響應(yīng)性能。
2)在相同時(shí)間內(nèi)私有云上的追溯網(wǎng)站完成的事務(wù)總數(shù)比常規(guī)網(wǎng)站多了13.7%、每秒點(diǎn)擊數(shù)多了14.5%,表明經(jīng)過(guò)私有云性能提升后,追溯系統(tǒng)處理事務(wù)能力提高了。
3)私有云上的實(shí)例CPU使用率比常規(guī)網(wǎng)站少了11.6%,表明當(dāng)并發(fā)數(shù)是1 800人時(shí),常規(guī)服務(wù)器CPU已是滿(mǎn)負(fù)載了,而私有云平臺(tái)內(nèi)各個(gè)服務(wù)器還有潛力承擔(dān)更多的負(fù)載。
4)私有云的追溯網(wǎng)站在高負(fù)載時(shí)平均事務(wù)響應(yīng)時(shí)間的方差為4.048,說(shuō)明網(wǎng)站響應(yīng)時(shí)間工作較穩(wěn)定,在承擔(dān)較大的并發(fā)訪(fǎng)問(wèn)壓力時(shí),私有云上的
272
農(nóng)業(yè)工程學(xué)報(bào) 2013年
[5] 駱凱,李淼,胡澤林. 基于WSN的農(nóng)業(yè)信息遠(yuǎn)程監(jiān)控
系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 自動(dòng)化與儀器儀表,2008(4):14-17.
Luo Kai, Li Miao, Hu Zelin. Design and realization of remote monitoring system of agricultural information based on WSN[J]. Automation and Instrumentation, 2008(4): 14-17. (in Chinese with English abstract)
[6] Leea W S, Alchanatis V, Yang C, et al. Sensing
technologies for precision specialty crop production[J]. Mputers and Electronics in Agriculture, 2010, 74(1): 2-33.
[7] 朱偉興,戴陳云,黃鵬. 基于物聯(lián)網(wǎng)的保育豬舍環(huán)境監(jiān)控系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2012,28(11):177-182. Zhu Weixing, Dai Chenyun, Huang Peng. Environmental control system based on IOT for nursery pig house[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(11): 177-182. (in Chinese with Englishabstract)
[8] Bo Yifan, Wang Haiyan, The application of cloud
computing and the internet of things in agriculture and forestry[C]//IJCSS, 2011 International Joint Conference on Service Sciences, 2011: 168-172. [9] 張建勛,古志民,鄭超. 云計(jì)算研究進(jìn)展綜述[J]. 計(jì)算機(jī)應(yīng)用研究,2010(1):429-433.
Zhang Jianxun, Gu Zhimin, Zheng Chao. Survey of research progress on cloud computing[J]. Application Research of Computers, 2010(1): 429-433. (in Chinese with English abstract)
[10] 楊鋒,吳華瑞,朱華吉,等. 基于Hadoop的海量農(nóng)業(yè)
數(shù)據(jù)資源管理平臺(tái)[J]. 計(jì)算機(jī)工程,2011,37(12):242-244.
Yang Feng, Wu Huarui, Zhu Huaji, dt al. Massive agricultural data resource management platform based on hadoop[J]. Computer Engineering, 2011, 37(12): 242-244. (in Chinese with English abstract)
[11] 趙青松,陳林,孫波,等. 基于Hadoop的云環(huán)境下作
物生長(zhǎng)模型算法的實(shí)現(xiàn)與測(cè)試[J]. 農(nóng)業(yè)工程學(xué)報(bào),2013,29(8):179-186.
Zhao Qingsong, Chen Lin, Sun Bo, et al. Algorithm implementation and tested of crop growth model based on hadoop of cloud computing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(8): 179-186. (in Chinese with English abstract)
[12] 王詩(shī)叢,鄭立華,李民贊,等. 基于云計(jì)算平臺(tái)的農(nóng)
田GIS模塊的開(kāi)發(fā)和實(shí)現(xiàn)[C]//中國(guó)農(nóng)業(yè)工程學(xué)會(huì)2011年學(xué)術(shù)年會(huì)論文集,2011.
[13] 葉勇,張友華,樂(lè)毅,等. 食品安全追溯研究[J]. 華中
農(nóng)業(yè)大學(xué)學(xué)報(bào):社會(huì)科學(xué)版,2011(2).
Ye Yong, Zhang Youhua, Yue Yi, et al. Traceability study of food safety issues[J]. Journal of Huazhong Agricultural University: Social Sciences Edition, 2011(2). (in Chinese with English abstract)
網(wǎng)站還能保持穩(wěn)定的響應(yīng)狀態(tài)。
4 結(jié) 論
農(nóng)產(chǎn)品安全追溯系統(tǒng)經(jīng)過(guò)云計(jì)算技術(shù)的性能提升后,網(wǎng)站及數(shù)據(jù)庫(kù)有更多的運(yùn)算資源,可以應(yīng)對(duì)無(wú)線(xiàn)傳感器網(wǎng)絡(luò)自動(dòng)采集系統(tǒng)大數(shù)據(jù)量的傳輸與存儲(chǔ),可以承擔(dān)更大的網(wǎng)站訪(fǎng)問(wèn)量和數(shù)據(jù)庫(kù)負(fù)載量,從上一節(jié)的分析中可以看出,系統(tǒng)各方面性能得到較大提升,對(duì)事物響應(yīng)時(shí)間縮短了1/3,相同時(shí)間內(nèi)完成事務(wù)總數(shù)多了13.7%,特別是網(wǎng)站的響應(yīng)時(shí)間提高了33%。
網(wǎng)站訪(fǎng)問(wèn)的響應(yīng)時(shí)間決定信息網(wǎng)站質(zhì)量,影響信息網(wǎng)站的訪(fǎng)問(wèn)量,所以它對(duì)以物聯(lián)網(wǎng)為信息采集端的農(nóng)產(chǎn)品安全追溯系統(tǒng)質(zhì)量提升起重要作用。本文研究方法可適用于類(lèi)似信息網(wǎng)站。
[參 考 文 獻(xiàn)]
[1] 刁智華,陳立平,吳剛,等. 設(shè)施環(huán)境無(wú)線(xiàn)監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2008,24(7):146-150. Diao Zhihua, Chen Liping, Wu Gang, et al. Design and implementation of wireless monitoring and control system for protected environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(7): 146-150. (in Chinese with English abstract) [2] 段志超,杜克明,孫忠富,等. 基于ARM-Linux和GPRS
的農(nóng)業(yè)環(huán)境無(wú)線(xiàn)遠(yuǎn)程監(jiān)控系統(tǒng)[J]. 農(nóng)業(yè)網(wǎng)絡(luò)信息,2008(6):12-15.
Duan Zhichao, Du Keming, Sun Zhongfu, et al. Wireless elemonitoring system for agriculture environment based on ARM-Linux and GPRS[J]. Agriculture Network Information, 2008(6): 12-15. (in Chinese with English abstract)
[3] 李秀紅,孫忠富,肖春華,等. 基于μC/OS-II 嵌入式
技術(shù)的農(nóng)業(yè)環(huán)境遠(yuǎn)程監(jiān)控系統(tǒng)實(shí)現(xiàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2007,23(10):156-161.
Li Xiuhong, Sun Zhongfu, Xiao Chunhua, et al. Development of remote monitoring system based on μC/OS-II embedded technology for agricultural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(10): 156-161. (in Chinese with English abstract)
[4] 周?chē)?guó)祥,周俊,苗玉彬,等. 基于GSM的數(shù)字農(nóng)業(yè)遠(yuǎn)
程監(jiān)控系統(tǒng)研究與應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào),2005,21(6):87-91.
Zhou Guoxiang, Zhou Jun, Miao Yubin, et al. Development and application on GSM-based monitoring system for digital agriculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2005, 21(6): 87-91. (in Chinese with English abstract)
三億文庫(kù)3y.uu456.com包含各類(lèi)專(zhuān)業(yè)文獻(xiàn)、中學(xué)教育、高等教育、各類(lèi)資格考試、應(yīng)用寫(xiě)作文書(shū)、12農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì)_陳聯(lián)誠(chéng)_圖文等內(nèi)容。
12
下載地址:12農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì)_陳聯(lián)誠(chéng)_圖文.Doc
【】最新搜索
農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì)_陳聯(lián)誠(chéng)_圖文
小學(xué)冬季安全排查工作實(shí)施方案
國(guó)產(chǎn)a國(guó)產(chǎn)片
“XXX杯”廉政文藝演出串詞
與孩子:亦師亦友亦同窗_圖文
規(guī)范做法_圖文
讓輿情成為維護(hù)社會(huì)穩(wěn)定的1
公司解散和清算法律問(wèn)題
第八課 法律是特殊的規(guī)則
法律服務(wù)室工作臺(tái)賬
本文關(guān)鍵詞:農(nóng)產(chǎn)品安全追溯系統(tǒng)的云計(jì)算技術(shù)性能提升設(shè)計(jì),由筆耕文化傳播整理發(fā)布。
本文編號(hào):144494
本文鏈接:http://sikaile.net/jingjilunwen/nongyejingjilunwen/144494.html