智能溫室大數(shù)據(jù)集成體系架構(gòu)研究
發(fā)布時間:2021-07-24 08:35
農(nóng)業(yè)信息技術(shù)的迅速發(fā)展與應(yīng)用,使得數(shù)據(jù)轉(zhuǎn)變?yōu)橐环N基礎(chǔ)資源,大數(shù)據(jù)也逐漸成為農(nóng)業(yè)研究與應(yīng)用的熱點。盡管學(xué)術(shù)界對農(nóng)業(yè)大數(shù)據(jù)問題已開展了多年的研究,但多源異構(gòu)數(shù)據(jù)的集成問題依然是農(nóng)業(yè)大數(shù)據(jù)面臨的挑戰(zhàn)之一,成為制約數(shù)據(jù)資源開發(fā)利用的瓶頸。應(yīng)對智能溫室大數(shù)據(jù)分析與精準(zhǔn)控制的實際需求,將數(shù)據(jù)集成技術(shù)應(yīng)用于智能溫室系統(tǒng)領(lǐng)域,通過詳細(xì)分析核心問題,提出大數(shù)據(jù)環(huán)境下的智能溫室數(shù)據(jù)集成體系架構(gòu),探討了多源數(shù)據(jù)接入、異常數(shù)據(jù)檢測和信息資源編目等系統(tǒng)實施的技術(shù)要點,為從事相關(guān)領(lǐng)域工作的研究人員提供參考。
【文章來源】:現(xiàn)代園藝. 2020,43(19)
【文章頁數(shù)】:5 頁
【部分圖文】:
多源數(shù)據(jù)接入架構(gòu)
鑒于圖像、視頻等富媒體數(shù)據(jù)的復(fù)雜性,需提供跨大數(shù)據(jù)集群和GPU集群的數(shù)據(jù)處理模型。大數(shù)據(jù)集群提供分布式的列式數(shù)據(jù)庫、計算引擎和文件系統(tǒng),用于承載圖像、視頻數(shù)據(jù)的存儲和基于已有模型的在線目標(biāo)識別分析。GPU集群提供Tensor Flow等深度學(xué)習(xí)框架,用于承載高性能計算建模。3 智能溫室數(shù)據(jù)資源治理
3.2 異常數(shù)據(jù)檢測架構(gòu)結(jié)合大數(shù)據(jù)技術(shù)框架,對智能溫室環(huán)境采集的流數(shù)據(jù)設(shè)計在線和離線2類異常數(shù)據(jù)檢測流程。離線檢測模式下,待檢測數(shù)據(jù)經(jīng)控制器匯聚到前置庫,通過有線/無線傳輸方式導(dǎo)入到數(shù)據(jù)轉(zhuǎn)換區(qū),入庫存儲為原始集,通過在后臺服務(wù)器端部署異常數(shù)據(jù)檢測模型,并經(jīng)過ETL流程后存儲為標(biāo)準(zhǔn)集。在線檢測模式下,待檢測數(shù)據(jù)經(jīng)由分布式消息總線解耦合后,接入流計算引擎實現(xiàn)在線分析入庫。異常數(shù)據(jù)檢測架構(gòu)如圖5所示。
【參考文獻】:
期刊論文
[1]劣質(zhì)數(shù)據(jù)上代價敏感決策樹的建立[J]. 齊志鑫,王宏志,周雄,李建中,高宏. 軟件學(xué)報. 2019(03)
[2]大數(shù)據(jù)管理系統(tǒng)的歷史、現(xiàn)狀與未來[J]. 杜小勇,盧衛(wèi),張峰. 軟件學(xué)報. 2019(01)
[3]溫室環(huán)境控制方法研究進展分析與展望[J]. 毛罕平,晉春,陳勇. 農(nóng)業(yè)機械學(xué)報. 2018(02)
[4]基于農(nóng)業(yè)物聯(lián)網(wǎng)的農(nóng)作物生長監(jiān)測數(shù)據(jù)融合研究[J]. 黃海松,秦志遠(yuǎn),張慧. 江蘇農(nóng)業(yè)科學(xué). 2017(21)
[5]日光溫室系統(tǒng)模型的研究現(xiàn)狀與對策[J]. 楊學(xué)坤,韓柏和,蔣曉. 中國農(nóng)機化學(xué)報. 2017(04)
[6]基于改進型支持度函數(shù)的畜禽養(yǎng)殖物聯(lián)網(wǎng)數(shù)據(jù)融合方法[J]. 段青玲,肖曉琰,劉怡然,張璐,王康. 農(nóng)業(yè)工程學(xué)報. 2017(S1)
[7]分布式多源農(nóng)林物聯(lián)網(wǎng)感知數(shù)據(jù)共享平臺研發(fā)[J]. 陳棟,吳保國,陳天恩,董靜. 農(nóng)業(yè)工程學(xué)報. 2017(S1)
[8]基于關(guān)聯(lián)數(shù)據(jù)的一致性和時效性清洗方法[J]. 杜岳峰,申德榮,聶鐵錚,寇月,于戈. 計算機學(xué)報. 2017(01)
[9]一種基于數(shù)據(jù)質(zhì)量的異構(gòu)多源多模態(tài)感知數(shù)據(jù)獲取方法[J]. 馬茜,谷峪,張?zhí)斐?于戈. 計算機學(xué)報. 2013(10)
本文編號:3300317
【文章來源】:現(xiàn)代園藝. 2020,43(19)
【文章頁數(shù)】:5 頁
【部分圖文】:
多源數(shù)據(jù)接入架構(gòu)
鑒于圖像、視頻等富媒體數(shù)據(jù)的復(fù)雜性,需提供跨大數(shù)據(jù)集群和GPU集群的數(shù)據(jù)處理模型。大數(shù)據(jù)集群提供分布式的列式數(shù)據(jù)庫、計算引擎和文件系統(tǒng),用于承載圖像、視頻數(shù)據(jù)的存儲和基于已有模型的在線目標(biāo)識別分析。GPU集群提供Tensor Flow等深度學(xué)習(xí)框架,用于承載高性能計算建模。3 智能溫室數(shù)據(jù)資源治理
3.2 異常數(shù)據(jù)檢測架構(gòu)結(jié)合大數(shù)據(jù)技術(shù)框架,對智能溫室環(huán)境采集的流數(shù)據(jù)設(shè)計在線和離線2類異常數(shù)據(jù)檢測流程。離線檢測模式下,待檢測數(shù)據(jù)經(jīng)控制器匯聚到前置庫,通過有線/無線傳輸方式導(dǎo)入到數(shù)據(jù)轉(zhuǎn)換區(qū),入庫存儲為原始集,通過在后臺服務(wù)器端部署異常數(shù)據(jù)檢測模型,并經(jīng)過ETL流程后存儲為標(biāo)準(zhǔn)集。在線檢測模式下,待檢測數(shù)據(jù)經(jīng)由分布式消息總線解耦合后,接入流計算引擎實現(xiàn)在線分析入庫。異常數(shù)據(jù)檢測架構(gòu)如圖5所示。
【參考文獻】:
期刊論文
[1]劣質(zhì)數(shù)據(jù)上代價敏感決策樹的建立[J]. 齊志鑫,王宏志,周雄,李建中,高宏. 軟件學(xué)報. 2019(03)
[2]大數(shù)據(jù)管理系統(tǒng)的歷史、現(xiàn)狀與未來[J]. 杜小勇,盧衛(wèi),張峰. 軟件學(xué)報. 2019(01)
[3]溫室環(huán)境控制方法研究進展分析與展望[J]. 毛罕平,晉春,陳勇. 農(nóng)業(yè)機械學(xué)報. 2018(02)
[4]基于農(nóng)業(yè)物聯(lián)網(wǎng)的農(nóng)作物生長監(jiān)測數(shù)據(jù)融合研究[J]. 黃海松,秦志遠(yuǎn),張慧. 江蘇農(nóng)業(yè)科學(xué). 2017(21)
[5]日光溫室系統(tǒng)模型的研究現(xiàn)狀與對策[J]. 楊學(xué)坤,韓柏和,蔣曉. 中國農(nóng)機化學(xué)報. 2017(04)
[6]基于改進型支持度函數(shù)的畜禽養(yǎng)殖物聯(lián)網(wǎng)數(shù)據(jù)融合方法[J]. 段青玲,肖曉琰,劉怡然,張璐,王康. 農(nóng)業(yè)工程學(xué)報. 2017(S1)
[7]分布式多源農(nóng)林物聯(lián)網(wǎng)感知數(shù)據(jù)共享平臺研發(fā)[J]. 陳棟,吳保國,陳天恩,董靜. 農(nóng)業(yè)工程學(xué)報. 2017(S1)
[8]基于關(guān)聯(lián)數(shù)據(jù)的一致性和時效性清洗方法[J]. 杜岳峰,申德榮,聶鐵錚,寇月,于戈. 計算機學(xué)報. 2017(01)
[9]一種基于數(shù)據(jù)質(zhì)量的異構(gòu)多源多模態(tài)感知數(shù)據(jù)獲取方法[J]. 馬茜,谷峪,張?zhí)斐?于戈. 計算機學(xué)報. 2013(10)
本文編號:3300317
本文鏈接:http://sikaile.net/nykjlw/yylw/3300317.html
最近更新
教材專著