喀斯特石漠化大數據平臺架構和技術初探
發(fā)布時間：2021-08-11 07:21
喀斯特石漠化數據多源異構、涉及面廣,石漠化成因問題復雜。為更好地揭示喀斯特石漠化的發(fā)生發(fā)展及其變化規(guī)律,解決石漠化治理中的科技難點,將大數據技術引入喀斯特石漠化領域。厘清喀斯特石漠化大數據定義,結合喀斯特石漠化大數據要求,從大數據平臺、基礎設施平臺、技術平臺、應用服務平臺、運維平臺5方面構建喀斯特石漠化大數據平臺,旨在為喀斯特地區(qū)石漠化綜合治理、監(jiān)測預警、生態(tài)修復和生態(tài)產業(yè)發(fā)展提供新的技術手段和決策支持。
【文章來源】：貴州師范大學學報(自然科學版). 2020,38(04)
【文章頁數】：8 頁
【部分圖文】：
喀斯特石漠化大數據平臺登錄界面
數據源是大數據平臺的第一要素,是喀斯特石漠化大數據平臺建設的關鍵支撐。如何增強數據采集與獲取能力,有效集成并融合石漠化各類相關數據,是構建喀斯特石漠化大數據平臺的前提和基礎�？λ固厥瘮祿愋投鄻�,不僅包括自然地理環(huán)境本底數據、土地利用現狀數據、實時監(jiān)測數據、多源遙感數據,還包括石漠化生態(tài)產業(yè)數據、社會經濟調查數據、能源結構分布數據、專項調查數據、石漠化治理工程數據、科學研究數據、監(jiān)測站水文站等收集的數據,并且這些數據分布在自然資源、地質、發(fā)改、規(guī)劃、農業(yè)、林業(yè)、統計、氣象、水利、能源、科研院所等眾多部門。例如,地理本底數據中包含有地形、地貌、水文、洞穴分布、土壤、巖性、植被等也分屬在不同部門;土地利用現狀數據、各類遙感影像及解譯數據、水土流失等國土數據;各地面氣象站、氣象衛(wèi)星、氣象雷達等監(jiān)測的氣象數據;石漠化治理的工程布局數據、治理產業(yè)布局、農林草生態(tài)工程數據等各類工程數據;石漠化區(qū)石漠化現狀等級、土壤養(yǎng)分、理化性質及野外調查數據等各類科研數據。疊加社會、經濟等人文要素,再考慮1 a、10 a、30 a、50 a不同時間尺度,全球、國家、縣域、小流域不同空間尺度,從而形成了多源異構、時空交替、復雜非線性的海量數據。隨著物聯網、5G技術及“天空地一體化”技術發(fā)展,喀斯特石漠化數據來源將不斷擴展,多媒體、各類APP數據、地理位置數據、文字短報數據、各類傳感器設備采集數據等也成為喀斯特石漠化數據來源的新渠道。大數據時代,喀斯特石漠化數據的空間分布范圍更廣、時效性更強、數據量更大、內容更龐雜,這對石漠化大數據的采集獲取、存儲管理及處理分析等提出了更高要求[7]。
數據采集就是搜集符合數據挖掘要求的原始數據[14-15]。數據采集在大數據研究與應用極為重要。數據采集工作做得好,大數據集成、分析與管理工作才能有序進行[20]。根據采集數據的類型可以分為不同的采集方式,主要有傳感器采集、網絡數據采集、系統日志采集以及其他數據采集[7,14,17]等。喀斯特石漠化生態(tài)環(huán)境數據采集最常用、操作簡單的手段就是通過傳感器采集,外業(yè)科技人員利用無線或有線傳感器設備采集了大量的地質災害調查、石漠化治理監(jiān)測、生態(tài)環(huán)境監(jiān)測與調查、植被監(jiān)測和水土流失監(jiān)測等,常用的土壤溫濕度、空氣溫濕度、雨量、光照傳感器等都是生態(tài)環(huán)境監(jiān)測的必配;網絡數據采集主要針對非結構化數據的采集,是通過網絡爬蟲工具或網頁公開的API從各類網頁上獲取的非結構數據,并以結構化的方式存儲到統一的本地數據文件。對于網絡流量的采集還可以使用DPI或DFI等帶寬管理技術進行處理。Apache的Chukwa、Cloudera的Flume、Facebook的Scribe和Linkedin的Kafka等[17,19,21]均采用系統日志采集,也是大多數互聯網企業(yè)[21]對海量數據采集的主要工具。另外,國家規(guī)定的保密性數據,必須按照國家信息技術大數據安全相關標準嚴格遵守保密規(guī)定;對于企業(yè)生產經營數據或科學研究數據等保密性數據,通過簽訂保密協議、技術合作或有償購買服務,在遵守國家數據保密相關標準和數據保護知識產權的情況下,采用使用特定系統接口等相關方式采集數據,確保數據的安全性。3.3.1.2 數據傳輸
【參考文獻】：
期刊論文
[1]大數據技術在生態(tài)環(huán)境領域的應用綜述[J]. 熊麗君,袁明珠,吳建強. 生態(tài)環(huán)境學報. 2019(12)
[2]時空大數據背景下并行數據處理分析挖掘的進展及趨勢[J]. 關雪峰,曾宇媚. 地理科學進展. 2018(10)
[3]第三次石漠化監(jiān)測主要技術特點與存在問題分析[J]. 李夢先,但新球,吳協保,吳照柏. 中南林業(yè)調查規(guī)劃. 2018(03)
[4]基于大數據的政府環(huán)境決策能力建設[J]. 鄔曉燕. 行政管理改革. 2017(09)
[5]生態(tài)環(huán)境大數據平臺架構和技術初探[J]. 趙芬,張麗云,趙苗苗,邵蕊,劉麗香,趙海鳳,徐明. 生態(tài)學雜志. 2017(03)
[6]大數據在生態(tài)環(huán)境領域的應用進展與展望[J]. 趙苗苗,趙師成,張麗云,趙芬,邵蕊,劉麗香,趙海鳳,徐明. 應用生態(tài)學報. 2017(05)
[7]網絡安全態(tài)勢監(jiān)控機制與模型研究[J]. 劉鵬,陳厚武,房瀟,楊健. 信息網絡安全. 2015(09)
[8]大數據系統綜述[J]. 李學龍,龔海剛. 中國科學:信息科學. 2015(01)
[9]農業(yè)大數據綜述[J]. 張浩然,李中良,鄒騰飛,魏旭陽,楊國才. 計算機科學. 2014(S2)
[10]大數據:概念、技術及應用研究綜述[J]. 方巍,鄭玉,徐江. 南京信息工程大學學報(自然科學版). 2014(05)
博士論文
[1]林業(yè)資源信息云計算服務體系研究[D]. 孫偉.中國林業(yè)科學研究院 2012
碩士論文
[1]喀斯特石漠化治理農村專業(yè)合作經濟組織培育與生態(tài)產業(yè)模式[D]. 劉艷鴻.貴州師范大學 2018
[2]基于卷積神經網絡的語音情感識別[D]. 陳曉東.華南理工大學 2015
[3]數據清洗的若干關鍵技術研究[D]. 包從劍.江蘇大學 2007
本文編號：3335733
【文章來源】：貴州師范大學學報(自然科學版). 2020,38(04)
【文章頁數】：8 頁
【部分圖文】：
喀斯特石漠化大數據平臺登錄界面
數據源是大數據平臺的第一要素,是喀斯特石漠化大數據平臺建設的關鍵支撐。如何增強數據采集與獲取能力,有效集成并融合石漠化各類相關數據,是構建喀斯特石漠化大數據平臺的前提和基礎�？λ固厥瘮祿愋投鄻�,不僅包括自然地理環(huán)境本底數據、土地利用現狀數據、實時監(jiān)測數據、多源遙感數據,還包括石漠化生態(tài)產業(yè)數據、社會經濟調查數據、能源結構分布數據、專項調查數據、石漠化治理工程數據、科學研究數據、監(jiān)測站水文站等收集的數據,并且這些數據分布在自然資源、地質、發(fā)改、規(guī)劃、農業(yè)、林業(yè)、統計、氣象、水利、能源、科研院所等眾多部門。例如,地理本底數據中包含有地形、地貌、水文、洞穴分布、土壤、巖性、植被等也分屬在不同部門;土地利用現狀數據、各類遙感影像及解譯數據、水土流失等國土數據;各地面氣象站、氣象衛(wèi)星、氣象雷達等監(jiān)測的氣象數據;石漠化治理的工程布局數據、治理產業(yè)布局、農林草生態(tài)工程數據等各類工程數據;石漠化區(qū)石漠化現狀等級、土壤養(yǎng)分、理化性質及野外調查數據等各類科研數據。疊加社會、經濟等人文要素,再考慮1 a、10 a、30 a、50 a不同時間尺度,全球、國家、縣域、小流域不同空間尺度,從而形成了多源異構、時空交替、復雜非線性的海量數據。隨著物聯網、5G技術及“天空地一體化”技術發(fā)展,喀斯特石漠化數據來源將不斷擴展,多媒體、各類APP數據、地理位置數據、文字短報數據、各類傳感器設備采集數據等也成為喀斯特石漠化數據來源的新渠道。大數據時代,喀斯特石漠化數據的空間分布范圍更廣、時效性更強、數據量更大、內容更龐雜,這對石漠化大數據的采集獲取、存儲管理及處理分析等提出了更高要求[7]。
數據采集就是搜集符合數據挖掘要求的原始數據[14-15]。數據采集在大數據研究與應用極為重要。數據采集工作做得好,大數據集成、分析與管理工作才能有序進行[20]。根據采集數據的類型可以分為不同的采集方式,主要有傳感器采集、網絡數據采集、系統日志采集以及其他數據采集[7,14,17]等。喀斯特石漠化生態(tài)環(huán)境數據采集最常用、操作簡單的手段就是通過傳感器采集,外業(yè)科技人員利用無線或有線傳感器設備采集了大量的地質災害調查、石漠化治理監(jiān)測、生態(tài)環(huán)境監(jiān)測與調查、植被監(jiān)測和水土流失監(jiān)測等,常用的土壤溫濕度、空氣溫濕度、雨量、光照傳感器等都是生態(tài)環(huán)境監(jiān)測的必配;網絡數據采集主要針對非結構化數據的采集,是通過網絡爬蟲工具或網頁公開的API從各類網頁上獲取的非結構數據,并以結構化的方式存儲到統一的本地數據文件。對于網絡流量的采集還可以使用DPI或DFI等帶寬管理技術進行處理。Apache的Chukwa、Cloudera的Flume、Facebook的Scribe和Linkedin的Kafka等[17,19,21]均采用系統日志采集,也是大多數互聯網企業(yè)[21]對海量數據采集的主要工具。另外,國家規(guī)定的保密性數據,必須按照國家信息技術大數據安全相關標準嚴格遵守保密規(guī)定;對于企業(yè)生產經營數據或科學研究數據等保密性數據,通過簽訂保密協議、技術合作或有償購買服務,在遵守國家數據保密相關標準和數據保護知識產權的情況下,采用使用特定系統接口等相關方式采集數據,確保數據的安全性。3.3.1.2 數據傳輸
【參考文獻】：
期刊論文
[1]大數據技術在生態(tài)環(huán)境領域的應用綜述[J]. 熊麗君,袁明珠,吳建強. 生態(tài)環(huán)境學報. 2019(12)
[2]時空大數據背景下并行數據處理分析挖掘的進展及趨勢[J]. 關雪峰,曾宇媚. 地理科學進展. 2018(10)
[3]第三次石漠化監(jiān)測主要技術特點與存在問題分析[J]. 李夢先,但新球,吳協保,吳照柏. 中南林業(yè)調查規(guī)劃. 2018(03)
[4]基于大數據的政府環(huán)境決策能力建設[J]. 鄔曉燕. 行政管理改革. 2017(09)
[5]生態(tài)環(huán)境大數據平臺架構和技術初探[J]. 趙芬,張麗云,趙苗苗,邵蕊,劉麗香,趙海鳳,徐明. 生態(tài)學雜志. 2017(03)
[6]大數據在生態(tài)環(huán)境領域的應用進展與展望[J]. 趙苗苗,趙師成,張麗云,趙芬,邵蕊,劉麗香,趙海鳳,徐明. 應用生態(tài)學報. 2017(05)
[7]網絡安全態(tài)勢監(jiān)控機制與模型研究[J]. 劉鵬,陳厚武,房瀟,楊健. 信息網絡安全. 2015(09)
[8]大數據系統綜述[J]. 李學龍,龔海剛. 中國科學:信息科學. 2015(01)
[9]農業(yè)大數據綜述[J]. 張浩然,李中良,鄒騰飛,魏旭陽,楊國才. 計算機科學. 2014(S2)
[10]大數據:概念、技術及應用研究綜述[J]. 方巍,鄭玉,徐江. 南京信息工程大學學報(自然科學版). 2014(05)
博士論文
[1]林業(yè)資源信息云計算服務體系研究[D]. 孫偉.中國林業(yè)科學研究院 2012
碩士論文
[1]喀斯特石漠化治理農村專業(yè)合作經濟組織培育與生態(tài)產業(yè)模式[D]. 劉艷鴻.貴州師范大學 2018
[2]基于卷積神經網絡的語音情感識別[D]. 陳曉東.華南理工大學 2015
[3]數據清洗的若干關鍵技術研究[D]. 包從劍.江蘇大學 2007
本文編號：3335733
本文鏈接：http://sikaile.net/projectlw/zrdllw/3335733.html
