發(fā)布時間：2022-07-12 19:08

　　近年來中國大氣環(huán)境質量問題頻現(xiàn),以PM2.5為主要代表的大氣污染物對人體健康以及大氣環(huán)境造成了很大危害。大氣污染問題涉及多個層面,影響因素眾多,需要對PM2.5地面監(jiān)測數(shù)據(jù)、氣象數(shù)據(jù)、衛(wèi)星遙感數(shù)據(jù)及污染源等海量數(shù)據(jù)進行分析處理才能得出正確結論。因此,大氣污染的監(jiān)測中海量數(shù)據(jù)的分析處理成為了關鍵。大數(shù)據(jù)技術為解決上述問題提供了一種新思路,利用大數(shù)據(jù)技術解決大氣污染數(shù)據(jù)集成、存儲以及信息挖掘,成為大氣污染領域的研究熱點。我國雖已建成全國性PM2.5地面監(jiān)測網(wǎng)絡,但由于地面站點分布不均,對高密度、寬覆蓋的大氣污染監(jiān)測數(shù)據(jù)進行采集處理,成為大氣污染領域又一研究熱點。為了解決大氣污染數(shù)據(jù)的采集、存儲、分析以及應用問題,設計了基于Hadoop與Spark的大氣污染大數(shù)據(jù)平臺,并針對地面站點數(shù)據(jù)空間分布不均的問題,通過引入AOD（Aerosol Optical Depth）數(shù)據(jù)實現(xiàn)了中國區(qū)域的PM2.5應用研究。主要工作有以下幾個方面:（1）大氣污染平臺的設計與實現(xiàn)。首先針對大氣污染大數(shù)據(jù)平臺中的分布式采集框架、分布式文件系統(tǒng)、分布式并行計算框架等相關技術開展研究。然后對大氣污染大數(shù)據(jù)平臺進行需求分... 

【文章頁數(shù)】：94 頁

【學位級別】：碩士

【部分圖文】：

圖２－１?Ｈａｄｏｏｐ生態(tài)圈示意圖??Ｆｉｇ．?２－１?Ｄｉａｇｒａｍ?ｏｆ?Ｈａｄｏｏｐ?Ｅｃｏｓｙｓｔｅｍ??２．１．１分布式文件系統(tǒng)ＨＤＦＳ??

圖２－２?ＨＤＦＳ結構圖??Ｆｉｇ．?２－２?Ｓｔｒｕｃｔｕｒｅ?Ｃｈａｒｔ?ｏｆ?ＨＤＦＳ??ＮａｍｅＮｏｄｅ屬于分布式文件系統(tǒng)管理者，管理分布式文件系統(tǒng)的命名空間、數(shù)據(jù)塊??映射信息和配置信息等

圖２－４?ＨＢａｓｅ架構圖??Ｆｉｇ．?２－４?Ｓｔｒｕｃｔｕｒｅ?Ｃｈａｒｔ?ｏｆ?ＨＢａｓｅ??２．１．４分布式采集框架??伴隨著大數(shù)據(jù)時代到來，數(shù)據(jù)量爆發(fā)式的增長導致傳統(tǒng)的數(shù)據(jù)收集技術已經(jīng)無法滿??

【參考文獻】：
期刊論文
[1]基于改進粒子群優(yōu)化BPAdaboost神經(jīng)網(wǎng)絡的PM2.5濃度預測[J]. 李曉理,梅建想,張山.  大連理工大學學報. 2018(03)
[2]大氣顆粒物理化特征和影響效應的研究進展及展望[J]. 邵龍義,王文華,幸嬌萍,李衛(wèi)軍,牛紅亞,侯聰,楊書申.  地球科學. 2018(05)
[3]中國城市PM2.5時空動態(tài)變化特征分析:2015—2017年[J]. 姜磊,周海峰,賴志柱,柏玲,陳忠升.  環(huán)境科學學報. 2018(10)
[4]融機器學習與WRF大氣模式的PM2.5預報方法[J]. 侯俊雄,李琦,朱亞杰,馮逍,林紹福.  測繪科學. 2018(02)
[5]衛(wèi)星氣溶膠光學厚度資料同化對灰霾預報改進個例研究[J]. 馮沁,鮑艷松,閔錦忠,陸其峰.  氣象學報. 2018(01)
[6]基于機器學習的PM2.5短期濃度動態(tài)預報模型[J]. 戴李杰,張長江,馬雷鳴.  計算機應用. 2017(11)
[7]Hadoop與Spark應用場景研究[J]. 馮興杰,王文超.  計算機應用研究. 2018(09)
[8]基于聚類分析與偏最小二乘法的支持向量機PM2.5預測[J]. 喻其炳,李勇,白云,姚行艷,成志偉,李川.  環(huán)境科學與技術. 2017(06)
[9]基于大數(shù)據(jù)分析與認知技術的空氣質量預報預警平臺[J]. 李云婷,嚴京海,孫峰,張大偉,夏曦,芮曉光,白鑫鑫,尹文君.  中國環(huán)境管理. 2017(02)
[10]2013—2015年中國PM2.5污染狀況時空變化[J]. 李沈鑫,鄒濱,劉興權,方新.  環(huán)境科學研究. 2017(05)

碩士論文
[1]基于Spark的電信客戶細分數(shù)據(jù)分析平臺實現(xiàn)和應用[D]. 呂亮亮.北京郵電大學 2019
[2]基于Spark地點推薦技術的研究與應用[D]. 蒲鑫.中國科學院大學(中國科學院沈陽計算技術研究所) 2019
[3]基于大數(shù)據(jù)的新聞日志分析系統(tǒng)的設計與實現(xiàn)[D]. 馮巖.北京郵電大學 2019
[4]支持工作流的實時大數(shù)據(jù)處理平臺設計與實現(xiàn)[D]. 賈韶光.北京郵電大學 2019
[5]基于大數(shù)據(jù)的日志采集分析系統(tǒng)的研究與實現(xiàn)[D]. 楊愷.華北電力大學 2019
[6]基于大數(shù)據(jù)的電信經(jīng)營分析平臺中數(shù)據(jù)采集分發(fā)設計與實現(xiàn)[D]. 陳蔚.東南大學 2018
[7]基于并行隨機森林的城市PM2.5濃度預測[D]. 任才溶.太原理工大學 2018
[8]大數(shù)據(jù)平臺數(shù)據(jù)采集系統(tǒng)的設計與實現(xiàn)[D]. 逯衍.北京交通大學 2018
[9]基于Spark和HDFS的大數(shù)據(jù)分析平臺的設計與優(yōu)化[D]. 胡冬冬.東南大學 2018
[10]基于Hadoop的空氣質量預測方法研究[D]. 雷寶.廣東工業(yè)大學 2018



本文編號：3659679