近年來中國大氣環(huán)境質(zhì)量問題頻現(xiàn),以PM2.5為主要代表的大氣污染物對人體健康以及大氣環(huán)境造成了很大危害。大氣污染問題涉及多個(gè)層面,影響因素眾多,需要對PM2.5地面監(jiān)測數(shù)據(jù)、氣象數(shù)據(jù)、衛(wèi)星遙感數(shù)據(jù)及污染源等海量數(shù)據(jù)進(jìn)行分析處理才能得出正確結(jié)論。因此,大氣污染的監(jiān)測中海量數(shù)據(jù)的分析處理成為了關(guān)鍵。大數(shù)據(jù)技術(shù)為解決上述問題提供了一種新思路,利用大數(shù)據(jù)技術(shù)解決大氣污染數(shù)據(jù)集成、存儲以及信息挖掘,成為大氣污染領(lǐng)域的研究熱點(diǎn)。我國雖已建成全國性PM2.5地面監(jiān)測網(wǎng)絡(luò),但由于地面站點(diǎn)分布不均,對高密度、寬覆蓋的大氣污染監(jiān)測數(shù)據(jù)進(jìn)行采集處理,成為大氣污染領(lǐng)域又一研究熱點(diǎn)。為了解決大氣污染數(shù)據(jù)的采集、存儲、分析以及應(yīng)用問題,設(shè)計(jì)了基于Hadoop與Spark的大氣污染大數(shù)據(jù)平臺,并針對地面站點(diǎn)數(shù)據(jù)空間分布不均的問題,通過引入AOD（Aerosol Optical Depth）數(shù)據(jù)實(shí)現(xiàn)了中國區(qū)域的PM2.5應(yīng)用研究。主要工作有以下幾個(gè)方面:（1）大氣污染平臺的設(shè)計(jì)與實(shí)現(xiàn)。首先針對大氣污染大數(shù)據(jù)平臺中的分布式采集框架、分布式文件系統(tǒng)、分布式并行計(jì)算框架等相關(guān)技術(shù)開展研究。然后對大氣污染大數(shù)據(jù)平臺進(jìn)行需求分... 

【文章頁數(shù)】：94 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１?Ｈａｄｏｏｐ生態(tài)圈示意圖??Ｆｉｇ．?２－１?Ｄｉａｇｒａｍ?ｏｆ?Ｈａｄｏｏｐ?Ｅｃｏｓｙｓｔｅｍ??２．１．１分布式文件系統(tǒng)ＨＤＦＳ??

圖２－２?ＨＤＦＳ結(jié)構(gòu)圖??Ｆｉｇ．?２－２?Ｓｔｒｕｃｔｕｒｅ?Ｃｈａｒｔ?ｏｆ?ＨＤＦＳ??ＮａｍｅＮｏｄｅ屬于分布式文件系統(tǒng)管理者，管理分布式文件系統(tǒng)的命名空間、數(shù)據(jù)塊??映射信息和配置信息等

圖２－４?ＨＢａｓｅ架構(gòu)圖??Ｆｉｇ．?２－４?Ｓｔｒｕｃｔｕｒｅ?Ｃｈａｒｔ?ｏｆ?ＨＢａｓｅ??２．１．４分布式采集框架??伴隨著大數(shù)據(jù)時(shí)代到來，數(shù)據(jù)量爆發(fā)式的增長導(dǎo)致傳統(tǒng)的數(shù)據(jù)收集技術(shù)已經(jīng)無法滿??

【參考文獻(xiàn)】：
期刊論文
[1]基于改進(jìn)粒子群優(yōu)化BPAdaboost神經(jīng)網(wǎng)絡(luò)的PM2.5濃度預(yù)測[J]. 李曉理,梅建想,張山.  大連理工大學(xué)學(xué)報(bào). 2018(03)
[2]大氣顆粒物理化特征和影響效應(yīng)的研究進(jìn)展及展望[J]. 邵龍義,王文華,幸嬌萍,李衛(wèi)軍,牛紅亞,侯聰,楊書申.  地球科學(xué). 2018(05)
[3]中國城市PM2.5時(shí)空動態(tài)變化特征分析:2015—2017年[J]. 姜磊,周海峰,賴志柱,柏玲,陳忠升.  環(huán)境科學(xué)學(xué)報(bào). 2018(10)
[4]融機(jī)器學(xué)習(xí)與WRF大氣模式的PM2.5預(yù)報(bào)方法[J]. 侯俊雄,李琦,朱亞杰,馮逍,林紹福.  測繪科學(xué). 2018(02)
[5]衛(wèi)星氣溶膠光學(xué)厚度資料同化對灰霾預(yù)報(bào)改進(jìn)個(gè)例研究[J]. 馮沁,鮑艷松,閔錦忠,陸其峰.  氣象學(xué)報(bào). 2018(01)
[6]基于機(jī)器學(xué)習(xí)的PM2.5短期濃度動態(tài)預(yù)報(bào)模型[J]. 戴李杰,張長江,馬雷鳴.  計(jì)算機(jī)應(yīng)用. 2017(11)
[7]Hadoop與Spark應(yīng)用場景研究[J]. 馮興杰,王文超.  計(jì)算機(jī)應(yīng)用研究. 2018(09)
[8]基于聚類分析與偏最小二乘法的支持向量機(jī)PM2.5預(yù)測[J]. 喻其炳,李勇,白云,姚行艷,成志偉,李川.  環(huán)境科學(xué)與技術(shù). 2017(06)
[9]基于大數(shù)據(jù)分析與認(rèn)知技術(shù)的空氣質(zhì)量預(yù)報(bào)預(yù)警平臺[J]. 李云婷,嚴(yán)京海,孫峰,張大偉,夏曦,芮曉光,白鑫鑫,尹文君.  中國環(huán)境管理. 2017(02)
[10]2013—2015年中國PM2.5污染狀況時(shí)空變化[J]. 李沈鑫,鄒濱,劉興權(quán),方新.  環(huán)境科學(xué)研究. 2017(05)

碩士論文
[1]基于Spark的電信客戶細(xì)分?jǐn)?shù)據(jù)分析平臺實(shí)現(xiàn)和應(yīng)用[D]. 呂亮亮.北京郵電大學(xué) 2019
[2]基于Spark地點(diǎn)推薦技術(shù)的研究與應(yīng)用[D]. 蒲鑫.中國科學(xué)院大學(xué)(中國科學(xué)院沈陽計(jì)算技術(shù)研究所) 2019
[3]基于大數(shù)據(jù)的新聞日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 馮巖.北京郵電大學(xué) 2019
[4]支持工作流的實(shí)時(shí)大數(shù)據(jù)處理平臺設(shè)計(jì)與實(shí)現(xiàn)[D]. 賈韶光.北京郵電大學(xué) 2019
[5]基于大數(shù)據(jù)的日志采集分析系統(tǒng)的研究與實(shí)現(xiàn)[D]. 楊愷.華北電力大學(xué) 2019
[6]基于大數(shù)據(jù)的電信經(jīng)營分析平臺中數(shù)據(jù)采集分發(fā)設(shè)計(jì)與實(shí)現(xiàn)[D]. 陳蔚.東南大學(xué) 2018
[7]基于并行隨機(jī)森林的城市PM2.5濃度預(yù)測[D]. 任才溶.太原理工大學(xué) 2018
[8]大數(shù)據(jù)平臺數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 逯衍.北京交通大學(xué) 2018
[9]基于Spark和HDFS的大數(shù)據(jù)分析平臺的設(shè)計(jì)與優(yōu)化[D]. 胡冬冬.東南大學(xué) 2018
[10]基于Hadoop的空氣質(zhì)量預(yù)測方法研究[D]. 雷寶.廣東工業(yè)大學(xué) 2018



本文編號：3659679