本文關(guān)鍵詞：基于Hadoop的氣溫?cái)?shù)據(jù)組織及時(shí)空分異特征提取方法研究

  更多相關(guān)文章： 氣象數(shù)據(jù) Hadoop 數(shù)據(jù)組織 KDE 時(shí)空分異

【摘要】：氣溫要素是氣象研究的熱點(diǎn)對(duì)象,深入了解氣溫要素的變化規(guī)律有助于提高氣象預(yù)報(bào)精度,對(duì)指導(dǎo)農(nóng)業(yè)生產(chǎn)、生態(tài)治理也具有重要意義。隨著氣象事業(yè)信息化程度的不斷提高,氣象科研和管理活動(dòng)中采集并積累了大量氣象信息資料。氣象信息種類繁多,格式迥異、管理分散等特點(diǎn),極大阻礙了公共氣象信息服務(wù)的發(fā)展。目前對(duì)氣象數(shù)據(jù)的研究存在海量氣象數(shù)據(jù)處理效率低,多種研究技術(shù)的融合程度低等問題,無法滿足氣象服務(wù)的時(shí)效性和內(nèi)容豐富性的要求。此外還缺乏針對(duì)于氣溫日變化的時(shí)空分異特征的大尺度、多維度的研究。Hadoop這一開源的云計(jì)算框架為海量氣象數(shù)據(jù)的研究提供了新的手段�；诖�,本文在已有的氣象學(xué)理論研究基礎(chǔ)上,以Hadoop和GIS為技術(shù)支撐,引入云計(jì)算和地理學(xué)中相關(guān)的數(shù)據(jù)分析、處理方法,顧及地域?qū)鉂竦挠绊?以美國(guó)國(guó)家氣候數(shù)據(jù)中心(以下簡(jiǎn)稱NCDC)2009-2013五年的全球地面小時(shí)觀測(cè)數(shù)據(jù)為數(shù)據(jù)源,進(jìn)行數(shù)據(jù)組織方法的設(shè)計(jì)和氣溫日變化時(shí)空分異特征的提取。主要研究?jī)?nèi)容和研究成果如下：(1)針對(duì)氣溫觀測(cè)日志數(shù)據(jù)的特點(diǎn),基于HBase研究海量氣象時(shí)空數(shù)據(jù)組織方法。研究并設(shè)計(jì)了氣象數(shù)據(jù)的表結(jié)構(gòu),索引機(jī)制及入庫(kù)方式,并提出了HBase運(yùn)行參數(shù)的優(yōu)化方案。通過引入Solr分布式搜索引擎的索引機(jī)制解決了HBase不支持二級(jí)輔助索引的問題。(2)借助Hadoop平臺(tái)和GIS平臺(tái),研究氣溫日變化時(shí)空分異特征提取的方法�；贛apReduce編程模型研究并設(shè)計(jì)了氣溫因子提取、統(tǒng)計(jì),氣溫日變化曲線模擬的分布式算法。在此基礎(chǔ)上,借助GIS地學(xué)分析方法研究并設(shè)計(jì)了氣溫日變化空間影響因素提取、計(jì)算方法。(3)對(duì)文中提出的氣象數(shù)據(jù)組織方法、氣溫日變化時(shí)空分異特征提取方法分別從高效性和準(zhǔn)確性方面進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,本文提出的基于HBase設(shè)計(jì)的氣象數(shù)據(jù)組織方法和借助Hadoop和GIS技術(shù)設(shè)計(jì)的氣溫日變化時(shí)空分異特征提取方法高效、準(zhǔn)確。
【關(guān)鍵詞】：氣象數(shù)據(jù) Hadoop 數(shù)據(jù)組織 KDE 時(shí)空分異
【學(xué)位授予單位】：南京師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：P413;P409
【目錄】：

• 摘要4-5
• Abstract5-13
• 第一章 緒論13-24
• 1.1 研究背景與意義13-14
• 1.1.1 研究背景13-14
• 1.1.2 研究意義14
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀14-18
• 1.2.1 氣象數(shù)據(jù)挖掘14-15
• 1.2.2 云計(jì)算在氣象中的應(yīng)用15-17
• 1.2.3 GIS在氣象中的應(yīng)用17-18
• 1.2.4 研究現(xiàn)狀總結(jié)18
• 1.3 研究目標(biāo)、研究?jī)?nèi)容18-19
• 1.3.1 研究目標(biāo)18-19
• 1.3.2 研究?jī)?nèi)容19
• 1.4 研究方法和技術(shù)路線19-22
• 1.4.1 研究方法19
• 1.4.2 技術(shù)路線19-22
• 1.5 論文結(jié)構(gòu)22-23
• 1.6 本章小結(jié)23-24
• 第二章 相關(guān)理論與技術(shù)24-34
• 2.1 Hadoop24-32
• 2.1.1 分布式文件系統(tǒng)(HDFS)24-26
• 2.1.2 分布式計(jì)算模型(MapReduce)26-28
• 2.1.3 分布式數(shù)據(jù)庫(kù)HBase28-32
• 2.2 Solr搜索引擎32-33
• 2.3 核密度估計(jì)(KDE)33
• 2.4 本章小結(jié)33-34
• 第三章 基于HBase的氣象時(shí)空數(shù)據(jù)組織方法34-47
• 3.1 氣象數(shù)據(jù)來源及其特點(diǎn)34-36
• 3.1.1 氣象數(shù)據(jù)來源及種類34-35
• 3.1.2 氣象數(shù)據(jù)特點(diǎn)35-36
• 3.2 NCDC數(shù)據(jù)概述36
• 3.3 研究數(shù)據(jù)選取36-38
• 3.4 研究平臺(tái)構(gòu)建38-40
• 3.4.1 集群軟硬件架構(gòu)38-39
• 3.4.2 環(huán)境配置39-40
• 3.5 基于HBase的氣象時(shí)空數(shù)據(jù)組織方法40-46
• 3.5.1 HBase表結(jié)構(gòu)設(shè)計(jì)41
• 3.5.2 數(shù)據(jù)入庫(kù)方式41-43
• 3.5.3 基于Solr的輔助索引構(gòu)建方法43-45
• 3.5.4 HBase配置參數(shù)調(diào)整方法45-46
• 3.6 本章小結(jié)46-47
• 第四章 氣溫日變化時(shí)空分異特征提取方法研究47-74
• 4.1 基于MapReduce的處理方法設(shè)計(jì)47-53
• 4.1.1 Map函數(shù)設(shè)計(jì)——?dú)鉁匾靥崛》椒?/span>47-49
• 4.1.2 Reduce函數(shù)設(shè)計(jì)——?dú)鉁財(cái)?shù)據(jù)標(biāo)準(zhǔn)化方法49-50
• 4.1.3 基于MapReduce的氣象數(shù)據(jù)變化過程50-53
• 4.2 氣溫日變化時(shí)間特征提取53-67
• 4.2.1 氣象站分類方法53-55
• 4.2.2 KDE空間分析及氣候特征點(diǎn)選取55-57
• 4.2.3 各氣候帶氣溫日變化時(shí)間特征提取57-63
• 4.2.4 氣溫日變化特征曲線模擬及特征分析63-67
• 4.3 氣溫日變化空間特征提取67-71
• 4.3.1 研究區(qū)氣象站分類68-69
• 4.3.2 海南省氣溫日變化空間特征提取69-70
• 4.3.3 海南省氣溫日變化空間特征分析70-71
• 4.4 氣溫日變化時(shí)空耦合特征提取71-73
• 4.4.1 氣溫日變化時(shí)空耦合特征函數(shù)71-72
• 4.4.2 祁門縣7月份氣溫日變化時(shí)空耦合特征提取72
• 4.4.3 祁門縣氣溫日變化時(shí)空耦合特征分析72-73
• 4.5 本章小結(jié)73-74
• 第五章 氣溫日變化時(shí)空分異特征提取方法驗(yàn)證74-81
• 5.1 提取方法效率對(duì)比驗(yàn)證74-77
• 5.1.1 測(cè)試用例74-75
• 5.1.2 對(duì)比結(jié)果及分析75-77
• 5.2 提取結(jié)果準(zhǔn)確性分析驗(yàn)證77-80
• 5.3 本章小結(jié)80-81
• 第六章 結(jié)論與展望81-83
• 6.1 研究結(jié)論81-82
• 6.2 研究展望82-83
• 參考文獻(xiàn)83-89
• 在讀期間參與的項(xiàng)目89-90
• 致謝90-91

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 鐘曉旭;胡學(xué)鋼;;基于數(shù)據(jù)挖掘的Web招聘信息相關(guān)性分析[J];安徽建筑工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年04期

2 周為吉;謝健Pr;劉志勇;鄧航;;聚類分析法在農(nóng)用地定級(jí)中的應(yīng)用研究——以廣東省潮州市湘橋區(qū)為例[J];安徽農(nóng)業(yè)科學(xué);2009年05期

3 唐濤;;電信客戶分群的KXEN應(yīng)用[J];邊疆經(jīng)濟(jì)與文化;2010年11期

4 高燕飛;陳俊杰;強(qiáng)彥;;自適應(yīng)數(shù)據(jù)庫(kù)中基于特征向量的聚類算法的研究與改進(jìn)[J];電腦開發(fā)與應(yīng)用;2008年07期

5 李晶;陳俊杰;強(qiáng)彥;;數(shù)據(jù)庫(kù)負(fù)載自適應(yīng)的體系結(jié)構(gòu)設(shè)計(jì)[J];電腦開發(fā)與應(yīng)用;2008年07期

6 羅燁;蔡秋茹;柳益君;李秉璋;;電信客戶分群的KXEN分析[J];電腦知識(shí)與技術(shù);2009年14期

7 虞樂;肖基毅;;數(shù)據(jù)挖掘中強(qiáng)局部加權(quán)回歸算法實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2012年07期

8 蔡建新;徐迪威;;基于云計(jì)算平臺(tái)的海量數(shù)據(jù)挖掘技術(shù)在塑料電子商務(wù)平臺(tái)中的應(yīng)用[J];廣東科技;2011年16期

9 曹英杰;張建良;國(guó)宏偉;杜申;白俊麗;;基于TwoStep算法的國(guó)豐1號(hào)高爐操作爐型聚類分析與應(yīng)用[J];鋼鐵;2013年10期

10 羊斌;;基于K-均值動(dòng)態(tài)聚類分析的企業(yè)信用等級(jí)劃分法[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年20期

，

本文編號(hào)：1011078