本文關(guān)鍵詞： 云計(jì)算 Hadoop MapReduce GIS 氣象信息分析與處理　出處：《南京信息工程大學(xué)》2012年碩士論文　論文類型：學(xué)位論文

【摘要】：互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,帶來了數(shù)據(jù)量的井噴式增長,傳統(tǒng)技術(shù)在處理這些海量數(shù)據(jù)遇到了不可避免的效率瓶頸。尤其在氣象、遙感、地質(zhì)災(zāi)害監(jiān)測(cè)等特殊行業(yè),能否及時(shí)、安全、高效地處理其中的海量數(shù)據(jù),關(guān)系到人民的財(cái)產(chǎn)安全和社會(huì)和諧穩(wěn)定。云計(jì)算應(yīng)運(yùn)而生,其處理海量數(shù)據(jù)方面有著技術(shù)固有的優(yōu)勢(shì),其中Apache Hadoop開源云計(jì)算平臺(tái)正受到知名互聯(lián)網(wǎng)公司和數(shù)據(jù)庫廠商的支持；Hadoop技術(shù)正越來越受到國內(nèi)外研究者們的關(guān)注,也成為海量數(shù)據(jù)處理技術(shù)研究熱點(diǎn)。 本文旨在通過對(duì)Hadoop中的HDFS和MapReduce進(jìn)行深入研究和探索,并結(jié)合氣象災(zāi)害監(jiān)測(cè)及評(píng)估系統(tǒng)工程開發(fā),將Hadoop應(yīng)用于基于GIS的氣象實(shí)際業(yè)務(wù)系統(tǒng)中,并進(jìn)行分析研究。本文的主要工作如下： 首先對(duì)氣象數(shù)據(jù)的特點(diǎn)進(jìn)行分析,并指出將氣象數(shù)據(jù)直接存儲(chǔ)于Hadoop中存在的問題。根據(jù)氣象數(shù)據(jù)的特點(diǎn)將設(shè)計(jì)基于Trie樹變形的文件合并算法。在此基礎(chǔ)上通過實(shí)驗(yàn)驗(yàn)證,數(shù)據(jù)高效率處理、安全等方面得到有效的提升和保障。 其次,設(shè)計(jì)并實(shí)現(xiàn)基于Hadoop的海量氣象異構(gòu)數(shù)據(jù)存儲(chǔ)和計(jì)算框架,針對(duì)氣象數(shù)據(jù)中實(shí)時(shí)提取有效數(shù)據(jù)的性能效率、數(shù)據(jù)保密安全、災(zāi)害備份等問題,利用HDFS存儲(chǔ)氣象數(shù)據(jù)以及利用MapReduce構(gòu)建并行算法,將提出基于Hadoop的海量氣象異構(gòu)數(shù)據(jù)存儲(chǔ)和處理框架。并通過實(shí)際業(yè)務(wù)中運(yùn)行,將驗(yàn)證在并發(fā)數(shù)據(jù)處理上的效果,達(dá)到能有效降低成本和保證數(shù)據(jù)的安全的目標(biāo)。 本文通過研究的模型與實(shí)際業(yè)務(wù)應(yīng)用相結(jié)合,利用前沿的分布式技術(shù)來很好的滿足項(xiàng)目中的需要,并將模型部署到實(shí)例當(dāng)中,用實(shí)際運(yùn)行結(jié)果來檢驗(yàn)?zāi)Ｐ偷膶?shí)用價(jià)值。這些工作對(duì)大數(shù)據(jù)處理的研究有著重要的理論價(jià)值和實(shí)用價(jià)值。
[Abstract]:With the rapid development of Internet technology, the amount of data blowout growth, traditional technology in processing these massive data encountered an inevitable efficiency bottleneck, especially in meteorology, remote sensing. Geological hazard monitoring and other special industries, whether timely, safe, efficient processing of the massive data, related to people's property security and social harmony and stability. Cloud computing emerged as the times require. The Apache Hadoop open source cloud computing platform is supported by well-known Internet companies and database vendors. Hadoop technology has been paid more and more attention by researchers at home and abroad, and has also become a hot spot of mass data processing technology. The purpose of this paper is to study and explore the HDFS and MapReduce in Hadoop, and to develop the meteorological disaster monitoring and evaluation system. The application of Hadoop in the meteorological practical operational system based on GIS is analyzed and studied. The main work of this paper is as follows: Firstly, the characteristics of meteorological data are analyzed. The problem of storing meteorological data in Hadoop directly is pointed out. According to the characteristics of meteorological data, a file merging algorithm based on Trie tree deformation is designed. Data efficient processing, security and other aspects are effectively promoted and guaranteed. Secondly, the storage and calculation framework of massive meteorological heterogeneous data based on Hadoop is designed and implemented. Aiming at the performance efficiency of extracting effective data in real-time, data security, disaster backup and so on. HDFS is used to store meteorological data and MapReduce is used to construct parallel algorithm. The storage and processing framework of massive meteorological heterogeneous data based on Hadoop will be put forward, and the effect of concurrent data processing will be verified by running in the actual business. To achieve the goal of effectively reducing costs and ensuring data security. In this paper, the model is combined with the actual business application, using the frontier distributed technology to meet the needs of the project, and the model is deployed to the example. The practical value of the model is verified by the practical operation results, which are of great theoretical and practical value to the study of big data's treatment.
【學(xué)位授予單位】：南京信息工程大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：P413;TP3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳苗;陳維斌;洪欣;;海量礦業(yè)權(quán)核查成果數(shù)據(jù)存儲(chǔ)與訪問的優(yōu)化技術(shù)研究[J];國土資源信息化;2011年04期

2 ;[J];;年期

3 ;[J];;年期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關(guān)會(huì)議論文 前10條

1 袁杰;陳良華;;中國長江三峽工程開發(fā)總公司梯調(diào)中心專業(yè)氣象臺(tái)氣象應(yīng)用軟件系統(tǒng)簡介[A];新世紀(jì)氣象科技創(chuàng)新與大氣科學(xué)發(fā)展——中國氣象學(xué)會(huì)2003年年會(huì)“03.7淮河大水的水文氣象學(xué)問題”分會(huì)論文集[C];2003年

2 王紅艷;劉晨;侯麗影;高玉春;;中國新一代天氣雷達(dá)通用氣象應(yīng)用軟件包[A];新世紀(jì)氣象科技創(chuàng)新與大氣科學(xué)發(fā)展——中國氣象學(xué)會(huì)2003年年會(huì)“城市氣象與科技奧運(yùn)”分會(huì)論文集[C];2003年

3 蔣虎 ;龔文斌 ;余金培 ;張銳;;GPS無線電掩星技術(shù)監(jiān)測(cè)地球大氣[A];中國空間科學(xué)學(xué)會(huì)空間探測(cè)專業(yè)委員會(huì)第十九次學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2006年

4 尚云;陳春曉;駱陽;;GIS在氣象服務(wù)方面應(yīng)用初探[A];信息技術(shù)在氣象領(lǐng)域的開發(fā)應(yīng)用論文集（二）[C];2006年

5 王棟成;張愛英;董旭光;楊慧春;劉煥彬;湯子?xùn)|;王新堂;曹潔;王靜;;建設(shè)項(xiàng)目氣象應(yīng)用技術(shù)研究與業(yè)務(wù)系統(tǒng)開發(fā)[A];中國氣象學(xué)會(huì)2007年年會(huì)氣候?qū)W分會(huì)場(chǎng)論文集[C];2007年

6 王妍;王國復(fù);何文春;高峰;朱江;馮明農(nóng);靳芳;;氣象空間產(chǎn)品庫數(shù)據(jù)分層存儲(chǔ)技術(shù)探討[A];2011年中國氣象學(xué)會(huì)氣象通信與信息技術(shù)委員會(huì)暨國家氣象信息中心科技年會(huì)論文摘要[C];2011年

7 夏芳;陳虹;宋磊;沈衛(wèi)超;;數(shù)值模擬網(wǎng)格數(shù)據(jù)模型設(shè)計(jì)與實(shí)現(xiàn)[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

8 曹鴻興;;自記憶-界門模型及其氣象應(yīng)用[A];推進(jìn)氣象科技創(chuàng)新加快氣象事業(yè)發(fā)展——中國氣象學(xué)會(huì)2004年年會(huì)論文集（下冊(cè)）[C];2004年

9 劉敦訓(xùn);張洪衛(wèi);劉晉升;孫秀忠;李樂榮;;建筑工程風(fēng)壓設(shè)計(jì)中的氣象應(yīng)用[A];中國氣象學(xué)會(huì)2005年年會(huì)論文集[C];2005年

10 倪雪;;沙塵現(xiàn)象在民用航空氣象上的分類和判別[A];中國氣象學(xué)會(huì)2007年年會(huì)大氣成分觀測(cè)、研究與預(yù)報(bào)分會(huì)場(chǎng)論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 李永勝;氣象應(yīng)用挑戰(zhàn)IT[N];中國計(jì)算機(jī)報(bào);2005年

2 萬剛;為氣象應(yīng)用提供“航母”[N];中國氣象報(bào);2003年

3 記者 劉學(xué)習(xí);氣象應(yīng)用需要何種HPC?[N];計(jì)算機(jī)世界;2003年

4 冷春香;歐洲氣象應(yīng)用熱點(diǎn)介紹[N];中國氣象報(bào);2004年

5 ;新一代天氣雷達(dá)網(wǎng)啟用氣象應(yīng)用軟件包[N];中國氣象報(bào);2003年

6 郭繼瑞;山西設(shè)立開放式氣象應(yīng)用研究基金[N];中國氣象報(bào);2004年

7 ;新一代雷達(dá)網(wǎng)啟用先進(jìn)的氣象應(yīng)用軟件包[N];中國氣象報(bào);2003年

8 ;新一代雷達(dá)網(wǎng)啟用氣象應(yīng)用軟件包[N];中國氣象報(bào);2003年

9 ;新一代雷達(dá)網(wǎng)啟用氣象應(yīng)用軟件包[N];中國氣象報(bào);2003年

10 金利;氣象集合預(yù)報(bào)應(yīng)用網(wǎng)格[N];科技日?qǐng)?bào);2007年

相關(guān)博士學(xué)位論文 前10條

1 魏青松;大規(guī)模分布式存儲(chǔ)技術(shù)研究[D];電子科技大學(xué);2004年

2 孔蘭菊;SaaS應(yīng)用交付平臺(tái)中多租戶云數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];山東大學(xué);2011年

3 顧平莉;SaaS應(yīng)用中多租戶若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

4 蔚趙春;無線傳感器網(wǎng)絡(luò)中自適應(yīng)數(shù)據(jù)存儲(chǔ)與kNN查詢處理研究[D];復(fù)旦大學(xué);2008年

5 孫元;多媒體語義檢索關(guān)鍵問題研究[D];吉林大學(xué);2010年

6 張坤;面向多租戶應(yīng)用的云數(shù)據(jù)隱私保護(hù)機(jī)制研究[D];山東大學(xué);2012年

7 楊晉強(qiáng);空間數(shù)據(jù)集群服務(wù)體系結(jié)構(gòu)與算法研究[D];解放軍信息工程大學(xué);2010年

8 陳家贏;對(duì)地觀測(cè)傳感器信息資源建模和管理研究[D];武漢大學(xué);2010年

9 張弛;數(shù)據(jù)挖掘技術(shù)在水文預(yù)報(bào)與水庫調(diào)度中的應(yīng)用研究[D];大連理工大學(xué);2006年

10 單業(yè)才;城市電網(wǎng)三維可視化規(guī)劃方法及應(yīng)用研究[D];華中科技大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 張建;基于Hadoop的云計(jì)算模型研究及氣象應(yīng)用[D];南京信息工程大學(xué);2012年

2 高明;實(shí)時(shí)BI系統(tǒng)中基于DSO的數(shù)據(jù)存儲(chǔ)模型研究[D];大連海事大學(xué);2012年

3 王紅霞;氣象數(shù)據(jù)倉庫的建立及其上數(shù)據(jù)挖掘[D];太原理工大學(xué);2006年

4 王舒境;網(wǎng)絡(luò)環(huán)境下的海量地學(xué)遙感數(shù)據(jù)高效存儲(chǔ)與發(fā)布[D];浙江大學(xué);2006年

5 馮金花;跟蹤試驗(yàn)數(shù)據(jù)管理和分析系統(tǒng)研究[D];西南交通大學(xué);2011年

6 張凡;智能卡硬件仿真系統(tǒng)的研究與設(shè)計(jì)[D];華中科技大學(xué);2004年

7 許衛(wèi)凡;檔案館檔案管理信息系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2011年

8 劉濤;基于WebGIS省級(jí)耕地質(zhì)量管理信息系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];四川農(nóng)業(yè)大學(xué);2011年

9 宋麗敏;面向Internet的虛擬場(chǎng)館建模技術(shù)的研究[D];沈陽工業(yè)大學(xué);2009年

10 王育俐;濰坊市高危流動(dòng)人口信息管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2011年

，

本文編號(hào)：1443044