本文選題：多維數(shù)據(jù)　切入點(diǎn)：氣象數(shù)據(jù)　出處：《計(jì)算機(jī)工程與科學(xué)》2015年11期 　論文類型：期刊論文

【摘要】：氣象數(shù)據(jù)是一種典型的非結(jié)構(gòu)化數(shù)據(jù),在實(shí)際應(yīng)用中其日增量達(dá)數(shù)十TB,基于關(guān)系數(shù)據(jù)庫(kù)和傳統(tǒng)文件系統(tǒng)的解析、存儲(chǔ)與訪問模式已成為制約天氣預(yù)報(bào)系統(tǒng)信息化發(fā)展的瓶頸之一。為滿足全國(guó)天氣預(yù)報(bào)平臺(tái)MICAPS用戶對(duì)實(shí)時(shí)數(shù)據(jù)的及時(shí)、快速查詢,介紹了能夠7*24小時(shí)穩(wěn)定工作、支撐數(shù)十TB/天的數(shù)據(jù)實(shí)時(shí)解析系統(tǒng)。根據(jù)氣象數(shù)據(jù)的多維模型和用戶行為,采用非關(guān)系型分布式Key-Value數(shù)據(jù)庫(kù),設(shè)計(jì)實(shí)現(xiàn)了高性能海量數(shù)據(jù)存儲(chǔ)系統(tǒng)。實(shí)踐證明,數(shù)據(jù)實(shí)時(shí)解析系統(tǒng)和基于分布式非關(guān)系型KeyValue數(shù)據(jù)庫(kù)的存儲(chǔ)系統(tǒng)能有效滿足海量實(shí)時(shí)氣象數(shù)據(jù)存儲(chǔ)、查詢和應(yīng)用需求。該系統(tǒng)已成為中國(guó)天氣預(yù)報(bào)業(yè)務(wù)流程中的核心系統(tǒng),體現(xiàn)了優(yōu)異的功能和性能。
[Abstract]:Meteorological data is a kind of typical unstructured data. In practical application, the daily increment of meteorological data is tens of TBs, which is based on the analysis of relational database and traditional file system. The storage and access mode has become one of the bottlenecks restricting the development of weather forecast system information. In order to satisfy the real-time data query of the MICAPS users of the national weather forecast platform, it is introduced that the system can work steadily 24 hours a day. Based on the multidimensional model and user behavior of meteorological data, a high performance mass data storage system is designed and implemented by using non-relational distributed Key-Value database. The real-time data analysis system and the storage system based on distributed non-relational KeyValue database can effectively meet the requirements of massive real-time meteorological data storage, query and application. The system has become the core system in the business process of weather forecast in China. It embodies excellent function and performance.
【作者單位】： 國(guó)家氣象中心;清華大學(xué)軟件學(xué)院;
【分類號(hào)】：P409;TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 趙春燕;孫英銳;董峰;劉立明;;高性能氣象數(shù)據(jù)存儲(chǔ)集群及在線擴(kuò)展技術(shù)應(yīng)用[J];計(jì)算技術(shù)與自動(dòng)化;2013年03期

2 鐘雨;黃向東;劉丹;黃宇霞;田煒;王建民;;大規(guī)模裝備監(jiān)測(cè)數(shù)據(jù)的NoSQL存儲(chǔ)方案[J];計(jì)算機(jī)集成制造系統(tǒng);2013年12期

3 李月安;曹莉;高嵩;羅兵;;MICAPS預(yù)報(bào)業(yè)務(wù)平臺(tái)現(xiàn)狀與發(fā)展[J];氣象;2010年07期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 譚燕;王曉峰;王玉彬;萬(wàn)日金;;交互式臺(tái)風(fēng)分析和預(yù)報(bào)系統(tǒng)的建立及其功能介紹[J];大氣科學(xué)研究與應(yīng)用;2012年02期

2 姚愚;閆麗萍;常有禮;;調(diào)用WinRAR壓縮備份Micaps數(shù)據(jù)文件[J];成都信息工程學(xué)院學(xué)報(bào);2013年03期

3 吳林林;劉黎平;鄭媛媛;安晶晶;紀(jì)雷;;基于SWAN的冰雹探測(cè)算法研究[J];高原氣象;2014年03期

4 趙智鵬;史蓮梅;;基于氣象培訓(xùn)的MICAPS3.2本地化配置研究[J];電腦知識(shí)與技術(shù);2014年20期

5 王海賓;范旭亮;;基于WebGIS技術(shù)的精細(xì)化格點(diǎn)預(yù)報(bào)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];大氣科學(xué)研究與應(yīng)用;2014年02期

6 趙建峰;;精細(xì)化氣象要素預(yù)報(bào)用戶支持系統(tǒng)(FUSE)研究[J];科技情報(bào)開發(fā)與經(jīng)濟(jì);2012年04期

7 葉金印;邱旭敏;黃勇;張春莉;;氣象遙感圖像及格點(diǎn)場(chǎng)重采樣插值方法[J];計(jì)算機(jī)工程與應(yīng)用;2013年18期

8 張正文;張振濤;;公共氣象服務(wù)產(chǎn)品制作系統(tǒng)[J];計(jì)算機(jī)與現(xiàn)代化;2013年11期

9 王怡;凌予杰;原林茹;;地市級(jí)集約化氣象影視制作平臺(tái)的研究與應(yīng)用[J];氣象與環(huán)境科學(xué);2014年02期

10 于連慶;;基于觸控操作方式的大氣科學(xué)數(shù)據(jù)可視化系統(tǒng)技術(shù)研究與實(shí)現(xiàn)[J];南京信息工程大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年06期

相關(guān)會(huì)議論文 前6條

1 夏正龍;劉兵;姚蓉;唐杰;霍林;;湖南省溫度降水定量預(yù)報(bào)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[A];第28屆中國(guó)氣象學(xué)會(huì)年會(huì)——S7城市氣象精細(xì)預(yù)報(bào)與服務(wù)[C];2011年

2 王志;吳昊;許鳳雯;狄靖月;包紅軍;;水文氣象監(jiān)測(cè)預(yù)報(bào)預(yù)警平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[A];S12 水文氣象、地質(zhì)災(zāi)害氣象預(yù)報(bào)與服務(wù)[C];2012年

3 劉安寧;陳景麗;劉鴻斌;劉杰;;江蘇省級(jí)MICAPS3.0本地化應(yīng)用工作介紹[A];第九屆長(zhǎng)三角氣象科技論壇論文集[C];2012年

4 劉安寧;陳景麗;劉鴻斌;劉杰;;江蘇省級(jí)MICAPS3.0本地化應(yīng)用工作介紹[A];第八屆全國(guó)優(yōu)秀青年氣象科技工作者學(xué)術(shù)研討會(huì)論文匯編[C];2014年

5 馮冼;游梟雄;王旋;李晶;;縣級(jí)綜合氣象業(yè)務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[A];第八屆全國(guó)優(yōu)秀青年氣象科技工作者學(xué)術(shù)研討會(huì)論文匯編[C];2014年

6 劉安寧;李志軍;曹璐;;江蘇MICAPS本地化和二次開發(fā)應(yīng)用進(jìn)展[A];第31屆中國(guó)氣象學(xué)會(huì)年會(huì)S13 氣象通信與信息技術(shù)應(yīng)用實(shí)踐與新技術(shù)探索[C];2014年

相關(guān)博士學(xué)位論文 前1條

1 程一帆;中長(zhǎng)期軍事天氣預(yù)報(bào)業(yè)務(wù)系統(tǒng)的設(shè)計(jì)與研發(fā)[D];蘭州大學(xué);2011年

相關(guān)碩士學(xué)位論文 前6條

1 李振海;市級(jí)人工影響天氣作業(yè)指揮系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

2 黃曉龍;土壤濕度同化數(shù)據(jù)綜合分析處理系統(tǒng)的研制與開發(fā)[D];南京信息工程大學(xué);2012年

3 崔楊;基于Flex的氣象信息發(fā)布平臺(tái)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];南京信息工程大學(xué);2013年

4 穆望舒;海洋數(shù)值預(yù)報(bào)產(chǎn)品綜合處理平臺(tái)開發(fā)研究[D];華東師范大學(xué);2014年

5 楊桂菊;GIS中氣象數(shù)據(jù)引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];廣西師范學(xué)院;2014年

6 王建輝;基于HBase跨行事務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2014年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張德;朱蓉;羅勇;俞衛(wèi);王澄海;;風(fēng)能模擬系統(tǒng)WEST在中國(guó)風(fēng)能數(shù)值模擬中的應(yīng)用[J];高原氣象;2008年01期

2 朱蓉;何曉鳳;周榮衛(wèi);程興宏;趙東;;區(qū)域風(fēng)能資源的數(shù)值模擬評(píng)估方法[J];風(fēng)能;2010年04期

3 王英;趙建民;陳慧;彭麗娜;;內(nèi)蒙古風(fēng)能資源數(shù)據(jù)庫(kù)共享服務(wù)系統(tǒng)[J];電子設(shè)計(jì)工程;2012年17期

4 艾艷;胡英媚;王甫棣;王敏;霍銳;;風(fēng)能資源觀測(cè)數(shù)據(jù)省級(jí)傳輸系統(tǒng)[J];氣象與環(huán)境科學(xué);2010年04期

5 范中磊;;網(wǎng)絡(luò)存儲(chǔ)技術(shù)漫談之三:集群存儲(chǔ)[J];記錄媒體技術(shù);2010年03期

6 張媛;盧澤新;劉亞萍;;NFS over Lustre性能評(píng)測(cè)與分析[J];計(jì)算機(jī)工程;2007年10期

7 楊發(fā)毅;李東升;;典型商用并行文件系統(tǒng)分析[J];計(jì)算機(jī)與現(xiàn)代化;2006年05期

8 楊昕;;GPFS文件系統(tǒng)原理和模式IO優(yōu)化方法[J];氣象科技;2006年S1期

9 鄭永光,王洪慶,陶祖鈺,陳敏;Windows下二維氣象繪圖軟件——客觀分析診斷圖形系統(tǒng)[J];氣象;2002年03期

10 劉淑媛,孫健,郭衛(wèi)東,陶祖鈺,王洪慶;多普勒雷達(dá)數(shù)據(jù)處理顯示系統(tǒng)[J];氣象;2004年07期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李建;馬琰鋼;;浙江省“智慧高速”氣象數(shù)據(jù)交互網(wǎng)絡(luò)設(shè)計(jì)與實(shí)現(xiàn)[J];浙江氣象;2013年03期

2 寧世遠(yuǎn);;PC-1500袖珍機(jī)處理大量氣象信息的方法[J];新疆氣象;1989年12期

3 王元;王錄中;;信息化氣象數(shù)據(jù)存檔后備和服務(wù)后援磁性載體配置的優(yōu)化設(shè)計(jì)[J];氣象科技;1991年06期

4 李社宏;;大數(shù)據(jù)時(shí)代氣象數(shù)據(jù)分析應(yīng)用的新趨勢(shì)[J];陜西氣象;2014年02期

5 李樹忠,王春芳,張振;自動(dòng)氣象數(shù)據(jù)采集站組態(tài)軟件設(shè)計(jì)[J];青島大學(xué)學(xué)報(bào)(工程技術(shù)版);1998年02期

6 王宇欣,白敬儒;遼寧地面有線綜合遙測(cè)實(shí)時(shí)氣象數(shù)據(jù)顯示平臺(tái)[J];遼寧氣象;2002年02期

7 龍思朝;;氣象數(shù)據(jù)在雷電風(fēng)險(xiǎn)評(píng)估中的應(yīng)用[J];貴州氣象;2011年02期

8 F.Cerquetti;章育仲;;氣象數(shù)據(jù)的采集、檢驗(yàn)及管理[J];氣象科技;1989年06期

9 黃業(yè)斐;嚴(yán)玲;;氣象數(shù)據(jù)應(yīng)急傳輸解決方法初探[J];氣象研究與應(yīng)用;2009年S1期

10 田云臣;;“病蟲害預(yù)測(cè)系統(tǒng)”的設(shè)計(jì)與開發(fā)[J];天津科技;2009年01期

相關(guān)會(huì)議論文 前10條

1 張宇鵬;王麗珍;周麗華;;基于氣象數(shù)據(jù)的關(guān)聯(lián)規(guī)則挖掘[A];第十七屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2000年

2 黃濤;鄭曉棟;;氣象數(shù)據(jù)中心設(shè)計(jì)與應(yīng)用[A];第31屆中國(guó)氣象學(xué)會(huì)年會(huì)S13 氣象通信與信息技術(shù)應(yīng)用實(shí)踐與新技術(shù)探索[C];2014年

3 黃業(yè)斐;嚴(yán)玲;;氣象數(shù)據(jù)應(yīng)急傳輸解決方法初探[A];2008年廣西氣象學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2008年

4 鄭永光;陳炯;王洪慶;張焱;陳敏;白潔;朱佩君;陶祖鈺;;一個(gè)氣象數(shù)據(jù)分析繪圖軟件的設(shè)計(jì)、開發(fā)及應(yīng)用[A];推進(jìn)氣象科技創(chuàng)新加快氣象事業(yè)發(fā)展——中國(guó)氣象學(xué)會(huì)2004年年會(huì)論文集（下冊(cè)）[C];2004年

5 楊柳;林才;林海燕;劉加平;;我國(guó)典型氣象年的生成方法及其原始?xì)庀髷?shù)據(jù)質(zhì)量處理分析[A];全國(guó)建筑節(jié)能技術(shù)與設(shè)計(jì)學(xué)術(shù)會(huì)議論文集[C];2005年

6 王新堂;張國(guó)平;李蕓;曲軍;;山東省氣象數(shù)據(jù)資源收集工作探討[A];山東氣象學(xué)會(huì)2005年學(xué)術(shù)交流會(huì)優(yōu)秀論文集[C];2005年

7 高亢;秦巖松;紀(jì)俊云;;CMACast氣象數(shù)據(jù)文件收發(fā)效果分析[A];2011年中國(guó)氣象學(xué)會(huì)氣象通信與信息技術(shù)委員會(huì)暨國(guó)家氣象信息中心科技年會(huì)論文摘要[C];2011年

8 王甫棣;姚燕;李湘;;基于XML的氣象數(shù)據(jù)訂閱系統(tǒng)設(shè)計(jì)[A];2011年中國(guó)氣象學(xué)會(huì)氣象通信與信息技術(shù)委員會(huì)暨國(guó)家氣象信息中心科技年會(huì)論文摘要[C];2011年

9 韓海濤;李仲龍;;地面實(shí)時(shí)氣象數(shù)據(jù)質(zhì)量控制方法研究進(jìn)展[A];第31屆中國(guó)氣象學(xué)會(huì)年會(huì)S13 氣象通信與信息技術(shù)應(yīng)用實(shí)踐與新技術(shù)探索[C];2014年

10 林奕峰;滕少華;陳瀟;林蟒;成明;;基于KNN的多組合器協(xié)同挖掘區(qū)域自動(dòng)站氣象數(shù)據(jù)[A];第31屆中國(guó)氣象學(xué)會(huì)年會(huì)S13 氣象通信與信息技術(shù)應(yīng)用實(shí)踐與新技術(shù)探索[C];2014年

相關(guān)重要報(bào)紙文章 前10條

1 李曄;氣象數(shù)據(jù)資源將有管理辦法[N];中國(guó)氣象報(bào);2003年

2 王長(zhǎng)城;新一代氣象數(shù)據(jù)衛(wèi)星廣播系統(tǒng)落戶我州[N];甘孜日?qǐng)?bào)(漢文);2011年

3 通訊員 王國(guó)復(fù)　高峰;氣象空間信息庫(kù)助力國(guó)家電子政務(wù)[N];中國(guó)氣象報(bào);2012年

4 記者 謝慶裕;加強(qiáng)氣象數(shù)據(jù)信息轉(zhuǎn)化應(yīng)用[N];南方日?qǐng)?bào);2013年

5 華創(chuàng);華創(chuàng)推出氣象數(shù)據(jù)信息顯示屏[N];中國(guó)氣象報(bào);2004年

6 記者 尕瑪多吉 葉輝;我區(qū)年內(nèi)將實(shí)現(xiàn)高原氣象數(shù)據(jù)采集自動(dòng)化[N];西藏日?qǐng)?bào);2004年

7 馬旭清 任桂林;搭建共享平臺(tái) 我省氣象信息實(shí)現(xiàn)整合[N];黑龍江經(jīng)濟(jì)報(bào);2007年

8 Kim S.Nash;天氣中的大數(shù)據(jù)[N];計(jì)算機(jī)世界;2013年

9 記者 穆巍;冬季旅游提前一月升溫[N];哈爾濱日?qǐng)?bào);2008年

10 記者 謝忠軍;收集南海氣象數(shù)據(jù)[N];中國(guó)氣象報(bào);2012年

相關(guān)博士學(xué)位論文 前2條

1 徐江斌;基于氣象數(shù)據(jù)的云景真實(shí)感模擬技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

2 高飛;基于氣象數(shù)據(jù)分析的地域化運(yùn)氣模型修正體系[D];廣州中醫(yī)藥大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 郭萌;氣象數(shù)據(jù)轉(zhuǎn)換系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué)　;2009年

2 陳文慧;大規(guī)模氣象數(shù)據(jù)布局的自適應(yīng)性研究[D];東北大學(xué);2012年

3 趙方霞;基于氣象數(shù)據(jù)的數(shù)據(jù)挖掘算法研究[D];北方工業(yè)大學(xué);2011年

4 郭旭;氣象數(shù)據(jù)管理與預(yù)報(bào)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2008年

5 李全月;氣象數(shù)據(jù)網(wǎng)絡(luò)化集成管理系統(tǒng)的設(shè)計(jì)[D];南京信息工程大學(xué);2014年

6 包胡萍;氣象自動(dòng)站數(shù)據(jù)查詢填圖系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)[D];電子科技大學(xué);2012年

7 邵戎;web構(gòu)架的氣象信息共享平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2009年

8 周曉倩;基于GPRS的農(nóng)田氣象數(shù)據(jù)監(jiān)測(cè)系統(tǒng)研究[D];西北農(nóng)林科技大學(xué);2014年

9 秦明俊;氣象信息綜合管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

10 李太勇;空管系統(tǒng)中氣象數(shù)據(jù)處理的研究和應(yīng)用[D];四川大學(xué);2004年

，

本文編號(hào)：1582804