本文關(guān)鍵詞：基于HBase的氣象地面分鐘數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)

  更多相關(guān)文章： 分鐘數(shù)據(jù) 分布式存儲(chǔ) Hadoop solr HBase 輔助索引

【摘要】：針對(duì)氣象地面分鐘數(shù)據(jù)要素多樣、信息量大、產(chǎn)生頻次高等特點(diǎn),傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)在存儲(chǔ)和管理數(shù)據(jù)上出現(xiàn)負(fù)載飽滿、讀寫性能不理想等問題。結(jié)合對(duì)分布式數(shù)據(jù)庫(kù)HBase的存儲(chǔ)模型的研究,行主鍵(row key)采用時(shí)間加站號(hào)的方式設(shè)計(jì)了氣象分鐘數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)模型,實(shí)現(xiàn)對(duì)海量氣象數(shù)據(jù)的分布式存儲(chǔ)和元信息管理。對(duì)HBase的唯一索引在面對(duì)氣象業(yè)務(wù)的復(fù)雜查詢用例時(shí)響應(yīng)時(shí)間過長(zhǎng)的問題,使用搜索引擎solr提供的API接口并參考?xì)庀髽I(yè)務(wù)中的查詢用例對(duì)相關(guān)字段建立輔助索引,來滿足業(yè)務(wù)檢索時(shí)效。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)具有很好的存儲(chǔ)能力和檢索效率,入庫(kù)效率最高可達(dá)每秒34000條,并且在常規(guī)查詢用例的結(jié)果返回時(shí)效達(dá)到毫秒級(jí),能夠滿足大規(guī)模氣象數(shù)據(jù)在業(yè)務(wù)應(yīng)用中對(duì)存儲(chǔ)和查詢時(shí)效的性能要求。
【作者單位】： 國(guó)家氣象信息中心系統(tǒng)工程室;
【關(guān)鍵詞】： 分鐘數(shù)據(jù) 分布式存儲(chǔ) Hadoop solr HBase 輔助索引
【基金】：國(guó)家氣象信息中心青年科技基金資助項(xiàng)目(NMICQJ201310)
【分類號(hào)】：TP333;TP311.13
【正文快照】： 0引言互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展帶來了數(shù)據(jù)的指數(shù)級(jí)增長(zhǎng),在氣象、遙感、地質(zhì)災(zāi)害監(jiān)測(cè)等特殊行業(yè),傳統(tǒng)技術(shù)已經(jīng)無法按照業(yè)務(wù)效率要求去實(shí)時(shí)、安全、可靠、高效地處理海量數(shù)據(jù)。氣象自動(dòng)站地面分鐘全要素文件保存了現(xiàn)有所有地面自動(dòng)觀測(cè)要素(輻射除外)的分鐘數(shù)據(jù),也是目前自動(dòng)站各數(shù)

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 孟慶偉;;云計(jì)算技術(shù)及其電信應(yīng)用[J];電信快報(bào);2010年07期

2 盧益陽(yáng);;分布式存儲(chǔ)系統(tǒng)調(diào)查[J];企業(yè)科技與發(fā)展;2011年16期

3 王大濤;姜月秋;;一種適用于集群的高可用存儲(chǔ)模型的研究[J];沈陽(yáng)理工大學(xué)學(xué)報(bào);2007年02期

4 邢繼元;張義德;;計(jì)算機(jī)存儲(chǔ)技術(shù)的發(fā)展現(xiàn)狀和趨勢(shì)[J];科協(xié)論壇(下半月);2008年02期

5 張?zhí)煜?潘峰;楊曉元;劉鎮(zhèn);張薇;;改進(jìn)的LPCA算法[J];計(jì)算機(jī)工程與應(yīng)用;2010年09期

6 陳衛(wèi)衛(wèi);吳海佳;胥光輝;;分布式存儲(chǔ)中文件分割的最優(yōu)化模型[J];解放軍理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年04期

7 王文奎;吳國(guó)新;;一種對(duì)等式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2008年04期

8 馬軍;鄭p，

本文編號(hào)：1079390