氣象行業(yè)的數(shù)據(jù)量非常大,系統(tǒng)需要每天處理約有800 G的增量數(shù)據(jù),總?cè)萘砍^(guò)1 P的歷史數(shù)據(jù)文件。為了能夠及時(shí)、快速地存儲(chǔ)這些數(shù)據(jù),并且能解決氣象數(shù)據(jù)服務(wù)的需求,構(gòu)建一套科學(xué)、高效的數(shù)據(jù)服務(wù)系統(tǒng)迫在眉睫。基于Elasticsearch技術(shù),采用元數(shù)據(jù)的管理方法,設(shè)計(jì)了一套數(shù)據(jù)管理系統(tǒng)。按照業(yè)務(wù)類型和數(shù)據(jù)名稱特點(diǎn),把所有數(shù)據(jù)分成了13個(gè)大類和260多個(gè)元數(shù)據(jù)類型,設(shè)計(jì)了相同的元數(shù)據(jù)模板,便于統(tǒng)一管理。同時(shí)對(duì)13個(gè)大類分別構(gòu)建了索引,定義了氣象行業(yè)專業(yè)的檢索詞條,實(shí)現(xiàn)了快速定位和訪問(wèn)數(shù)根據(jù)文件的需求。該設(shè)計(jì)方法實(shí)現(xiàn)了1～2秒鐘內(nèi)可以從5億個(gè)文件庫(kù)中搜索出某一大類的文件,在2～3秒鐘可以更加精確地搜索出某一元數(shù)據(jù)類型的數(shù)據(jù)�；谝陨显O(shè)計(jì)方案,基本滿足了當(dāng)前的數(shù)據(jù)服務(wù)需要。

【文章頁(yè)數(shù)】：5 頁(yè)

【部分圖文】：

圖3數(shù)據(jù)入ES數(shù)據(jù)池的流程

描述數(shù)據(jù)的數(shù)據(jù)(dataaboutdata)，主要是描述數(shù)據(jù)屬性(property)的信息，用來(lái)支持如指示存儲(chǔ)位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能。為了便于管理，采用了統(tǒng)一的元數(shù)據(jù)模板，針對(duì)不同類型的數(shù)據(jù)，通過(guò)不同的關(guān)鍵字進(jìn)行區(qū)別。元數(shù)據(jù)模板是一個(gè)開(kāi)放式管理機(jī)制，可以根據(jù)業(yè)務(wù)....

本文編號(hào)：4023774