【摘要】：隨著各種大型高精度觀測(cè)設(shè)備和先進(jìn)探測(cè)儀器的建成和使用,天文觀測(cè)數(shù)據(jù)出現(xiàn)了爆發(fā)性增長(zhǎng)。天文元數(shù)據(jù)歸檔系統(tǒng)通過管理元數(shù)據(jù)的方式來實(shí)現(xiàn)對(duì)天文觀測(cè)數(shù)據(jù)進(jìn)行歸檔,使得上層用戶可以通過檢索特定元數(shù)據(jù)信息來快速定位所需天文觀測(cè)數(shù)據(jù)集。但是當(dāng)前天文元數(shù)據(jù)歸檔系統(tǒng)所采用的離線或周期性歸檔方式存在實(shí)時(shí)性不足的問題,同時(shí)數(shù)據(jù)查詢響應(yīng)較慢,難以滿足實(shí)時(shí)數(shù)據(jù)查詢的應(yīng)用需求。針對(duì)上述問題,文中采用分布式流式數(shù)據(jù)處理架構(gòu)和圖數(shù)據(jù)庫(kù)等技術(shù)設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)實(shí)時(shí)天文元數(shù)據(jù)歸檔系統(tǒng)。針對(duì)元數(shù)據(jù)歸檔實(shí)時(shí)性不足的問題,通過元數(shù)據(jù)采集模塊和元數(shù)據(jù)處理模塊的設(shè)計(jì)來達(dá)到元數(shù)據(jù)實(shí)時(shí)處理的目的,同時(shí)設(shè)計(jì)了元數(shù)據(jù)存儲(chǔ)模塊來改進(jìn)數(shù)據(jù)檢索響應(yīng)時(shí)間較長(zhǎng)的問題。本文首先分析了天文元數(shù)據(jù)的數(shù)據(jù)特征,設(shè)計(jì)了基于實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)源方式來獲取數(shù)據(jù)源數(shù)據(jù)動(dòng)態(tài)信息的方法,并結(jié)合Apache Flume等技術(shù)實(shí)現(xiàn)了元數(shù)據(jù)采集模塊的實(shí)時(shí)元數(shù)據(jù)采集功能。而后針對(duì)天文元數(shù)據(jù)實(shí)時(shí)處理的需求,采用基于分布式流式數(shù)據(jù)處理架構(gòu)來進(jìn)行元數(shù)據(jù)處理模塊的開發(fā),設(shè)計(jì)了Storm Topology數(shù)據(jù)處理拓?fù)?將天文元數(shù)據(jù)以流的形式進(jìn)行運(yùn)算,實(shí)現(xiàn)了天文元數(shù)據(jù)的實(shí)時(shí)處理。最后針對(duì)實(shí)時(shí)數(shù)據(jù)查詢的需求,結(jié)合天文元數(shù)據(jù)的數(shù)據(jù)特征,分析了現(xiàn)有天文元數(shù)據(jù)存儲(chǔ)方案的局限性。同時(shí)結(jié)合了Neo4j圖數(shù)據(jù)庫(kù)點(diǎn)邊存儲(chǔ)技術(shù),設(shè)計(jì)基于時(shí)空維度的天文元數(shù)據(jù)存儲(chǔ)模型,實(shí)現(xiàn)了對(duì)多源、異構(gòu)、海量天文元數(shù)據(jù)的存儲(chǔ)。系統(tǒng)功能和性能測(cè)試實(shí)驗(yàn)結(jié)果表明,論文設(shè)計(jì)的實(shí)時(shí)天文元數(shù)據(jù)歸檔系統(tǒng)能夠?qū)崿F(xiàn)實(shí)時(shí)數(shù)據(jù)處理,并能存儲(chǔ)多源、異構(gòu)、海量的天文元數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)查詢,同時(shí)系統(tǒng)的穩(wěn)定性、并發(fā)性均達(dá)到設(shè)計(jì)目標(biāo),對(duì)上層進(jìn)一步的天文學(xué)研究有重大的意義。
【圖文】：

圖 4. 7 實(shí)際環(huán)境中 Kafka 數(shù)據(jù)緩存信息Broker 集群寫入數(shù)據(jù)方案：Producer 負(fù)責(zé)為 Broker 集群推送數(shù)據(jù)，在本系roducer 由元數(shù)據(jù)采集模塊擔(dān)任。Producer 和 Broker 集群之間需要建立數(shù)據(jù)保證天文元數(shù)據(jù)的實(shí)時(shí)寫入，具體流程如下：

實(shí)際環(huán)境中Zookeeper節(jié)點(diǎn)信息
【學(xué)位授予單位】：重慶郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：P111

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 李建;崔辰州;何勃亮;趙永恒;曹子皇;樊東衛(wèi);李長(zhǎng)華;諶悅;;天文數(shù)據(jù)庫(kù)回顧與展望[J];天文學(xué)進(jìn)展;2013年01期

相關(guān)博士學(xué)位論文 前1條

1 劉應(yīng)波;太陽(yáng)望遠(yuǎn)鏡海量數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)院研究生院（云南天文臺(tái)）;2014年

，

本文編號(hào)：2650497