【摘要】：隨著大型天文望遠(yuǎn)鏡的投入使用,觀測臺站正面臨PB量級的海量數(shù)據(jù)存儲、快速檢索難題;同時由于在數(shù)據(jù)檢索中起著關(guān)鍵作用的FITS文件頭的可變性,導(dǎo)致難以使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫來建立可適應(yīng)這種變化需求的非結(jié)構(gòu)化數(shù)據(jù)模型。針對這個難題,提出了使用NoSQL對天文上廣泛使用的FITS文件頭中所包含的可變元數(shù)據(jù)信息進(jìn)行存儲和查詢;討論了關(guān)系型數(shù)據(jù)模型存儲可變FITS文件頭的不足;分析了NoSQL存儲可變FITS頭元數(shù)據(jù)信息的可行性;使用形式化的關(guān)系型代數(shù)對這種存儲查詢方式進(jìn)行了一般化的討論。通過具體查詢實(shí)例驗(yàn)證了該方案在存儲天文可變FITS文件頭的有效性和可行性。
[Abstract]:With the application of large-scale astronomical telescopes, observation stations are faced with the massive data storage in the order of PB and the problem of fast retrieval. At the same time, because of the variability of FITS header, which plays a key role in data retrieval, it is difficult to use the traditional relational database to build an unstructured data model which can adapt to the changing requirements. In order to solve this problem, this paper proposes to use NoSQL to store and query the variable metadata information contained in the FITS header which is widely used in astronomy, and discusses the deficiency of storing variable FITS header in relational data model. In this paper, the feasibility of storing variable FITS header metadata in NoSQL is analyzed, and the formal relational algebra is used to discuss the storage query in general. The effectiveness and feasibility of this scheme in storing astronomical variable FITS header are verified by a concrete query example.
【作者單位】： 中國科學(xué)院云南天文臺;中國科學(xué)院大學(xué);昆明理工大學(xué)云南省計算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室;
【基金】：國家自然科學(xué)基金—聯(lián)合基金資助項目(U1231205);國家自然科學(xué)基金資助項目(11263004,11163004) 云南省應(yīng)用基礎(chǔ)研究基金重點(diǎn)項目(2013FA013,2013FA032)
【分類號】：TP333;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;數(shù)據(jù)存儲要換代[J];每周電腦報;2001年09期

2 張軍華;數(shù)據(jù)存儲及實(shí)用解決方案二例[J];鄂州大學(xué)學(xué)報;2002年04期

3 樂凡;數(shù)據(jù)集中 存儲突破——平安保險數(shù)據(jù)存儲的現(xiàn)狀與發(fā)展[J];計算機(jī)周刊;2002年20期

4 吳峰;集中環(huán)境下證券行業(yè)的數(shù)據(jù)存儲方案[J];中國金融電腦;2002年04期

5 張謳東 ,徐燕 ,高卿;多種數(shù)據(jù)存儲媒質(zhì)及其在數(shù)據(jù)多級存儲中的應(yīng)用[J];現(xiàn)代電視技術(shù);2003年10期

6 張景亮 ,蘇琳琳 ,趙世來;數(shù)據(jù)存儲與管理在“數(shù)字化工程”中的地位[J];科學(xué)與管理;2003年06期

7 賴?yán)?數(shù)據(jù)存儲方案分析[J];渝西學(xué)院學(xué)報(自然科學(xué)版);2004年04期

8 朱克亮;;圖書館數(shù)據(jù)存儲方案的比較[J];電腦知識與技術(shù);2005年33期

9 崔寶娣;;企業(yè)網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)應(yīng)用分析[J];電力信息化;2008年09期

10 肖平;徐娟;;打造企業(yè)穩(wěn)固的數(shù)據(jù)存儲中心[J];中國管理信息化;2009年19期

相關(guān)會議論文 前10條

1 孫崢皓;汪宏f;閻巖;岑小鋒;鄧志均;;淺談信息化戰(zhàn)爭對大數(shù)據(jù)存儲與分析的要求及對策[A];2013第一屆中國指揮控制大會論文集[C];2013年

2 張沁川;王厚軍;;基于大容量閃存的數(shù)據(jù)存儲與管理[A];2008中國儀器儀表與測控技術(shù)進(jìn)展大會論文集（Ⅲ）[C];2008年

3 霍躍華;;IP SAN在煤炭企業(yè)數(shù)據(jù)存儲的應(yīng)用研究[A];煤礦自動化與信息化——第20屆全國煤礦自動化與信息化學(xué)術(shù)會議暨第2屆中國煤礦信息化與自動化高層論壇論文集[C];2010年

4 盛磊;李美華;程林;;一種軋鋼過程數(shù)據(jù)存儲方法[A];全國冶金自動化信息網(wǎng)2014年會論文集[C];2014年

5 王文峰;李佳;;芻議信息系統(tǒng)數(shù)據(jù)存儲與備份系統(tǒng)的構(gòu)建方式[A];2011年云南電力技術(shù)論壇論文集（入選部分）[C];2011年

6 張艷秋;李建中;楊艷;張兆功;;混合負(fù)載多媒體服務(wù)器的數(shù)據(jù)存儲和數(shù)據(jù)提交[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2003年

7 王淑江;;煙臺日報傳媒集團(tuán)存儲體系規(guī)劃[A];中國新聞技術(shù)工作者聯(lián)合會五屆一次理事會暨學(xué)術(shù)年會論文集（上篇）[C];2009年

8 ;Wallstor網(wǎng)絡(luò)數(shù)據(jù)存儲的新技術(shù)應(yīng)用[A];江蘇省微型電腦應(yīng)用協(xié)會產(chǎn)學(xué)研成果交流會會議資料[C];2010年

9 韋大偉;;分布式數(shù)據(jù)存儲中的機(jī)密性保護(hù)[A];2006年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集（三）[C];2006年

10 韓德志;;內(nèi)網(wǎng)數(shù)據(jù)存儲安全關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 中國惠普公司網(wǎng)絡(luò)存儲事業(yè)部技術(shù)顧問 周志峰;數(shù)據(jù)存儲面臨七大挑戰(zhàn)[N];計算機(jī)世界;2001年

2 本報記者 郭濤;中興通訊打造安全高效的大數(shù)據(jù)存儲[N];中國計算機(jī)報;2013年

3 本報記者 陳巍巍;數(shù)據(jù)存儲 進(jìn)化正當(dāng)時[N];計算機(jī)世界;2013年

4 本報記者 黃銳;綠源巢:大數(shù)據(jù)存儲弄潮兒[N];東莞日報;2014年

5 毛玲玲 吳非;數(shù)據(jù)存儲 安全為重[N];解放軍報;2014年

6 本報記者 郭濤;華為存儲：高端存儲、大數(shù)據(jù)存儲齊頭并進(jìn)[N];中國計算機(jī)報;2013年

7 本報記者 方慧玲;糾刪碼技術(shù)：大數(shù)據(jù)存儲的“安全衛(wèi)士”[N];江蘇科技報;2014年

8 ;培養(yǎng)皿中的數(shù)據(jù)存儲[N];網(wǎng)絡(luò)世界;2007年

9 ;2010年中小企業(yè)數(shù)據(jù)存儲市場六大趨勢[N];網(wǎng)絡(luò)世界;2010年

10 本報實(shí)習(xí)記者 陳勛燕;數(shù)據(jù)存儲網(wǎng)絡(luò)凸現(xiàn)商機(jī) 上海郵通轉(zhuǎn)型前景看好[N];通信信息報;2002年

相關(guān)博士學(xué)位論文 前2條

1 張杰;一種高速數(shù)據(jù)存儲方法的研究[D];中國科學(xué)技術(shù)大學(xué);2013年

2 付永忠;基于AFM和硫系相變材料的超高密度數(shù)據(jù)存儲機(jī)理研究[D];江蘇大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 薩日娜;一種基于綜合閾值的分布式數(shù)據(jù)存儲方法[D];哈爾濱工程大學(xué);2011年

2 胡海光;鉆探工程項目數(shù)據(jù)存儲及其安全的應(yīng)用研究[D];中國地質(zhì)大學(xué)(北京);2012年

3 史玉麗;基于嵌入式的數(shù)據(jù)存儲與通信模塊的設(shè)計[D];內(nèi)蒙古師范大學(xué);2012年

4 趙晉;基于寬表的多租戶數(shù)據(jù)存儲模式研究[D];鄭州大學(xué);2014年

5 陳春霖;云計算中數(shù)據(jù)存儲的完整性校驗(yàn)?zāi)Ｐ脱芯縖D];東華大學(xué);2013年

6 單旭;異構(gòu)大數(shù)據(jù)存儲方法研究[D];北京交通大學(xué);2014年

7 王永洲;基于HDFS的存儲技術(shù)的研究[D];南京郵電大學(xué);2013年

8 王東晨;網(wǎng)絡(luò)試驗(yàn)平臺數(shù)據(jù)存儲研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

9 韓方;基于DSP的數(shù)據(jù)存儲與傳輸系統(tǒng)的研究與設(shè)計[D];武漢理工大學(xué);2010年

10 張洪娜;云計算平臺中數(shù)據(jù)存儲與文件管理的研究[D];廣東工業(yè)大學(xué);2011年

，

本文編號：2458142