本文關(guān)鍵詞：天文大數(shù)據(jù)挑戰(zhàn)與實時處理技術(shù)　出處：《計算機研究與發(fā)展》2017年02期 　論文類型：期刊論文

  更多相關(guān)文章： 天文大數(shù)據(jù)管理 地基廣角相機陣 兩級緩存 星表簇 索引表

【摘要】：超大型天文觀測技術(shù)的出現(xiàn)不僅能夠讓研究人員觀測到新的天文現(xiàn)象,更能用于驗證已有物理模型的正確性.這些最新天文成果的發(fā)現(xiàn)是建立在海量天文數(shù)據(jù)的近乎實時產(chǎn)生、管理與分析的基礎(chǔ)上,因此給目前的數(shù)據(jù)管理系統(tǒng)帶來了新的挑戰(zhàn).以我國自主研發(fā)的地基廣角相機陣(the ground-based wide-angle camera array,GWAC)天文望遠鏡為例,15s的采樣和處理周期都處于短時標觀測領(lǐng)域的世界前列,但卻對數(shù)據(jù)管理系統(tǒng)提出了很多問題,包括多鏡頭并行輸出數(shù)據(jù)管理、實時瞬變源發(fā)現(xiàn)、當前觀測夜數(shù)據(jù)的秒級查詢、數(shù)據(jù)持久化和快速離線查詢等.基于上述問題,設(shè)計了分布式GWAC數(shù)據(jù)模擬生成器用于模擬真實GWAC數(shù)據(jù)產(chǎn)生場景,并基于產(chǎn)生的數(shù)據(jù)特性,提出一種兩級緩存架構(gòu),使用本地內(nèi)存解決多鏡頭并行輸出、實時瞬變源發(fā)現(xiàn),使用分布式共享內(nèi)存實現(xiàn)秒級查詢.為了平衡持久化和查詢效率,設(shè)計一種星表簇結(jié)構(gòu)將整個星表數(shù)據(jù)劃分后聚集存儲.根據(jù)天文需求特點,設(shè)計基于索引表的查詢引擎能從緩存和星表簇以較小的代價對星表數(shù)據(jù)查詢.通過實驗驗證,當前方案能夠滿足GWAC的需求.
[Abstract]:The emergence of super-large astronomical observation technology not only enables researchers to observe new astronomical phenomena. It can be used to verify the correctness of existing physical models. The discovery of these latest astronomical results is based on the near real-time generation, management and analysis of massive astronomical data. Therefore, it brings new challenges to the current data management system. The ground-based wide-angle camera array. The sampling and processing period of 15s for the GWAC telescope is in the forefront of the world in the field of short-time scale observation, but many problems have been raised for the data management system. It includes multi-shot parallel output data management, real-time transient source discovery, second level query of current observation night data, data persistence and fast off-line query. A distributed GWAC data simulation generator is designed to simulate the real GWAC data generation scene. Based on the characteristics of the generated data, a two-level cache architecture is proposed. Using local memory to solve multi-shot parallel output, real-time transient source discovery, distributed shared memory to achieve second-level query, in order to balance persistence and query efficiency. A cluster structure is designed to divide the data of the whole catalog and store them together, according to the characteristics of astronomical requirements. A query engine based on index table is designed to query the catalog data from cache and star cluster at a lower cost. The experimental results show that the current scheme can meet the requirements of GWAC.
【作者單位】： 中國人民大學信息學院;清華大學計算機科學與技術(shù)系;中國科學院國家天文臺;
【基金】：國家重點研發(fā)計劃項目(2016YFB1000602)~~
【分類號】：P11;TP311.13
【正文快照】： 隨著各種最新觀測技術(shù)的出現(xiàn),天文領(lǐng)域迎來了信息爆炸的時代,而該時代的第一波浪潮就是天文大數(shù)據(jù)的管理.進入21世紀,天文學已經(jīng)進入了一個信息豐富的大數(shù)據(jù)時代,天文數(shù)據(jù)正在以TB量級甚至PB量級的速度快速增長.2000年斯隆數(shù)字巡天(Sloan digital sky survey,SDSS)項目啟動時,

【相似文獻】

相關(guān)期刊論文 前10條

1 鄭偉平;;基于局部供求平衡的P2P流媒體數(shù)據(jù)緩存[J];華南師范大學學報(自然科學版);2013年04期

2 謝強;于雅麗;丁秋林;;基于對象池和數(shù)據(jù)緩存技術(shù)的Web-OLAP系統(tǒng)[J];應用科學學報;2007年02期

3 何清;;大數(shù)據(jù)與云計算[J];科技促進發(fā)展;2014年01期

4 劉珍;李運樓;;ADO.NET DataSet中數(shù)據(jù)的訪問與修改[J];科技廣場;2007年03期

5 李濱;侯小牛;常德海;陳欣;;.Net環(huán)境下空間數(shù)據(jù)緩存方案的設(shè)計與實現(xiàn)[J];海洋測繪;2009年03期

6 施為;;Web應用程序中的數(shù)據(jù)緩存技術(shù)分析[J];淮陰師范學院學報(自然科學版);2006年04期

7 劉禹;吳彥波;孟廣仕;;一種鎖無關(guān)的數(shù)據(jù)緩存方法[J];黑龍江科技信息;2012年23期

8 陸鋒;張恒才;;大數(shù)據(jù)與廣義GIS[J];武漢大學學報(信息科學版);2014年06期

9 王欣;周南;邱小彬;;JCS數(shù)據(jù)緩存技術(shù)在動態(tài)Web系統(tǒng)中的應用[J];中山大學學報(自然科學版);2009年S1期

10 董衛(wèi)華;劉紀平;郭慶勝;;基于.Net平臺和Web Service技術(shù)的政府GIS的構(gòu)建[J];遼寧工程技術(shù)大學學報;2007年05期

相關(guān)會議論文 前3條

1 石磊;陳曉敏;朱巖;李昆;;基于SDRAM的高速數(shù)據(jù)緩存的FPGA控制實現(xiàn)[A];第二十三屆全國空間探測學術(shù)交流會論文摘要集[C];2010年

2 孫凌;高西奇;;FUTURE系統(tǒng)中MT側(cè)RLC層的設(shè)計與實現(xiàn)[A];2006北京地區(qū)高校研究生學術(shù)交流會——通信與信息技術(shù)會議論文集（上）[C];2006年

3 蔡海興;符影杰;;基于Windows CE串行通信實現(xiàn)現(xiàn)場抄表[A];全國自動化新技術(shù)學術(shù)交流會會議論文集（一）[C];2005年

相關(guān)重要報紙文章 前6條

1 王志強;銀行應用系統(tǒng)間的數(shù)據(jù)交換[N];計算機世界;2005年

2 陳代壽;網(wǎng)管不言愁[N];中國計算機報;2000年

3 本報記者 諶力;整合 從實時數(shù)據(jù)處理開始[N];網(wǎng)絡(luò)世界;2004年

4 易成;平安在上海深圳設(shè)立數(shù)據(jù)中心[N];中國保險報;2004年

5 ;數(shù)據(jù)庫的動態(tài)性能調(diào)優(yōu)[N];計算機世界;2002年

6 子言 王春秋 本報記者 姚睿;智能手機“芯”情報告[N];計算機世界;2003年

相關(guān)博士學位論文 前3條

1 殷君茹;分布式并行環(huán)境下林地落界數(shù)據(jù)快速統(tǒng)計技術(shù)研究[D];中國林業(yè)科學研究院;2015年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學;2013年

3 苗艷超;數(shù)字視頻服務(wù)關(guān)鍵技術(shù)研究[D];中國科學院研究生院（計算技術(shù)研究所）;2004年

相關(guān)碩士學位論文 前10條

1 譚云;數(shù)據(jù)命名網(wǎng)絡(luò)上的一種存儲高效可并行的數(shù)據(jù)名查找方案[D];暨南大學;2015年

2 劉汀枝;基于Coherence的債券數(shù)據(jù)緩存服務(wù)系統(tǒng)設(shè)計[D];復旦大學;2014年

3 周學安;基于IEEE1394b數(shù)據(jù)光傳輸模塊研制[D];哈爾濱工業(yè)大學;2015年

4 覃馨;基于最終一致性的數(shù)據(jù)緩存策略研究與設(shè)計[D];大連海事大學;2015年

5 周瓊;基于大數(shù)據(jù)的新聞管理系統(tǒng)的設(shè)計與實現(xiàn)[D];復旦大學;2014年

6 趙亞芳;高速可定時數(shù)據(jù)合成模塊設(shè)計[D];電子科技大學;2014年

7 任亮;油氣田鉆采數(shù)據(jù)轉(zhuǎn)換系統(tǒng)的設(shè)計與實現(xiàn)研究及實現(xiàn)[D];中國科學院大學(工程管理與信息技術(shù)學院);2015年

8 趙振東;定向互聯(lián)網(wǎng)站點數(shù)據(jù)爬蟲及應用服務(wù)接口的設(shè)計與實現(xiàn)[D];南京大學;2014年

9 楊光陽;基于FPGA的硬件千兆網(wǎng)絡(luò)通信設(shè)計[D];電子科技大學;2015年

10 張彥怡;房地局統(tǒng)一數(shù)據(jù)服務(wù)平臺系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學;2014年

，

本文編號：1417701