本文選題：高能物理　切入點：數(shù)據(jù)管理　出處：《計算機研究與發(fā)展》2017年02期

【摘要】：新一代高能物理實驗裝置的建成與運行,產(chǎn)生了PB乃至EB量級的數(shù)據(jù),這對數(shù)據(jù)采集、存儲、傳輸與共享、分析與處理等數(shù)據(jù)管理技術(shù)提出了巨大挑戰(zhàn).事例是高能物理實驗的基本數(shù)據(jù)單元,一次大型實驗即可產(chǎn)生萬億級的事例.傳統(tǒng)高能物理數(shù)據(jù)處理以ROOT文件為基本存儲和處理單位,每個ROOT文件可以包含數(shù)千至數(shù)億個事例.這種基于文件的處理方式雖然降低了高能物理數(shù)據(jù)管理系統(tǒng)的開發(fā)難度,但物理分析僅對極少量的稀有事例感興趣,這導(dǎo)致了數(shù)據(jù)傳輸量大、I?O瓶頸以及數(shù)據(jù)處理效率低等問題.提出一種面向事例的高能物理數(shù)據(jù)管理方法,重點研究海量事例特征高效索引技術(shù).在這種方法中,將物理學(xué)家感興趣的事例的特征量抽取出來建立專門的索引,存儲在NoSQL數(shù)據(jù)庫中.為便于物理分析處理,事例的原始數(shù)據(jù)仍然存放在ROOT文件中.最后,通過系統(tǒng)驗證和分析表明,基于事例特征索引進行事例篩選是可行的,優(yōu)化后的HBase系統(tǒng)可以滿足事例索引的需求.
[Abstract]:The establishment and operation of a new generation of high-energy physics experimental devices have produced PB and EB order of magnitude data, which poses a great challenge to data acquisition, storage, transmission and sharing, analysis and processing and other data management technology.Example is the basic data unit of high energy physics experiment. A large experiment can produce trillion-scale examples.Traditional high energy physical data processing takes ROOT file as the basic storage and processing unit. Each ROOT file can contain thousands to hundreds of millions of examples.Although this kind of file-based processing method reduces the difficulty of developing high energy physics data management system, physical analysis is only interested in a few rare cases, which leads to the bottleneck of large amount of data transmission and the low efficiency of data processing.A case oriented high energy physics data management method is proposed.In this method, the features of the case of interest to physicists are extracted to build a special index and stored in the NoSQL database.For ease of physical analysis, the raw data of the case is still stored in the ROOT file.Finally, the system verification and analysis show that case filtering based on case feature index is feasible, and the optimized HBase system can meet the needs of case index.
【作者單位】： 中國科學(xué)院高能物理研究所;西安交通大學(xué)計算機科學(xué)與技術(shù)系;中國科學(xué)院計算技術(shù)研究所;中國科學(xué)院信息工程研究所;
【基金】：國家重點研發(fā)計劃項目(2016YFB1000604)~~
【分類號】：O572;TP315

【相似文獻】

相關(guān)期刊論文 前10條

1 鄭偉平;;基于局部供求平衡的P2P流媒體數(shù)據(jù)緩存[J];華南師范大學(xué)學(xué)報(自然科學(xué)版);2013年04期

2 謝強;于雅麗;丁秋林;;基于對象池和數(shù)據(jù)緩存技術(shù)的Web-OLAP系統(tǒng)[J];應(yīng)用科學(xué)學(xué)報;2007年02期

3 何清;;大數(shù)據(jù)與云計算[J];科技促進發(fā)展;2014年01期

4 劉珍;李運樓;;ADO.NET DataSet中數(shù)據(jù)的訪問與修改[J];科技廣場;2007年03期

5 李濱;侯小牛;常德海;陳欣;;.Net環(huán)境下空間數(shù)據(jù)緩存方案的設(shè)計與實現(xiàn)[J];海洋測繪;2009年03期

6 施為;;Web應(yīng)用程序中的數(shù)據(jù)緩存技術(shù)分析[J];淮陰師范學(xué)院學(xué)報(自然科學(xué)版);2006年04期

7 劉禹;吳彥波;孟廣仕;;一種鎖無關(guān)的數(shù)據(jù)緩存方法[J];黑龍江科技信息;2012年23期

8 陸鋒;張恒才;;大數(shù)據(jù)與廣義GIS[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2014年06期

9 王欣;周南;邱小彬;;JCS數(shù)據(jù)緩存技術(shù)在動態(tài)Web系統(tǒng)中的應(yīng)用[J];中山大學(xué)學(xué)報(自然科學(xué)版);2009年S1期

10 董衛(wèi)華;劉紀(jì)平;郭慶勝;;基于.Net平臺和Web Service技術(shù)的政府GIS的構(gòu)建[J];遼寧工程技術(shù)大學(xué)學(xué)報;2007年05期

相關(guān)會議論文 前3條

1 石磊;陳曉敏;朱巖;李昆;;基于SDRAM的高速數(shù)據(jù)緩存的FPGA控制實現(xiàn)[A];第二十三屆全國空間探測學(xué)術(shù)交流會論文摘要集[C];2010年

2 孫凌;高西奇;;FUTURE系統(tǒng)中MT側(cè)RLC層的設(shè)計與實現(xiàn)[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會——通信與信息技術(shù)會議論文集（上）[C];2006年

3 蔡海興;符影杰;;基于Windows CE串行通信實現(xiàn)現(xiàn)場抄表[A];全國自動化新技術(shù)學(xué)術(shù)交流會會議論文集（一）[C];2005年

相關(guān)重要報紙文章 前6條

1 王志強;銀行應(yīng)用系統(tǒng)間的數(shù)據(jù)交換[N];計算機世界;2005年

2 陳代壽;網(wǎng)管不言愁[N];中國計算機報;2000年

3 本報記者 諶力;整合 從實時數(shù)據(jù)處理開始[N];網(wǎng)絡(luò)世界;2004年

4 易成;平安在上海深圳設(shè)立數(shù)據(jù)中心[N];中國保險報;2004年

5 ;數(shù)據(jù)庫的動態(tài)性能調(diào)優(yōu)[N];計算機世界;2002年

6 子言 王春秋 本報記者 姚睿;智能手機“芯”情報告[N];計算機世界;2003年

相關(guān)博士學(xué)位論文 前3條

1 殷君茹;分布式并行環(huán)境下林地落界數(shù)據(jù)快速統(tǒng)計技術(shù)研究[D];中國林業(yè)科學(xué)研究院;2015年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 苗艷超;數(shù)字視頻服務(wù)關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2004年

相關(guān)碩士學(xué)位論文 前10條

1 譚云;數(shù)據(jù)命名網(wǎng)絡(luò)上的一種存儲高效可并行的數(shù)據(jù)名查找方案[D];暨南大學(xué);2015年

2 劉汀枝;基于Coherence的債券數(shù)據(jù)緩存服務(wù)系統(tǒng)設(shè)計[D];復(fù)旦大學(xué);2014年

3 周學(xué)安;基于IEEE1394b數(shù)據(jù)光傳輸模塊研制[D];哈爾濱工業(yè)大學(xué);2015年

4 覃馨;基于最終一致性的數(shù)據(jù)緩存策略研究與設(shè)計[D];大連海事大學(xué);2015年

5 周瓊;基于大數(shù)據(jù)的新聞管理系統(tǒng)的設(shè)計與實現(xiàn)[D];復(fù)旦大學(xué);2014年

6 趙亞芳;高速可定時數(shù)據(jù)合成模塊設(shè)計[D];電子科技大學(xué);2014年

7 任亮;油氣田鉆采數(shù)據(jù)轉(zhuǎn)換系統(tǒng)的設(shè)計與實現(xiàn)研究及實現(xiàn)[D];中國科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2015年

8 趙振東;定向互聯(lián)網(wǎng)站點數(shù)據(jù)爬蟲及應(yīng)用服務(wù)接口的設(shè)計與實現(xiàn)[D];南京大學(xué);2014年

9 楊光陽;基于FPGA的硬件千兆網(wǎng)絡(luò)通信設(shè)計[D];電子科技大學(xué);2015年

10 張彥怡;房地局統(tǒng)一數(shù)據(jù)服務(wù)平臺系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2014年

，

本文編號：1727946