發(fā)布時間：2018-07-03 20:39

  本文選題：高能物理數(shù)據(jù) + 大數(shù)據(jù)�。� 參考：《計算機工程》2015年06期

【摘要】：高能物理對撞機產(chǎn)生數(shù)百億計的物理事例,而物理分析則是從中選取幾千個有意義的事例,該分析過程是一個典型的大數(shù)據(jù)處理及數(shù)據(jù)挖掘應(yīng)用。由此,設(shè)計高效的數(shù)據(jù)結(jié)構(gòu)、存儲及訪問機制,快速挑選出有意義的物理事例十分重要。介紹事例的數(shù)據(jù)結(jié)構(gòu)、存儲和處理技術(shù),分析高能物理數(shù)據(jù)的特點,提出一種以HBase,ROOT,BEAN及Map Reduce為基礎(chǔ)的新型高能物理數(shù)據(jù)存儲及處理技術(shù)系統(tǒng)。利用HBase存儲數(shù)據(jù)、Map Reduce實現(xiàn)并行處理,選擇ROOT和BEAN作為高能物理分析框架,并給出具體設(shè)計與實現(xiàn)方案。測試結(jié)果表明,與傳統(tǒng)高能物理數(shù)據(jù)存儲系統(tǒng)相比,該系統(tǒng)具有更快的數(shù)據(jù)處理速度,當(dāng)預(yù)篩選服務(wù)生效時能夠更加有效地利用I/O和CPU資源。
[Abstract]:The high-energy physics collider produces tens of billions of physical examples, and the physical analysis is to select thousands of meaningful examples. The analysis process is a typical application of big data processing and data mining. Therefore, it is very important to design efficient data structures, storage and access mechanisms, and quickly select meaningful physical examples. This paper introduces the data structure, storage and processing technology of examples, analyzes the characteristics of high energy physics data, and puts forward a new high energy physics data storage and processing system based on HBaseROOTBEAN and Map reduce. The parallel processing is realized by using HBase storage data mapReduce. Root and beam are selected as the analysis framework of high energy physics, and the concrete design and implementation scheme are given. The test results show that compared with the traditional high-energy physical data storage system, the system has faster data processing speed and can utilize the I / O and CPU resources more effectively when the pre-filter service becomes effective.
【作者單位】： 中國科學(xué)院高能物理研究所;中國科學(xué)院大學(xué);
【基金】：國家自然科學(xué)基金資助項目(11375223,11375221);國家自然科學(xué)基金A3前瞻計劃基金資助項目(61161140454) 國家自然科學(xué)基金委員會-中國科學(xué)院大科學(xué)裝置聯(lián)合基金資助項目(11179020)
【分類號】：TP333

【共引文獻】

相關(guān)期刊論文 前10條

1 李亮;;全臺網(wǎng)環(huán)境下的云視頻素材轉(zhuǎn)碼系統(tǒng)的設(shè)計[J];電視技術(shù);2013年10期

2 鄒青春;;基于云計算環(huán)境的考試數(shù)據(jù)挖掘算法研究[J];信息安全與技術(shù);2013年07期

3 蘇韋;李景文;劉華堯;張海英;歐陽云;;基于MapReduce的時空數(shù)據(jù)模型設(shè)計方法[J];測繪與空間地理信息;2013年07期

4 王蘇衛(wèi);;基于Hadoop和Hive的電信行業(yè)數(shù)據(jù)倉庫研究[J];電子技術(shù)與軟件工程;2013年11期

5 謝峰;;基于Hadoop的云存儲平臺設(shè)計研究[J];電子技術(shù)與軟件工程;2013年16期

6 侯青;徐家喜;吉力;;基于Hadoop的校園教育資源管理系統(tǒng)[J];電腦知識與技術(shù);2014年01期

7 楊關(guān)建;華澤璽;楊彬;;Hadoop平臺在智能變電站中的應(yīng)用研究[J];電源技術(shù)應(yīng)用;2014年03期

8 陳浩;;一種QL腳本的解析模塊的分析研究[J];電腦知識與技術(shù);2014年19期

9 李鋮瀚;何利力;劉淳猛;;煙草企業(yè)基于Hadoop的數(shù)據(jù)處理研究[J];工業(yè)控制計算機;2015年02期

10 崔莉霞;;基于Hadoop的并行聚類算法的研究[J];計算機光盤軟件與應(yīng)用;2014年23期

相關(guān)會議論文 前1條

1 劉世洪;陳濤;鄭火國;胡海燕;王爍;馬濤;;農(nóng)業(yè)產(chǎn)銷匹配:云環(huán)境下的信息推薦平臺[A];中國畜牧獸醫(yī)學(xué)會信息技術(shù)分會2014年學(xué)術(shù)研討會論文集[C];2014年

相關(guān)博士學(xué)位論文 前1條

1 陳思澤;~6LLi(p,γ)~7Be低能反應(yīng)截面的實驗研究[D];中國科學(xué)院研究生院（近代物理研究所）;2014年

相關(guān)碩士學(xué)位論文 前10條

1 徐風(fēng);移動公司云計算平臺原型的構(gòu)建與測試[D];中南大學(xué);2010年

2 廖玉蘭;基于分布式的決策樹方法研究[D];電子科技大學(xué);2011年

3 王毅;基于Hadoop的Slope One及其改進算法實現(xiàn)[D];西南交通大學(xué);2011年

4 李海波;基于MapReduce框架的分布式網(wǎng)絡(luò)爬行器研究[D];哈爾濱工程大學(xué);2011年

5 李倩;基于MapReduce模型的eMTM三維人體模型生成引擎[D];東華大學(xué);2012年

6 李元洪;基于反饋的動態(tài)負(fù)載平衡調(diào)度算法在Hadoop異構(gòu)環(huán)境中的設(shè)計與實現(xiàn)[D];南京理工大學(xué);2012年

7 李輝;基于云計算環(huán)境的web結(jié)構(gòu)挖掘算法研究[D];浙江理工大學(xué);2012年

8 劉范范;MapReduce與量子進化算法的研究及應(yīng)用[D];安徽大學(xué);2012年

9 喬鴻欣;基于MapReduce的KNN分類算法的研究與實現(xiàn)[D];北京交通大學(xué);2012年

10 汪晶晶;基于MapReduce的天文數(shù)據(jù)處理方法與應(yīng)用研究[D];昆明理工大學(xué);2012年

【相似文獻】

相關(guān)期刊論文 前10條

1 朱曉麗;趙志剛;;一種基于HBase的海量圖片存儲技術(shù)[J];信息系統(tǒng)工程;2013年08期

2 王立峰;;HBase數(shù)據(jù)庫中大對象存儲方案的研究[J];電腦知識與技術(shù);2014年23期

3 ;[J];;年期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關(guān)碩士學(xué)位論文 前6條

1 康毅;HBase大對象存儲方案的設(shè)計與實現(xiàn)[D];南京大學(xué);2013年

2 鄒敏昊;基于Lucene的HBase全文檢索功能的設(shè)計與實現(xiàn)[D];南京大學(xué);2013年

3 羅燕新;基于HBASE的列存儲壓縮算法的研究與實現(xiàn)[D];華南理工大學(xué);2011年

4 潘博;基于Hbase、MemcacheQ技術(shù)的民政數(shù)據(jù)管理系統(tǒng)設(shè)計與實現(xiàn)[D];吉林大學(xué);2014年

5 陳志鵬;基于Hbase的并行聚類算法研究及應(yīng)用[D];北京郵電大學(xué);2014年

6 趙磊;基于HBase的本體存儲與查詢的研究[D];華東交通大學(xué);2011年

，

本文編號：2094938