基于HBase的HLS-Ⅱ數(shù)據(jù)存檔與檢索系統(tǒng)開發(fā)
發(fā)布時間:2022-12-23 03:48
HLS-Ⅱ(Hefei Light Source-Ⅱ)是以真空紫外和軟X射線為主的專用同步輻射光源,其歷史數(shù)據(jù)的檢索速度對于性能分析和故障診斷至關重要,因此設計并開發(fā)了基于HBase的數(shù)據(jù)存檔與檢索系統(tǒng)(HBase-base Data Archiving and Retrieving System,HDARS),以提高歷史數(shù)據(jù)的檢索速度。HDARS中設計了一個數(shù)據(jù)抽取算法在存檔過程中以不同的時間粒度抽取原始數(shù)據(jù)中的特征數(shù)據(jù)。原始數(shù)據(jù)和特征數(shù)據(jù)分別存入到HBase的原始數(shù)據(jù)表和冗余數(shù)據(jù)表中,當查詢長期的歷史數(shù)據(jù)時,HDARS將根據(jù)查詢數(shù)據(jù)的時間范圍來計算合適的時間粒度,并從冗余數(shù)據(jù)表中檢索、返回具有此粒度的特征數(shù)據(jù)。該系統(tǒng)自投入運行以來,性能穩(wěn)定,可以在1 s內響應任意時間范圍的查詢請求,完全滿足了用戶對HLS-Ⅱ歷史數(shù)據(jù)查詢需求。這種設計以較小的冗余存儲空間為代價,完全解決了長期歷史數(shù)據(jù)檢索速度慢的問題。
【文章頁數(shù)】:5 頁
【文章目錄】:
1 HDARS系統(tǒng)架構
2 HBase數(shù)據(jù)存儲
3 數(shù)據(jù)查詢與可視化
4 結語
【參考文獻】:
期刊論文
[1]基于大數(shù)據(jù)平臺的EPICS歷史數(shù)據(jù)歸檔系統(tǒng)[J]. 李嘉曾,韓利峰,李丹清,黃文博,吳麗梅,張立園. 核技術. 2019(11)
[2]Automatic data archiving and visualization at HLS-Ⅱ[J]. Yi-Fan Song,Chuan Li,Ke Xuan,Gong-Fa Liu. Nuclear Science and Techniques. 2018(09)
[3]基于Archiver Appliance的束線數(shù)據(jù)管理系統(tǒng)[J]. 趙子龍,徐慧超,龔培榮. 核技術. 2018(03)
[4]HLS-Ⅱ儲存環(huán)束流清洗狀況[J]. 文鵬權,宋一凡,李兵,宣科,劉功發(fā). 核技術. 2015(10)
碩士論文
[1]HLS-Ⅱ歷史數(shù)據(jù)查詢與分析系統(tǒng)[D]. 文鵬權.中國科學技術大學 2016
本文編號:3724655
【文章頁數(shù)】:5 頁
【文章目錄】:
1 HDARS系統(tǒng)架構
2 HBase數(shù)據(jù)存儲
3 數(shù)據(jù)查詢與可視化
4 結語
【參考文獻】:
期刊論文
[1]基于大數(shù)據(jù)平臺的EPICS歷史數(shù)據(jù)歸檔系統(tǒng)[J]. 李嘉曾,韓利峰,李丹清,黃文博,吳麗梅,張立園. 核技術. 2019(11)
[2]Automatic data archiving and visualization at HLS-Ⅱ[J]. Yi-Fan Song,Chuan Li,Ke Xuan,Gong-Fa Liu. Nuclear Science and Techniques. 2018(09)
[3]基于Archiver Appliance的束線數(shù)據(jù)管理系統(tǒng)[J]. 趙子龍,徐慧超,龔培榮. 核技術. 2018(03)
[4]HLS-Ⅱ儲存環(huán)束流清洗狀況[J]. 文鵬權,宋一凡,李兵,宣科,劉功發(fā). 核技術. 2015(10)
碩士論文
[1]HLS-Ⅱ歷史數(shù)據(jù)查詢與分析系統(tǒng)[D]. 文鵬權.中國科學技術大學 2016
本文編號:3724655
本文鏈接:http://sikaile.net/kejilunwen/wulilw/3724655.html
最近更新
教材專著