基于SpringBoot的EAST實驗數(shù)據(jù)存儲監(jiān)控系統(tǒng)
發(fā)布時間:2020-12-15 22:52
隨著EAST實驗的不斷進行,會產生大量的實驗數(shù)據(jù)、診斷數(shù)據(jù)以及工程數(shù)據(jù),并且實時存儲在MDSplus(Model Drive System Plus)服務器上,目前存儲規(guī)模已達PB級別,但是存放在MDSplus服務器文件系統(tǒng)中的數(shù)據(jù)文件數(shù)量龐大、存放位置雜亂無章、分布不均、摻雜著很多無效文件且無可靠監(jiān)控,容易造成數(shù)據(jù)缺失或者重復且無從查漏的現(xiàn)象,并且統(tǒng)計子實驗的存儲量、信號量大小仍需要通過傳統(tǒng)linux下命令行的方式,操作雜糅,不具便捷性,此時,數(shù)據(jù)存儲狀態(tài)和用戶行為的監(jiān)控變得尤為重要,因此需要在現(xiàn)有的MDSplus存儲服務器上搭建一個EAST實驗數(shù)據(jù)存儲監(jiān)控系統(tǒng),可以對這些數(shù)據(jù)文件進行集中管理監(jiān)控,快速統(tǒng)計分析每次實驗數(shù)據(jù)的有效信息,幫助預測實驗的發(fā)展趨勢,并且可對實驗異常狀態(tài)及時預警,有效防止數(shù)據(jù)出現(xiàn)丟失或者溢出的情況。本文介紹EAST實驗數(shù)據(jù)存儲監(jiān)控系統(tǒng)的設計與實現(xiàn),并對完善系統(tǒng)功能做出規(guī)劃。系統(tǒng)體系結構包括EPICS+Linux驅動層、數(shù)據(jù)監(jiān)聽層、數(shù)據(jù)處理層、統(tǒng)計分析層、顯示層、功能層六個部分,每一層都提供了相應的接口,降低了系統(tǒng)的耦合程度。系統(tǒng)通過對MDSplus服務器磁盤上...
【文章來源】:中國科學技術大學安徽省 211工程院校 985工程院校
【文章頁數(shù)】:77 頁
【學位級別】:碩士
【部分圖文】:
圖2.1?Spring框架模塊圖??Spring框架有很多優(yōu)點,例如:??9??
?數(shù)據(jù)更新接口?數(shù)據(jù)駟除接口?敗據(jù)S置搽口??^????r?廠―?—_.—?、??數(shù)據(jù)處理層?參數(shù)映射?SQL*?析?SQL執(zhí)行?結果映射??參數(shù)映射配置?SQL獲取?SimpleExecutor?結果映射配置??參數(shù)映射解析??娜?-一???結果類型轉換??參*類型解析?動態(tài)SQL?ReuseExecutor?結果》據(jù)拷貝?????1?^??基{出支攛層?連接管理?亊務管理?配置加載?《存管現(xiàn)??配置框架??vk???圖2.2?MyBatis結構框架圖??MyBatis框架架構流程如下:??1.配置加載。首先,MyBatis從配置文件和源代碼注解中獲。樱眩虜(shù)據(jù)庫的相??關配置信息,包括參數(shù)映射配置、SQL代碼、結果映射。之后,將配置信息??轉化為MappedStatement對象并存儲于內存中。??2.?SQL語句解析。一般來說數(shù)據(jù)的調用請求和SQL語句的ID信息會由接口??層接收。之后,MyBatis依據(jù)相關的ID信息找到相應的MappedStatement對??象并進行解析,最終得到SQL語句和參數(shù)。??3.執(zhí)行SQL語句。根據(jù)第1、2步得到的SQL語句和相關參數(shù),對數(shù)據(jù)進行??相應操作,得到滿足要求的結果。??4.結果映射。根據(jù)第三步得到的SQL執(zhí)行結果,按照相應的映射轉換成合理??的數(shù)據(jù)類型(如HashMap、JavaBean或基本數(shù)據(jù)類型等),之后,返回最終??結果間。??2.?3?Nginx?介紹??考慮到本文系統(tǒng)的功能需求,在Web開發(fā)方面,我們選擇了?Nginx服務器,??Nginx?(又稱?engine?x)是一款基于?REST?
來實現(xiàn)負載均衡,下面??簡單介紹這部分的實現(xiàn)原理及其步驟[15]。??(1)反向代理??介紹反向代理之前,需要先介紹正向代理的含義及應用場景。正向代理是用??戶最常接觸到的代理模式。當國內用戶需要訪問一些國外網站,由于延遲、服務??器位置、審查機制等原因,經常無法正常訪問,此時可以通過操作FQ來實現(xiàn)訪??問。FQ即將訪問網站的請求先發(fā)送給國外網站的代理服務器,并由其代為訪問,??之后將獲得數(shù)據(jù)發(fā)送給國內的設備,此時就完成了一個代理訪問,我們將這樣的??網站訪問流程稱為正向代理,如圖2.3所示。正向代理的特點之一是可以屏蔽或??隱藏客戶端的信息,因為正向代理過程中服務器無法從具體的客戶端獲取訪問請??求,只能獲取來自代理服務器的請求。這樣的規(guī)則導致了客戶端明確服務器信息,??而服務器卻無法獲取客戶端信息。??正向代理??Client?LAN??I??mmmm?mmmm??|?■■■?/■■■I?;?■■■??:??Client??圖2.3?Ngiruc正向代理模式圖??與此形成對比的是反向代理的處理方式。反向代理通常應用于高訪問量網站,??比如淘寶網,淘寶網(taobao.com)日訪問人數(shù)遠遠超過了單個服務器的承載能??力,為了滿足多個同時發(fā)生的訪問請求,開發(fā)者只能選擇通過部署多臺服務器來??解決訪問人數(shù)限制的問題,即分布式部署。在分布式部署中,有多個客戶端發(fā)送??訪問請求,服務器接收后,將請求按一定規(guī)則傳輸至后端處理。在此過程中,客??13??
【參考文獻】:
期刊論文
[1]EAST實驗數(shù)據(jù)管理系統(tǒng)的設計與實現(xiàn)[J]. 王月婷,王華忠,王楓,劉鴻,章琦皓. 儀表技術. 2018(11)
[2]基于大數(shù)據(jù)技術的EAST實驗數(shù)據(jù)訪問日志分析系統(tǒng)的設計[J]. 章琦皓,王楓,王月婷. 計算機應用與軟件. 2018(09)
[3]EAST即時通信系統(tǒng)[J]. 王蘭,肖炳甲,袁旗平. 計算機系統(tǒng)應用. 2018(08)
[4]基于WEB開發(fā)中的XML與JSON數(shù)據(jù)傳輸格式研究[J]. 仇小花,秦栓栓,邱果. 信息技術與信息化. 2017(04)
[5]基于AJAX異步傳輸技術與Echarts3技術的動態(tài)數(shù)據(jù)繪圖實現(xiàn)[J]. 鄭幸源,洪親,蔡堅勇,陳順凡,柯俊敏. 軟件導刊. 2017(03)
[6]Spring Boot研究和應用[J]. 王永和,張勁松,鄧安明,周智勛. 信息通信. 2016(10)
[7]基于ECharts的數(shù)據(jù)可視化分析組件設計實現(xiàn)[J]. 王子毅,張春海. 微型機與應用. 2016(14)
[8]基于Spring Boot的web設計與實現(xiàn)[J]. 楊家煒. 輕工科技. 2016(07)
[9]基于Bootstrap響應式Web前端研究[J]. 陳員義,李藝志. 福建電腦. 2015(12)
[10]關于Mybatis持久層框架的應用研究[J]. 榮艷冬. 信息安全與技術. 2015(12)
碩士論文
[1]基于B/S架構的績效考核管理系統(tǒng)設計與實現(xiàn)[D]. 李大為.吉林大學 2018
[2]基于Spring Boot的整車出庫管理系統(tǒng)設計與開發(fā)[D]. 王振宇.南京郵電大學 2018
[3]Oracle數(shù)據(jù)庫監(jiān)控系統(tǒng)的設計與實現(xiàn)[D]. 呂成哲.大連理工大學 2014
[4]科學數(shù)據(jù)價值鑒定研究[D]. 宋文鳳.吉林大學 2013
[5]基于Nginx的安全管理系統(tǒng)的設計與實現(xiàn)[D]. 吳迪.北京郵電大學 2013
本文編號:2919035
【文章來源】:中國科學技術大學安徽省 211工程院校 985工程院校
【文章頁數(shù)】:77 頁
【學位級別】:碩士
【部分圖文】:
圖2.1?Spring框架模塊圖??Spring框架有很多優(yōu)點,例如:??9??
?數(shù)據(jù)更新接口?數(shù)據(jù)駟除接口?敗據(jù)S置搽口??^????r?廠―?—_.—?、??數(shù)據(jù)處理層?參數(shù)映射?SQL*?析?SQL執(zhí)行?結果映射??參數(shù)映射配置?SQL獲取?SimpleExecutor?結果映射配置??參數(shù)映射解析??娜?-一???結果類型轉換??參*類型解析?動態(tài)SQL?ReuseExecutor?結果》據(jù)拷貝?????1?^??基{出支攛層?連接管理?亊務管理?配置加載?《存管現(xiàn)??配置框架??vk???圖2.2?MyBatis結構框架圖??MyBatis框架架構流程如下:??1.配置加載。首先,MyBatis從配置文件和源代碼注解中獲。樱眩虜(shù)據(jù)庫的相??關配置信息,包括參數(shù)映射配置、SQL代碼、結果映射。之后,將配置信息??轉化為MappedStatement對象并存儲于內存中。??2.?SQL語句解析。一般來說數(shù)據(jù)的調用請求和SQL語句的ID信息會由接口??層接收。之后,MyBatis依據(jù)相關的ID信息找到相應的MappedStatement對??象并進行解析,最終得到SQL語句和參數(shù)。??3.執(zhí)行SQL語句。根據(jù)第1、2步得到的SQL語句和相關參數(shù),對數(shù)據(jù)進行??相應操作,得到滿足要求的結果。??4.結果映射。根據(jù)第三步得到的SQL執(zhí)行結果,按照相應的映射轉換成合理??的數(shù)據(jù)類型(如HashMap、JavaBean或基本數(shù)據(jù)類型等),之后,返回最終??結果間。??2.?3?Nginx?介紹??考慮到本文系統(tǒng)的功能需求,在Web開發(fā)方面,我們選擇了?Nginx服務器,??Nginx?(又稱?engine?x)是一款基于?REST?
來實現(xiàn)負載均衡,下面??簡單介紹這部分的實現(xiàn)原理及其步驟[15]。??(1)反向代理??介紹反向代理之前,需要先介紹正向代理的含義及應用場景。正向代理是用??戶最常接觸到的代理模式。當國內用戶需要訪問一些國外網站,由于延遲、服務??器位置、審查機制等原因,經常無法正常訪問,此時可以通過操作FQ來實現(xiàn)訪??問。FQ即將訪問網站的請求先發(fā)送給國外網站的代理服務器,并由其代為訪問,??之后將獲得數(shù)據(jù)發(fā)送給國內的設備,此時就完成了一個代理訪問,我們將這樣的??網站訪問流程稱為正向代理,如圖2.3所示。正向代理的特點之一是可以屏蔽或??隱藏客戶端的信息,因為正向代理過程中服務器無法從具體的客戶端獲取訪問請??求,只能獲取來自代理服務器的請求。這樣的規(guī)則導致了客戶端明確服務器信息,??而服務器卻無法獲取客戶端信息。??正向代理??Client?LAN??I??mmmm?mmmm??|?■■■?/■■■I?;?■■■??:??Client??圖2.3?Ngiruc正向代理模式圖??與此形成對比的是反向代理的處理方式。反向代理通常應用于高訪問量網站,??比如淘寶網,淘寶網(taobao.com)日訪問人數(shù)遠遠超過了單個服務器的承載能??力,為了滿足多個同時發(fā)生的訪問請求,開發(fā)者只能選擇通過部署多臺服務器來??解決訪問人數(shù)限制的問題,即分布式部署。在分布式部署中,有多個客戶端發(fā)送??訪問請求,服務器接收后,將請求按一定規(guī)則傳輸至后端處理。在此過程中,客??13??
【參考文獻】:
期刊論文
[1]EAST實驗數(shù)據(jù)管理系統(tǒng)的設計與實現(xiàn)[J]. 王月婷,王華忠,王楓,劉鴻,章琦皓. 儀表技術. 2018(11)
[2]基于大數(shù)據(jù)技術的EAST實驗數(shù)據(jù)訪問日志分析系統(tǒng)的設計[J]. 章琦皓,王楓,王月婷. 計算機應用與軟件. 2018(09)
[3]EAST即時通信系統(tǒng)[J]. 王蘭,肖炳甲,袁旗平. 計算機系統(tǒng)應用. 2018(08)
[4]基于WEB開發(fā)中的XML與JSON數(shù)據(jù)傳輸格式研究[J]. 仇小花,秦栓栓,邱果. 信息技術與信息化. 2017(04)
[5]基于AJAX異步傳輸技術與Echarts3技術的動態(tài)數(shù)據(jù)繪圖實現(xiàn)[J]. 鄭幸源,洪親,蔡堅勇,陳順凡,柯俊敏. 軟件導刊. 2017(03)
[6]Spring Boot研究和應用[J]. 王永和,張勁松,鄧安明,周智勛. 信息通信. 2016(10)
[7]基于ECharts的數(shù)據(jù)可視化分析組件設計實現(xiàn)[J]. 王子毅,張春海. 微型機與應用. 2016(14)
[8]基于Spring Boot的web設計與實現(xiàn)[J]. 楊家煒. 輕工科技. 2016(07)
[9]基于Bootstrap響應式Web前端研究[J]. 陳員義,李藝志. 福建電腦. 2015(12)
[10]關于Mybatis持久層框架的應用研究[J]. 榮艷冬. 信息安全與技術. 2015(12)
碩士論文
[1]基于B/S架構的績效考核管理系統(tǒng)設計與實現(xiàn)[D]. 李大為.吉林大學 2018
[2]基于Spring Boot的整車出庫管理系統(tǒng)設計與開發(fā)[D]. 王振宇.南京郵電大學 2018
[3]Oracle數(shù)據(jù)庫監(jiān)控系統(tǒng)的設計與實現(xiàn)[D]. 呂成哲.大連理工大學 2014
[4]科學數(shù)據(jù)價值鑒定研究[D]. 宋文鳳.吉林大學 2013
[5]基于Nginx的安全管理系統(tǒng)的設計與實現(xiàn)[D]. 吳迪.北京郵電大學 2013
本文編號:2919035
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/2919035.html
最近更新
教材專著