基于Docker的射電干涉陣軟件系統(tǒng)敏捷封裝與部署
發(fā)布時(shí)間:2021-11-06 17:54
隨著天文技術(shù)的發(fā)展,天文數(shù)據(jù)處理軟件的需求也不斷更迭變化,導(dǎo)致軟件運(yùn)行環(huán)境漸趨復(fù)雜。對(duì)于開發(fā)者和使用者,急需提出一種對(duì)復(fù)雜天文數(shù)據(jù)處理軟件敏捷化封裝和部署的方法。我國(guó)明安圖射電頻譜日像儀已進(jìn)入常規(guī)觀測(cè),與之配套的數(shù)據(jù)處理軟件也已完成開發(fā)并投入使用。由于該軟件的部署涉及操作系統(tǒng)環(huán)境、圖形處理器運(yùn)行環(huán)境及底層依賴軟件等配置問(wèn)題,導(dǎo)致安裝過(guò)程既繁瑣又容易出錯(cuò)。結(jié)合容器技術(shù)的特點(diǎn),提出了一種基于Docker容器對(duì)日像儀軟件系統(tǒng)進(jìn)行敏捷封裝與部署的方法,并對(duì)該方法的設(shè)計(jì)進(jìn)行介紹,通過(guò)實(shí)驗(yàn)驗(yàn)證了其可用性,以及相比于傳統(tǒng)虛擬機(jī)可獲得較優(yōu)異的性能表現(xiàn)。該方法可為未來(lái)天文數(shù)據(jù)處理軟件的封裝部署提供參考?梢灶A(yù)見(jiàn),未來(lái)容器技術(shù)將成為天文海量數(shù)據(jù)處理的基礎(chǔ)支撐技術(shù)。
【文章來(lái)源】:天文研究與技術(shù). 2019,16(01)CSCD
【文章頁(yè)數(shù)】:8 頁(yè)
【部分圖文】:
總體框架Fig.1TheOverallFramework3功能與性能測(cè)試
升級(jí)。利用Docker,可直接在原始版本的鏡像啟動(dòng)的容器中進(jìn)行軟件更新和環(huán)境升級(jí)操作,再將測(cè)試好的容器提交為新版本鏡像發(fā)布,從而實(shí)現(xiàn)對(duì)軟件版本的敏捷化管理。3.2可用性在主機(jī)負(fù)載不高的情況下,鏡像文件可以在數(shù)秒內(nèi)完成啟動(dòng)。主機(jī)可以通過(guò)容器默認(rèn)開放TCP的22號(hào)端口與容器進(jìn)行通訊,用戶也可根據(jù)需求指定為其他的端口。Docker啟動(dòng)時(shí)在主機(jī)默認(rèn)生成docker0網(wǎng)卡,所有的容器經(jīng)docker0網(wǎng)卡發(fā)出數(shù)據(jù),保證其網(wǎng)絡(luò)可用性。Docker啟動(dòng)狀態(tài)、容器狀態(tài)以及docker0網(wǎng)卡信息如圖2。圖2Docker容器及網(wǎng)卡的狀態(tài)Fig.2ThestatusofDockercontainerandnetworkcard3.3性能測(cè)試在不同平臺(tái)下對(duì)明安圖射電頻譜日像儀軟件系統(tǒng)分別進(jìn)行性能測(cè)試,并進(jìn)行比較。軟件系統(tǒng)可對(duì)觀測(cè)到的可見(jiàn)度數(shù)據(jù)進(jìn)行預(yù)處理,導(dǎo)出UVFITS數(shù)據(jù)文件,并通過(guò)潔化算法進(jìn)行潔化,生成臟圖和潔圖,其中潔化處理運(yùn)算量較大,對(duì)系統(tǒng)性能的要求較高,因此本實(shí)驗(yàn)選擇比較潔化處理的時(shí)間?紤]到Docker本身是一種虛擬化技術(shù),以及公有云在虛擬機(jī)中使用Docker的用法現(xiàn)狀,因此除物理主機(jī)外,我們將加入虛擬機(jī)和基于虛擬機(jī)上的Docker容器作為實(shí)驗(yàn)平臺(tái),分別與物理主機(jī)上的Docker容器進(jìn)行性能對(duì)比;谝陨嫌懻摚瑢(shí)驗(yàn)中把軟件系統(tǒng)分別搭建于物理機(jī)、Docker容器、虛擬機(jī)以及虛擬機(jī)上的Docker4種平臺(tái)上,然后分別進(jìn)行潔化處理并記錄各自執(zhí)行時(shí)間,最后進(jìn)行比較。目前潔化算法已經(jīng)分別在CUDA和OpenCL環(huán)境下實(shí)現(xiàn)[9-10],實(shí)驗(yàn)在兩種計(jì)算模式下分別進(jìn)行。實(shí)驗(yàn)中使用KVM虛擬機(jī),它是基于Linux內(nèi)核(Kernel-based)的虛擬機(jī)。KVM支持通過(guò)透?jìng)?passthrough)方式在虛擬機(jī)?
1期余程嶸等:基于Docker的射電干涉陣軟件系統(tǒng)敏捷封裝與部署為實(shí)驗(yàn)平臺(tái);(3)在兩個(gè)平臺(tái)組中分別進(jìn)行基于潔化算法生成512×512像素和1024×1024像素的潔圖的實(shí)驗(yàn),并分別記錄執(zhí)行10次的時(shí)間;(4)相同計(jì)算模式下,首先比較各平臺(tái)組內(nèi)基于Docker容器和裸機(jī)下生成相同像素潔圖的平均時(shí)間,然后比較物理主機(jī)組和虛擬主機(jī)組生成相同像素潔圖的平均時(shí)間。表1實(shí)驗(yàn)環(huán)境Table1Thelabenvironment硬件環(huán)境32G內(nèi)存,硬盤容量800GBGPU設(shè)備NVIDIACorporationGM200[GeForceGTXTITANX]12GBCPU設(shè)備Intel(R)Xeon(R)CPUE5-2630v2@2.60GHz軟件環(huán)境MUSER1.0.0-REL(r1),docker17.03.1-ceCUDA版本NVIDIACUDArelease7.5,V7.5.17OpenCL版本OpenCL1.2LINUXKVM版本qemu-kvm-1.5.3-141.el7_4.2系統(tǒng)版本CentOSLinux7(Core),Kernel3.10.0-327.el7.x86_64實(shí)驗(yàn)結(jié)果如圖3和圖4。圖3OpenCL+CPU下不同主機(jī)的潔化時(shí)間對(duì)比Fig.3TimeperformancecomparisonbetweendifferenthostsbasedonOpenCL+CPU721
【參考文獻(xiàn)】:
期刊論文
[1]MUSER的負(fù)數(shù)據(jù)庫(kù)接口設(shè)計(jì)與實(shí)現(xiàn)[J]. 石聰明,張曉麗,王鋒,戴偉,楊秋萍. 天文研究與技術(shù). 2018(02)
[2]基于OpenCL的MUSER CLEAN算法研究與實(shí)現(xiàn)[J]. 馮勇,陳坤,鄧輝,王鋒,梅盈,衛(wèi)守林,戴偉,楊秋萍,劉應(yīng)波,吳靜平. 天文學(xué)報(bào). 2017(02)
[3]基于MPI的高性能UVFITS數(shù)據(jù)合成研究與應(yīng)用[J]. 陳泰燃,王威,王鋒,鄧輝,劉應(yīng)波,梅盈. 天文研究與技術(shù). 2016(02)
[4]基于QT的MUSER觀測(cè)數(shù)據(jù)多屏圖形化實(shí)時(shí)顯示的設(shè)計(jì)與實(shí)現(xiàn)[J]. 周鑫磊,王威,王鋒,鄧輝,柳翠寅,胡杰,李少良,王璐璐,周士然. 天文研究與技術(shù). 2015(04)
[5]虛擬計(jì)算環(huán)境中的虛擬網(wǎng)絡(luò)[J]. 蔡志平,陳彬,肖儂,王志英. 計(jì)算機(jī)工程與科學(xué). 2008(11)
本文編號(hào):3480266
【文章來(lái)源】:天文研究與技術(shù). 2019,16(01)CSCD
【文章頁(yè)數(shù)】:8 頁(yè)
【部分圖文】:
總體框架Fig.1TheOverallFramework3功能與性能測(cè)試
升級(jí)。利用Docker,可直接在原始版本的鏡像啟動(dòng)的容器中進(jìn)行軟件更新和環(huán)境升級(jí)操作,再將測(cè)試好的容器提交為新版本鏡像發(fā)布,從而實(shí)現(xiàn)對(duì)軟件版本的敏捷化管理。3.2可用性在主機(jī)負(fù)載不高的情況下,鏡像文件可以在數(shù)秒內(nèi)完成啟動(dòng)。主機(jī)可以通過(guò)容器默認(rèn)開放TCP的22號(hào)端口與容器進(jìn)行通訊,用戶也可根據(jù)需求指定為其他的端口。Docker啟動(dòng)時(shí)在主機(jī)默認(rèn)生成docker0網(wǎng)卡,所有的容器經(jīng)docker0網(wǎng)卡發(fā)出數(shù)據(jù),保證其網(wǎng)絡(luò)可用性。Docker啟動(dòng)狀態(tài)、容器狀態(tài)以及docker0網(wǎng)卡信息如圖2。圖2Docker容器及網(wǎng)卡的狀態(tài)Fig.2ThestatusofDockercontainerandnetworkcard3.3性能測(cè)試在不同平臺(tái)下對(duì)明安圖射電頻譜日像儀軟件系統(tǒng)分別進(jìn)行性能測(cè)試,并進(jìn)行比較。軟件系統(tǒng)可對(duì)觀測(cè)到的可見(jiàn)度數(shù)據(jù)進(jìn)行預(yù)處理,導(dǎo)出UVFITS數(shù)據(jù)文件,并通過(guò)潔化算法進(jìn)行潔化,生成臟圖和潔圖,其中潔化處理運(yùn)算量較大,對(duì)系統(tǒng)性能的要求較高,因此本實(shí)驗(yàn)選擇比較潔化處理的時(shí)間?紤]到Docker本身是一種虛擬化技術(shù),以及公有云在虛擬機(jī)中使用Docker的用法現(xiàn)狀,因此除物理主機(jī)外,我們將加入虛擬機(jī)和基于虛擬機(jī)上的Docker容器作為實(shí)驗(yàn)平臺(tái),分別與物理主機(jī)上的Docker容器進(jìn)行性能對(duì)比;谝陨嫌懻摚瑢(shí)驗(yàn)中把軟件系統(tǒng)分別搭建于物理機(jī)、Docker容器、虛擬機(jī)以及虛擬機(jī)上的Docker4種平臺(tái)上,然后分別進(jìn)行潔化處理并記錄各自執(zhí)行時(shí)間,最后進(jìn)行比較。目前潔化算法已經(jīng)分別在CUDA和OpenCL環(huán)境下實(shí)現(xiàn)[9-10],實(shí)驗(yàn)在兩種計(jì)算模式下分別進(jìn)行。實(shí)驗(yàn)中使用KVM虛擬機(jī),它是基于Linux內(nèi)核(Kernel-based)的虛擬機(jī)。KVM支持通過(guò)透?jìng)?passthrough)方式在虛擬機(jī)?
1期余程嶸等:基于Docker的射電干涉陣軟件系統(tǒng)敏捷封裝與部署為實(shí)驗(yàn)平臺(tái);(3)在兩個(gè)平臺(tái)組中分別進(jìn)行基于潔化算法生成512×512像素和1024×1024像素的潔圖的實(shí)驗(yàn),并分別記錄執(zhí)行10次的時(shí)間;(4)相同計(jì)算模式下,首先比較各平臺(tái)組內(nèi)基于Docker容器和裸機(jī)下生成相同像素潔圖的平均時(shí)間,然后比較物理主機(jī)組和虛擬主機(jī)組生成相同像素潔圖的平均時(shí)間。表1實(shí)驗(yàn)環(huán)境Table1Thelabenvironment硬件環(huán)境32G內(nèi)存,硬盤容量800GBGPU設(shè)備NVIDIACorporationGM200[GeForceGTXTITANX]12GBCPU設(shè)備Intel(R)Xeon(R)CPUE5-2630v2@2.60GHz軟件環(huán)境MUSER1.0.0-REL(r1),docker17.03.1-ceCUDA版本NVIDIACUDArelease7.5,V7.5.17OpenCL版本OpenCL1.2LINUXKVM版本qemu-kvm-1.5.3-141.el7_4.2系統(tǒng)版本CentOSLinux7(Core),Kernel3.10.0-327.el7.x86_64實(shí)驗(yàn)結(jié)果如圖3和圖4。圖3OpenCL+CPU下不同主機(jī)的潔化時(shí)間對(duì)比Fig.3TimeperformancecomparisonbetweendifferenthostsbasedonOpenCL+CPU721
【參考文獻(xiàn)】:
期刊論文
[1]MUSER的負(fù)數(shù)據(jù)庫(kù)接口設(shè)計(jì)與實(shí)現(xiàn)[J]. 石聰明,張曉麗,王鋒,戴偉,楊秋萍. 天文研究與技術(shù). 2018(02)
[2]基于OpenCL的MUSER CLEAN算法研究與實(shí)現(xiàn)[J]. 馮勇,陳坤,鄧輝,王鋒,梅盈,衛(wèi)守林,戴偉,楊秋萍,劉應(yīng)波,吳靜平. 天文學(xué)報(bào). 2017(02)
[3]基于MPI的高性能UVFITS數(shù)據(jù)合成研究與應(yīng)用[J]. 陳泰燃,王威,王鋒,鄧輝,劉應(yīng)波,梅盈. 天文研究與技術(shù). 2016(02)
[4]基于QT的MUSER觀測(cè)數(shù)據(jù)多屏圖形化實(shí)時(shí)顯示的設(shè)計(jì)與實(shí)現(xiàn)[J]. 周鑫磊,王威,王鋒,鄧輝,柳翠寅,胡杰,李少良,王璐璐,周士然. 天文研究與技術(shù). 2015(04)
[5]虛擬計(jì)算環(huán)境中的虛擬網(wǎng)絡(luò)[J]. 蔡志平,陳彬,肖儂,王志英. 計(jì)算機(jī)工程與科學(xué). 2008(11)
本文編號(hào):3480266
本文鏈接:http://sikaile.net/kejilunwen/tianwen/3480266.html
最近更新
教材專著