發(fā)布時(shí)間：2018-12-13 02:29

【摘要】：虛擬化技術(shù)作為一種新的資源管理技術(shù),正在高能物理領(lǐng)域得到越來越廣泛的應(yīng)用。靜態(tài)虛擬機(jī)集群方式已經(jīng)逐漸不能滿足多作業(yè)隊(duì)列對于計(jì)算資源動(dòng)態(tài)的需求。為此,實(shí)現(xiàn)了一種云計(jì)算環(huán)境下面向多作業(yè)隊(duì)列的彈性計(jì)算資源管理系統(tǒng)。系統(tǒng)通過高吞吐量計(jì)算系統(tǒng)HTCondor運(yùn)行計(jì)算作業(yè),使用開源的云計(jì)算平臺Openstack管理虛擬計(jì)算節(jié)點(diǎn),給出了一種結(jié)合虛擬資源配額服務(wù),基于雙閾值的彈性資源管理算法,實(shí)現(xiàn)資源池整體伸縮,同時(shí)設(shè)計(jì)了二級緩沖池以提高伸縮效率。目前系統(tǒng)已部署在高能所公共服務(wù)云IHEPCloud上,實(shí)際運(yùn)行結(jié)果表明,當(dāng)計(jì)算資源需求變化時(shí)系統(tǒng)能夠動(dòng)態(tài)調(diào)整各隊(duì)列虛擬計(jì)算節(jié)點(diǎn)數(shù)量,同時(shí)計(jì)算資源的CPU利用率相比傳統(tǒng)的資源管理方式有顯著的提高。
[Abstract]:As a new resource management technology, virtualization technology is more and more widely used in the field of high energy physics. The static virtual machine cluster mode has been unable to meet the demand of multi-job queue for computing resource dynamics. Therefore, a flexible computing resource management system for multiple job queues in cloud computing environment is implemented. The system runs computing jobs through high throughput computing system (HTCondor) and uses open source cloud computing platform (Openstack) to manage virtual computing nodes. An elastic resource management algorithm based on double threshold is presented, which combines virtual resource quota service. The overall expansion of the resource pool is realized, and a two-stage buffer pool is designed to improve the expansion efficiency. At present, the system has been deployed on the public service cloud IHEPCloud of the High Energy Institute. The actual operation results show that the system can dynamically adjust the number of virtual computing nodes in each queue when the demand for computing resources changes. At the same time, the CPU utilization rate of computing resources is significantly improved compared with the traditional resource management method.
【作者單位】： 中國科學(xué)院高能物理研究所;中國科學(xué)院大學(xué);
【基金】：國家自然科學(xué)基金(No.11575223,No.11605223,No.11305192,No.11605224)
【分類號】：TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 黃秋蘭;李莎;程耀東;陳剛;;高能物理計(jì)算環(huán)境中KVM虛擬機(jī)的性能優(yōu)化與應(yīng)用[J];計(jì)算機(jī)科學(xué);2015年01期

2 曹俊;;大亞灣與江門中微子實(shí)驗(yàn)[J];中國科學(xué):物理學(xué) 力學(xué) 天文學(xué);2014年10期

3 程耀東;石京燕;陳剛;;高能物理計(jì)算環(huán)境概述[J];科研信息化技術(shù)與應(yīng)用;2014年03期

4 曹臻;;A future project at tibet:the large high altitude air shower observatory(LHAASO)[J];中國物理C;2010年02期

相關(guān)碩士學(xué)位論文 前1條

1 李佳鑫;云計(jì)算環(huán)境下的資源彈性調(diào)度技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 唐紅梅;鄭剛;;基于KVM的虛擬桌面基礎(chǔ)架構(gòu)設(shè)計(jì)與優(yōu)化[J];計(jì)算機(jī)科學(xué);2017年S1期

2 孫建寧;任玲;叢曉慶;黃國瑞;金睦淳;李冬;劉虎林;喬芳建;錢森;司曙光;田進(jìn)壽;王興超;王貽芳;韋永林;辛麗偉;張昊達(dá);趙天池;;一種大尺寸微通道板型光電倍增管[J];紅外與激光工程;2017年04期

3 程振京;李海波;黃秋蘭;程耀東;陳剛;;高能物理云平臺中的彈性計(jì)算資源管理機(jī)制[J];計(jì)算機(jī)工程與應(yīng)用;2017年08期

4 李雅雯;寧哲;錢森;朱納;高峰;江曉山;張銀鴻;蔡浩;;基于Ionic開發(fā)平臺的數(shù)據(jù)庫創(chuàng)建[J];核技術(shù);2017年04期

5 李純;陳務(wù)軍;宋浩;王瑞光;;中微子探測器縮比液袋設(shè)計(jì)與模擬分析[J];上海交通大學(xué)學(xué)報(bào);2016年11期

6 徐福珍;楊紅官;常勁帆;劉湘;;遠(yuǎn)距離大動(dòng)態(tài)范圍電荷測量電路的設(shè)計(jì)[J];核技術(shù);2016年11期

7 蔡小慶;顧陸偉;劉小丹;王勤超;許俊;;一個(gè)高分子模擬計(jì)算網(wǎng)格的作業(yè)管理[J];電腦知識與技術(shù);2016年26期

8 郭樂慧;田進(jìn)壽;盧裕;李紅偉;;一種用于中微子探測的3-inch光電倍增管的優(yōu)化設(shè)計(jì)[J];物理學(xué)報(bào);2016年22期

9 王旭;張忠泉;田野;都艷艷;趙曉;沈付旺;李長裕;孫延生;馮存峰;;Setup of a photomultiplier tube test bench for LHAASO-KM2A[J];Chinese Physics C;2016年08期

10 闞文梟;黃秋蘭;陳剛;;桌面網(wǎng)格環(huán)境下虛擬化技術(shù)的應(yīng)用研究[J];計(jì)算機(jī)工程;2017年03期

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 臧冬松;霍菁;梁棟;孫功星;;基于MapReduce的高能物理數(shù)據(jù)分析系統(tǒng)[J];計(jì)算機(jī)工程;2014年02期

2 程耀東;劉寶旭;孫功星;陳剛;;高能物理與云計(jì)算[J];核電子學(xué)與探測技術(shù);2011年11期

3 李勇;郭玉東;王曉睿;時(shí)光;;基于EPT的內(nèi)存虛擬化研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2010年18期

4 許冬;閆曉飛;程耀東;陳剛;于傳松;;AFS在高能物理計(jì)算系統(tǒng)中的應(yīng)用[J];核電子學(xué)與探測技術(shù);2010年03期

5 陳和生;張闖;李衛(wèi)國;;北京正負(fù)電子對撞機(jī)重大改造工程[J];工程研究-跨學(xué)科視野中的工程;2009年03期

6 張朝鵬;;基于Intel-VT處理器的虛擬機(jī)內(nèi)存虛擬化的實(shí)現(xiàn)和優(yōu)化[J];科技風(fēng);2009年09期

7 張洋;陳文波;李廉;李兵;程應(yīng)娥;燕昊;;高性能集群作業(yè)管理系統(tǒng)TORQUE分析與應(yīng)用實(shí)現(xiàn)[J];計(jì)算機(jī)工程與科學(xué);2007年10期

8 裴爾明;孫功星;石京燕;于傳松;;大規(guī)模用戶登錄服務(wù)的負(fù)載平衡實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2006年08期

【相似文獻(xiàn)】

相關(guān)期刊論文 前4條

1 肖榕;金甌;葉建鋒;;智能航運(yùn)數(shù)據(jù)處理的分布式彈性計(jì)算技術(shù)研究與應(yīng)用[J];計(jì)算機(jī)時(shí)代;2014年06期

2 李金龍;朱杰;梁殿鵬;;基于Amazon彈性計(jì)算云的高性能計(jì)算平臺解決方案[J];電腦知識與技術(shù);2011年28期

3 李英壯;汪楠;李先毅;;基于OpenStack開發(fā)云平臺的設(shè)計(jì)與實(shí)現(xiàn)[J];武漢大學(xué)學(xué)報(bào)(理學(xué)版);2012年S1期

4 ;[J];;年期

相關(guān)重要報(bào)紙文章 前3條

1 本報(bào)記者 王哲瑋;彈性計(jì)算砸落安全產(chǎn)品售價(jià)[N];計(jì)算機(jī)世界;2012年

2 ;首批通過云計(jì)算產(chǎn)品彈性計(jì)算應(yīng)用接口測評名單[N];中國電子報(bào);2014年

3 本報(bào)記者 劉洪宇;世紀(jì)互聯(lián)以IaaS切入云計(jì)算[N];中國計(jì)算機(jī)報(bào);2009年

，

本文編號：2375711