針對(duì)國(guó)家高性能計(jì)算環(huán)境系統(tǒng)軟件在傳輸大量資源信息時(shí)遇到性能瓶頸的問題,本文提出基于消息總線的、支持多數(shù)據(jù)中心的高性能計(jì)算環(huán)境系統(tǒng)軟件優(yōu)化結(jié)構(gòu)SCE2.0。SCE2.0使用Kafka作為消息通信中間件,提供異步編程接口,并增加了身份認(rèn)證、權(quán)限管理和雙層異地?cái)?shù)據(jù)備份的可靠傳輸機(jī)制。SCE2.0并行吞吐量達(dá)到51 000條/s消息,同時(shí)可以減少信息傳輸?shù)臅r(shí)間開銷,縮短用戶響應(yīng)時(shí)間,降低系統(tǒng)負(fù)載,為用戶帶來更好的體驗(yàn),實(shí)現(xiàn)了高效、高可擴(kuò)展和高可靠的目標(biāo)。 

【文章來源】：高技術(shù)通訊. 2020,30(03)北大核心

【文章頁(yè)數(shù)】：11 頁(yè)

【部分圖文】：

SCE2.0層次架構(gòu)

環(huán)境中的信息按照類別進(jìn)行區(qū)分,每一個(gè)類別通過一個(gè)消息主題傳輸數(shù)據(jù),消息主題名稱存儲(chǔ)結(jié)構(gòu)如圖2所示。環(huán)境中的信息可以分為資源信息(resource)、監(jiān)控信息(monitor)、日志信息(log)和請(qǐng)求信息(request)。每一類信息又可細(xì)分為若干小類。在與消息總線通信時(shí),可以指明具體的消息主題,如“SCEresourcesite1hpc1queue”,即收發(fā)site1的hpc1的queue消息;也可以僅指明父消息主題,如“SCEresourcesite1hpc1”,即收發(fā)site1的hpc1的所有資源信息,包括queue、job、usermap、app、node、account和disk。消息主題有分區(qū)數(shù)和副本數(shù)2個(gè)屬性,分區(qū)數(shù)表示消息被分為幾部分處理;副本數(shù)表示消息被復(fù)制幾份。分區(qū)數(shù)越多,消息處理效率越高,副本數(shù)越多,消息安全系數(shù)越高,分區(qū)數(shù)和副本數(shù)受集群中服務(wù)器個(gè)數(shù)限制。2.2 消息總線接口設(shè)計(jì)

消息總線采用集群部署方式,其部署結(jié)構(gòu)如圖3所示。部署的ZooKeeper數(shù)量、Kafka數(shù)量由集群規(guī)模決定,一般情況下,ZooKeeper數(shù)量為奇數(shù)。本文共部署了3個(gè)ZooKeeper和3個(gè)Kafka,構(gòu)成消息總線集群。ZooKeeper內(nèi)部通信使用2888端口和3888端口,對(duì)外通信使用2181端口。Kafka對(duì)外通信使用9092端口�？蛻舳送ㄟ^訪問2181端口和9092端口與消息總線進(jìn)行信息傳輸。2.4 可擴(kuò)展性設(shè)計(jì)

【參考文獻(xiàn)】：
期刊論文
[1]高性能計(jì)算環(huán)境中間件的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)[J]. 吳璨,王小寧,肖海力,曹榮強(qiáng),趙一寧,遲學(xué)斌.  計(jì)算機(jī)應(yīng)用研究. 2019(01)
[2]The Sunway Taihu Light supercomputer:system and applications[J]. Haohuan FU,Junfeng LIAO,Jinzhe YANG,Lanning WANG,Zhenya SONG,Xiaomeng HUANG,Chao YANG,Wei XUE,Fangfang LIU,Fangli QIAO,Wei ZHAO,Xunqiang YIN,Chaofeng HOU,Chenglong ZHANG,Wei GE,Jian ZHANG,Yangang WANG,Chunbo ZHOU,Guangwen YANG.  Science China（Information Sciences）. 2016(07)
[3]High-performance computing environment: a review of twenty years of experiments in China[J]. Zhiwei Xu,Xuebin Chi,Nong Xiao.  National Science Review. 2016(01)
[4]基于SOA的EDA的研究和實(shí)現(xiàn)[J]. 季云峰.  軟件. 2012(07)
[5]三層架構(gòu)超級(jí)計(jì)算環(huán)境容錯(cuò)框架[J]. 戴志輝,肖海力,曹榮強(qiáng),遲學(xué)斌,曹宗雁.  計(jì)算機(jī)應(yīng)用研究. 2011(07)
[6]發(fā)布/訂閱通信模式的實(shí)時(shí)性能分析與評(píng)估[J]. 劉旭軍,馬躍,于東.  計(jì)算機(jī)工程. 2010(20)
[7]基于LSF集群系統(tǒng)的分布式并行計(jì)算[J]. 弋瑞錄,胡飛,奚水清,侯雪梅.  測(cè)控技術(shù). 2006(07)
[8]基于OpenPBS的機(jī)群作業(yè)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 童端,董小社,李紀(jì)云,劉廣紅.  計(jì)算機(jī)工程與應(yīng)用. 2004(13)



本文編號(hào)：3130450