發(fā)布時(shí)間：2020-05-31 10:47

【摘要】： 高性能計(jì)算是信息技術(shù)的一個(gè)重要分支,被公認(rèn)是繼理論和實(shí)驗(yàn)科學(xué)之后,人類認(rèn)識(shí)未知世界的第三大方法,高性能計(jì)算水平也已成為衡量一個(gè)國(guó)家核心競(jìng)爭(zhēng)力的關(guān)鍵指標(biāo)。超級(jí)計(jì)算中心作為提供高性能計(jì)算能力的一個(gè)主要場(chǎng)所,已從封閉走向開放,超級(jí)計(jì)算中心的網(wǎng)絡(luò)及數(shù)據(jù)傳輸系統(tǒng)的可靠性、可用性、安全性也變得非常重要。 本論文對(duì)超級(jí)計(jì)算中心的網(wǎng)絡(luò)及數(shù)據(jù)傳輸系統(tǒng)進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn)。從Internet出口鏈路、超級(jí)計(jì)算中心內(nèi)部網(wǎng)絡(luò)及超級(jí)計(jì)算機(jī)三個(gè)層面,對(duì)數(shù)據(jù)傳輸進(jìn)行了研究,發(fā)現(xiàn)數(shù)據(jù)傳輸不穩(wěn)定問(wèn)題的主要原因在負(fù)載不均衡。特別是國(guó)產(chǎn)超級(jí)計(jì)算機(jī),由于技術(shù)水平的原因,雖然有多個(gè)接入結(jié)點(diǎn)和多個(gè)存儲(chǔ)結(jié)點(diǎn),但由于這些資源是共享的并且它們的調(diào)度是靜態(tài)的,當(dāng)有多個(gè)用戶同時(shí)集中使用或單個(gè)用戶大量使用其中某些資源時(shí)會(huì)引起嚴(yán)重的負(fù)載不均衡從而導(dǎo)致數(shù)據(jù)傳輸?shù)牟环�(wěn)定。 為此,論文重點(diǎn)設(shè)計(jì)了超級(jí)計(jì)算中心的網(wǎng)絡(luò)系統(tǒng)。采用七層交換機(jī)方便地解決了Internet出口鏈路的負(fù)載均衡問(wèn)題,采用冗余的網(wǎng)絡(luò)結(jié)構(gòu)解決了內(nèi)部網(wǎng)絡(luò)的負(fù)載均衡,在可靠性、可用性和安全性方面也做了大量的工作。 論文的另一部分重要工作是在LVS集群軟件的基礎(chǔ)上提出了一種新的具有良好適應(yīng)性的負(fù)載動(dòng)態(tài)反饋調(diào)度算法。目前,LVS軟件中共有八種調(diào)度算法,它們均屬于靜態(tài)調(diào)度算法。由于靜態(tài)調(diào)度算法在很大程度上依賴于調(diào)度任務(wù)和服務(wù)器的靜態(tài)屬性,而我們知道,任務(wù)具有波動(dòng)性,且外界環(huán)境也在不斷地變化,因此通常靜態(tài)調(diào)度算法無(wú)法很好地實(shí)現(xiàn)負(fù)載的均衡。為了將任務(wù)更均衡地分配給各后端服務(wù)器,論文提出了動(dòng)態(tài)反饋調(diào)度算法。動(dòng)態(tài)反饋調(diào)度算法通過(guò)監(jiān)視和評(píng)估各個(gè)服務(wù)器的當(dāng)前負(fù)載,然后由此選擇負(fù)載最輕的服務(wù)器去處理新的任務(wù)。 最后,利用搭建的實(shí)驗(yàn)環(huán)境,對(duì)動(dòng)態(tài)反饋調(diào)度算法進(jìn)行評(píng)測(cè)。為模擬負(fù)載不均衡的情況,論文對(duì)其中一臺(tái)服務(wù)器加上額外的負(fù)載。測(cè)試結(jié)果表明,相比其它調(diào)度算法,動(dòng)態(tài)反饋調(diào)度算法能夠更好地完成負(fù)載均衡的任務(wù)。特別地,采用動(dòng)態(tài)反饋調(diào)度算法,使系統(tǒng)具有可伸縮的功能。由于集群系統(tǒng)中的負(fù)載均衡器定期收集后端服務(wù)器的相關(guān)信息,因此某臺(tái)服務(wù)器出現(xiàn)故障后,負(fù)載均衡器能識(shí)別并不再給它分派任務(wù),從而使整個(gè)系統(tǒng)對(duì)外表現(xiàn)來(lái)說(shuō),服務(wù)不會(huì)終止,而僅是服務(wù)能力略有下降。
【圖文】：

該系統(tǒng)歷時(shí)一年半于 2004 年６月研制成功，并通過(guò)技術(shù)鑒定，且于 年 6 月進(jìn)入了 TOP500 的前 10 名，成為全球排名第十的超級(jí)計(jì)算機(jī)系統(tǒng)，，也前中國(guó)峰值速度最快的商用超級(jí)計(jì)算機(jī)系統(tǒng)。2004 年８月，該系統(tǒng)在上海計(jì)算中心完成安裝，經(jīng)過(guò)近 2 個(gè)月的調(diào)試和試運(yùn)行，于 2004 年 11 月 15 日宣布開通運(yùn)行。曙光 4000A 超級(jí)計(jì)算機(jī)系統(tǒng)峰值浮點(diǎn)計(jì)算能力為每秒 10 萬(wàn)億次，其 Lin性能達(dá)每秒 7 萬(wàn)億次。全機(jī)系統(tǒng)由 4 個(gè)接入結(jié)點(diǎn)、512 個(gè)計(jì)算結(jié)點(diǎn)，16 個(gè)存點(diǎn)以及百兆管理網(wǎng)絡(luò)、千兆存儲(chǔ)網(wǎng)絡(luò)、Myrinet 計(jì)算網(wǎng)絡(luò)、KVM 維護(hù)網(wǎng)絡(luò)共成。全機(jī)總計(jì)有 2128 個(gè) 64 位 AMD Opteron 2.4G 的 CPU，共計(jì) 4.3TB 內(nèi)存，光纖存儲(chǔ)系統(tǒng)（SAN）以及 20TB 的 SCSI 存儲(chǔ)系統(tǒng)。曙光 4000A 從體系結(jié)構(gòu)上來(lái)說(shuō)屬于集群結(jié)構(gòu)，其硬件系統(tǒng)包括結(jié)點(diǎn)機(jī)系網(wǎng)絡(luò)系統(tǒng)、存儲(chǔ)子系統(tǒng)、監(jiān)控系統(tǒng)、電源系統(tǒng)、通風(fēng)和供電系統(tǒng)七個(gè)部分。重點(diǎn)介紹與本論文相關(guān)的網(wǎng)絡(luò)系統(tǒng)及存儲(chǔ)系統(tǒng)。1 網(wǎng)絡(luò)系統(tǒng)曙光 4000A 中由四套性能不同的網(wǎng)絡(luò)系統(tǒng)組成，Myrinet 計(jì)算網(wǎng)絡(luò)專用算、千兆存儲(chǔ)網(wǎng)絡(luò)專用于數(shù)據(jù)的存儲(chǔ)和共享、百兆管理網(wǎng)絡(luò)專用于管理、監(jiān)護(hù)網(wǎng)絡(luò)專用于系統(tǒng)的監(jiān)控與維護(hù)，見圖 1-6。

網(wǎng)絡(luò)出現(xiàn)故障時(shí)可升格為計(jì)算網(wǎng)絡(luò)。百兆管理網(wǎng)絡(luò)采用二級(jí)級(jí)連結(jié)構(gòu)，連接所有計(jì)算結(jié)點(diǎn)、存儲(chǔ)結(jié)點(diǎn)和接入結(jié)點(diǎn)，并且可以連接到超算中心內(nèi)部局域網(wǎng)上。監(jiān)控維護(hù)網(wǎng)絡(luò)采用星形網(wǎng)絡(luò)和菊花鏈?zhǔn)骄W(wǎng)絡(luò)相結(jié)合的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。這種結(jié)構(gòu)可以稱為兩級(jí)的樹狀結(jié)構(gòu)，它綜合了星形結(jié)構(gòu)和菊花鏈?zhǔn)浇Y(jié)構(gòu)的優(yōu)點(diǎn)，同時(shí)又最小化地降低了菊花鏈?zhǔn)浇Y(jié)構(gòu)所能發(fā)生的故障。2 存儲(chǔ)系統(tǒng)曙光 4000A 存儲(chǔ)系統(tǒng)主要由千兆高速以太網(wǎng)、NFS 文件系統(tǒng)、存儲(chǔ)結(jié)點(diǎn)、磁盤陣列構(gòu)成。其中千兆高速以太網(wǎng)提供計(jì)算結(jié)點(diǎn)與存儲(chǔ)設(shè)備之間的數(shù)據(jù)通道。NFS文件系統(tǒng)提供所有結(jié)點(diǎn)通過(guò)存儲(chǔ)結(jié)點(diǎn)來(lái)讀寫 SCSI 和 SAN 磁盤陣列。16 個(gè)存儲(chǔ)結(jié)點(diǎn)連接 SCSI 與 SAN 磁盤陣列，提供存儲(chǔ)服務(wù)。連接方式見圖 1-7。SCSI 磁盤陣列總?cè)萘繛?19.2TB，SAN 磁盤陣列總?cè)萘繛?75TB。SCSI 磁盤陣列由 16 個(gè)容量為 1.2TB 的 SCSI 磁盤陣組成，每個(gè) SCSI 盤陣直連一個(gè)存儲(chǔ)結(jié)點(diǎn)，所有用戶目錄存放在 16 個(gè) SCSI 磁盤陣列上，通過(guò) Quota 限制每個(gè)用戶的目錄空間。SAN 磁盤陣列由 3 個(gè)容量為 25TB 的盤陣組成，通過(guò) HBA 卡直連光纖交換機(jī)，并通過(guò)光纖交換機(jī)連至存儲(chǔ)結(jié)點(diǎn)。SAN 共劃分為大小不等、數(shù)量不同的多個(gè)邏輯卷(LUN)。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2006
【分類號(hào)】：TP38;TP393.02

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳少剛,章隆兵,蔡飛,胡偉武;一種適用于機(jī)群OpenMP系統(tǒng)的有效調(diào)度算法[J];計(jì)算機(jī)研究與發(fā)展;2004年07期

2 劉楚達(dá),劉軼,錢德沛;IP服務(wù)質(zhì)量的研究[J];計(jì)算機(jī)工程;2003年16期

3 羅愛玲,馬范援,姚鴻斌;虛擬專網(wǎng)安全性的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2004年08期

4 劉耀,胡越明,金利峰;高可靠計(jì)算機(jī)系統(tǒng)的容錯(cuò)技術(shù)[J];計(jì)算機(jī)工程;2004年S1期

5 夏啟志;綦科;謝高崗;;BGP4+協(xié)議一致性測(cè)試系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2006年03期

6 劉健,徐磊,張維明;基于動(dòng)態(tài)反饋的負(fù)載均衡算法[J];計(jì)算機(jī)工程與科學(xué);2003年05期

7 郭成城,晏蒲柳;一種異構(gòu)Web服務(wù)器集群動(dòng)態(tài)負(fù)載均衡算法[J];計(jì)算機(jī)學(xué)報(bào);2005年02期

8 王偉杰;杜慧軍;;基于校園網(wǎng)中的虛擬路由集群技術(shù)[J];計(jì)算機(jī)應(yīng)用與軟件;2006年06期

9 王友良,葉柏龍;分布式系統(tǒng)中動(dòng)態(tài)負(fù)載平衡的研究[J];科學(xué)技術(shù)與工程;2005年09期

10 潘柱廷;信息安全保障域及其互聯(lián)——電子政務(wù)安全保障框架[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2003年01期

相關(guān)碩士學(xué)位論文 前1條

1 楊琳峰;容錯(cuò)加固計(jì)算機(jī)的設(shè)計(jì)與實(shí)現(xiàn)[D];天津大學(xué);2003年

本文編號(hào)：2689739