松耦合數(shù)據(jù)中心體系架構(gòu)研究綜述
發(fā)布時間:2021-10-14 19:42
數(shù)據(jù)中心作為信息產(chǎn)業(yè)的基礎(chǔ)近年來得到了飛速的發(fā)展,同時也面臨著大數(shù)據(jù)時代帶來的新挑戰(zhàn)。傳統(tǒng)數(shù)據(jù)中心架構(gòu)與數(shù)據(jù)中心新興應(yīng)用特性的不匹配越發(fā)明顯,同時數(shù)據(jù)中心的資源利用率也持續(xù)偏低,然而數(shù)據(jù)中心的成本和功耗卻在不斷走高。面對這些問題,松耦合數(shù)據(jù)中心架構(gòu)的發(fā)展成為數(shù)據(jù)中心重要的發(fā)展趨勢。將數(shù)據(jù)中心資源松耦合化,可以突破傳統(tǒng)物理界限,在提高資源利用率的同時加強(qiáng)成本控制。本文首先總結(jié)了松耦合數(shù)據(jù)中心發(fā)展現(xiàn)狀,然后提煉了松耦合數(shù)據(jù)中心架構(gòu)的關(guān)鍵技術(shù),最后對該領(lǐng)域未來的發(fā)展前景進(jìn)行了展望。
【文章來源】:高技術(shù)通訊. 2020,30(01)北大核心
【文章頁數(shù)】:12 頁
【部分圖文】:
RSA架構(gòu)示意圖
為了提高現(xiàn)有商用數(shù)據(jù)中心的處理能力,微軟設(shè)計并構(gòu)建了一種可組合、可重配置的網(wǎng)絡(luò)互連技術(shù)——Catapult [18],來加速大規(guī)模軟件服務(wù)的部分功能。該設(shè)計把現(xiàn)場可編程門陣列(field-programmable gate array,FPGA)作為一種細(xì)粒度的加速器,將部分軟件的工作交由FPGA來處理,從而減輕了處理器的負(fù)載,可以加速數(shù)據(jù)中心里的大規(guī)模服務(wù)應(yīng)用。Catapult的網(wǎng)絡(luò)架構(gòu)是一個6×8的2維torus網(wǎng)絡(luò),每個網(wǎng)絡(luò)節(jié)點(diǎn)是一個由中等尺寸FPGA和本地DRAM組成的擴(kuò)展板。該互連模塊被嵌入到48個服務(wù)器中,每個服務(wù)器上插有一個擴(kuò)展板。該設(shè)計允許將FPGA分成多個組,從而將任務(wù)按組分配到FPGA來完成。微軟構(gòu)建了一個中等規(guī)模的Catapult互連網(wǎng)絡(luò),包含1 632臺服務(wù)器,測試了它在加速必應(yīng)搜索(Bing)引擎的效果。具體加速方案是,將必應(yīng)搜索引擎的排名系統(tǒng)(ranking stack)中的部分軟件功能(打分功能)交由一個FPGA組來實(shí)現(xiàn)。Catapult項目FPGA工作流程如圖2所示。該FPGA組由8個FPGA構(gòu)成。當(dāng)一臺服務(wù)器為一個文檔進(jìn)行打分的時候,該服務(wù)器首先對文檔進(jìn)行格式轉(zhuǎn)換,進(jìn)而將轉(zhuǎn)換后的文檔注入到本地的FPGA。然后,該文檔通過FPGA網(wǎng)絡(luò)路由到負(fù)責(zé)打分的FPGA組,經(jīng)過8級的FPGA流水線得到最終打分結(jié)果。該打分結(jié)果再經(jīng)由FPGA網(wǎng)絡(luò)路由回請求節(jié)點(diǎn)。評估結(jié)果表明,與純軟件實(shí)現(xiàn)方案相比,Catapult互連技術(shù)在維持同等延遲分布的情況下,每個ranking服務(wù)器的吞吐量提高了95%,或者在維持同等吞吐量的情況下,延遲減少了29%。Catapult項目成功實(shí)現(xiàn)了加速器資源的松耦合化,證明了松耦合數(shù)據(jù)中心架構(gòu)的可行性和前瞻性。服務(wù)器的計算壓力由FPGA加速器分擔(dān)后,可以減輕服務(wù)器的過分定制問題,降低成本的同時也提高了數(shù)據(jù)中心的整體利用率。
華為公司在2014年提出了高通量計算數(shù)據(jù)中心(high throughput computing data center architecture, HTC-DC)的概念,并作為下一代數(shù)據(jù)中心(DC 3.0)的研究方向。HTC-DC架構(gòu)(見圖3)在以虛擬化為主體的第2代數(shù)據(jù)中心的基礎(chǔ)上,通過資源松耦合化和統(tǒng)一的互聯(lián)方式,達(dá)到PB級的數(shù)據(jù)處理能力,同時還具備了更好的可擴(kuò)展性和能耗效率[26]。高通量計算數(shù)據(jù)中心架構(gòu)將計算資源、內(nèi)存資源和I/O資源劃分為不同的資源池,每個池內(nèi)是對應(yīng)的服務(wù)器節(jié)點(diǎn)。資源池內(nèi)以及資源池之間通過專用的互聯(lián)協(xié)議連接,資源的分配和管理由專用的數(shù)據(jù)中心操作系統(tǒng)完成。數(shù)據(jù)中心操作系統(tǒng)根據(jù)不同應(yīng)用的資源需求從資源池中劃分相應(yīng)的資源,還可以根據(jù)應(yīng)用的需求變化動態(tài)調(diào)整可供使用的資源數(shù)量。
【參考文獻(xiàn)】:
期刊論文
[1]基于備份的RAID5在線重構(gòu)框架[J]. 徐偉,朱旭東,劉瀏. 高技術(shù)通訊. 2012 (01)
[2]數(shù)據(jù)恢復(fù)技術(shù)綜述(上)[J]. 戴士劍,張杰,郭久武. 信息網(wǎng)絡(luò)安全. 2006(01)
[3]災(zāi)難備份和恢復(fù)技術(shù)的現(xiàn)狀與發(fā)展[J]. 張艷,李舟軍,何德全. 計算機(jī)工程與科學(xué). 2005(02)
[4]存儲備份技術(shù)探析[J]. 韓德志,謝長生,李懷陽. 計算機(jī)應(yīng)用研究. 2004(06)
[5]數(shù)據(jù)存儲系統(tǒng)備份技術(shù)研究與分析[J]. 顧鵬,劉立剛,謝長生. 計算機(jī)安全. 2003(06)
本文編號:3436731
【文章來源】:高技術(shù)通訊. 2020,30(01)北大核心
【文章頁數(shù)】:12 頁
【部分圖文】:
RSA架構(gòu)示意圖
為了提高現(xiàn)有商用數(shù)據(jù)中心的處理能力,微軟設(shè)計并構(gòu)建了一種可組合、可重配置的網(wǎng)絡(luò)互連技術(shù)——Catapult [18],來加速大規(guī)模軟件服務(wù)的部分功能。該設(shè)計把現(xiàn)場可編程門陣列(field-programmable gate array,FPGA)作為一種細(xì)粒度的加速器,將部分軟件的工作交由FPGA來處理,從而減輕了處理器的負(fù)載,可以加速數(shù)據(jù)中心里的大規(guī)模服務(wù)應(yīng)用。Catapult的網(wǎng)絡(luò)架構(gòu)是一個6×8的2維torus網(wǎng)絡(luò),每個網(wǎng)絡(luò)節(jié)點(diǎn)是一個由中等尺寸FPGA和本地DRAM組成的擴(kuò)展板。該互連模塊被嵌入到48個服務(wù)器中,每個服務(wù)器上插有一個擴(kuò)展板。該設(shè)計允許將FPGA分成多個組,從而將任務(wù)按組分配到FPGA來完成。微軟構(gòu)建了一個中等規(guī)模的Catapult互連網(wǎng)絡(luò),包含1 632臺服務(wù)器,測試了它在加速必應(yīng)搜索(Bing)引擎的效果。具體加速方案是,將必應(yīng)搜索引擎的排名系統(tǒng)(ranking stack)中的部分軟件功能(打分功能)交由一個FPGA組來實(shí)現(xiàn)。Catapult項目FPGA工作流程如圖2所示。該FPGA組由8個FPGA構(gòu)成。當(dāng)一臺服務(wù)器為一個文檔進(jìn)行打分的時候,該服務(wù)器首先對文檔進(jìn)行格式轉(zhuǎn)換,進(jìn)而將轉(zhuǎn)換后的文檔注入到本地的FPGA。然后,該文檔通過FPGA網(wǎng)絡(luò)路由到負(fù)責(zé)打分的FPGA組,經(jīng)過8級的FPGA流水線得到最終打分結(jié)果。該打分結(jié)果再經(jīng)由FPGA網(wǎng)絡(luò)路由回請求節(jié)點(diǎn)。評估結(jié)果表明,與純軟件實(shí)現(xiàn)方案相比,Catapult互連技術(shù)在維持同等延遲分布的情況下,每個ranking服務(wù)器的吞吐量提高了95%,或者在維持同等吞吐量的情況下,延遲減少了29%。Catapult項目成功實(shí)現(xiàn)了加速器資源的松耦合化,證明了松耦合數(shù)據(jù)中心架構(gòu)的可行性和前瞻性。服務(wù)器的計算壓力由FPGA加速器分擔(dān)后,可以減輕服務(wù)器的過分定制問題,降低成本的同時也提高了數(shù)據(jù)中心的整體利用率。
華為公司在2014年提出了高通量計算數(shù)據(jù)中心(high throughput computing data center architecture, HTC-DC)的概念,并作為下一代數(shù)據(jù)中心(DC 3.0)的研究方向。HTC-DC架構(gòu)(見圖3)在以虛擬化為主體的第2代數(shù)據(jù)中心的基礎(chǔ)上,通過資源松耦合化和統(tǒng)一的互聯(lián)方式,達(dá)到PB級的數(shù)據(jù)處理能力,同時還具備了更好的可擴(kuò)展性和能耗效率[26]。高通量計算數(shù)據(jù)中心架構(gòu)將計算資源、內(nèi)存資源和I/O資源劃分為不同的資源池,每個池內(nèi)是對應(yīng)的服務(wù)器節(jié)點(diǎn)。資源池內(nèi)以及資源池之間通過專用的互聯(lián)協(xié)議連接,資源的分配和管理由專用的數(shù)據(jù)中心操作系統(tǒng)完成。數(shù)據(jù)中心操作系統(tǒng)根據(jù)不同應(yīng)用的資源需求從資源池中劃分相應(yīng)的資源,還可以根據(jù)應(yīng)用的需求變化動態(tài)調(diào)整可供使用的資源數(shù)量。
【參考文獻(xiàn)】:
期刊論文
[1]基于備份的RAID5在線重構(gòu)框架[J]. 徐偉,朱旭東,劉瀏. 高技術(shù)通訊. 2012 (01)
[2]數(shù)據(jù)恢復(fù)技術(shù)綜述(上)[J]. 戴士劍,張杰,郭久武. 信息網(wǎng)絡(luò)安全. 2006(01)
[3]災(zāi)難備份和恢復(fù)技術(shù)的現(xiàn)狀與發(fā)展[J]. 張艷,李舟軍,何德全. 計算機(jī)工程與科學(xué). 2005(02)
[4]存儲備份技術(shù)探析[J]. 韓德志,謝長生,李懷陽. 計算機(jī)應(yīng)用研究. 2004(06)
[5]數(shù)據(jù)存儲系統(tǒng)備份技術(shù)研究與分析[J]. 顧鵬,劉立剛,謝長生. 計算機(jī)安全. 2003(06)
本文編號:3436731
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3436731.html
最近更新
教材專著