本文關(guān)鍵詞：數(shù)據(jù)中心內(nèi)Incast流量的網(wǎng)內(nèi)聚合研究

  更多相關(guān)文章： 網(wǎng)內(nèi)聚合 數(shù)據(jù)中心 incast傳輸 shuffle傳輸 網(wǎng)絡(luò)流量

【摘要】：MapReduce等分布式計(jì)算系統(tǒng)應(yīng)用在數(shù)據(jù)中心內(nèi)產(chǎn)生了嚴(yán)重的東西向流量,其中以incast和shuffle為代表的關(guān)聯(lián)性流量占相當(dāng)大的比重,進(jìn)而嚴(yán)重影響到上層應(yīng)用的性能.這促使研究者們考慮在這些關(guān)聯(lián)性流量的網(wǎng)內(nèi)傳輸階段盡可能早而不是僅在流量的接收端進(jìn)行流間數(shù)據(jù)聚合.首先以新型數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)為背景討論流間數(shù)據(jù)聚合的可行性和增益,為最大化該增益,為incast傳輸建立最小代價(jià)樹模型.為解決該模型,提出了2種近似的incast樹構(gòu)造方法,其能夠僅基于incast成員的位置和數(shù)據(jù)中心拓?fù)浣Y(jié)構(gòu)生成一個(gè)有效的incast樹,進(jìn)一步解決了incast樹的動(dòng)態(tài)和容錯(cuò)問題.最后,采用原型系統(tǒng)和大規(guī)模仿真的方法評(píng)估了incast流量的網(wǎng)內(nèi)聚合方法,實(shí)驗(yàn)結(jié)果證明該方法能大幅降低incast流量造成的傳輸開銷,能節(jié)約數(shù)據(jù)中心的網(wǎng)絡(luò)資源.同時(shí),提出的模型和解決方法也適用于其他類型的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu).
【作者單位】： 信息系統(tǒng)工程國防科技重點(diǎn)實(shí)驗(yàn)室(國防科學(xué)技術(shù)大學(xué));
【關(guān)鍵詞】： 網(wǎng)內(nèi)聚合 數(shù)據(jù)中心 incast傳輸 shuffle傳輸 網(wǎng)絡(luò)流量
【基金】：國家自然科學(xué)基金優(yōu)秀青年科學(xué)基金項(xiàng)目(61422214)~~
【分類號(hào)】：TP308
【正文快照】： 大規(guī)模數(shù)據(jù)中心不僅服務(wù)于各類在線云應(yīng)用,而且還直接服務(wù)于大規(guī)模分布式計(jì)算系統(tǒng),如MapReduce[1],Dryad[2],CIEL[3],Pregel[4]和Spark[5]等.這些分布式計(jì)算系統(tǒng)向數(shù)據(jù)中心提交大量處理作業(yè),每項(xiàng)作業(yè)都可能需要使用數(shù)據(jù)中心內(nèi)大量的服務(wù)器.這些計(jì)算系統(tǒng)普遍遵從流計(jì)算模式,即

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 Han QI;Muhammad SHIRAZ;Jie-yao LIU;Abdullah GANI;Zulkanain ABDUL RAHMAN;Torki A.ALTAMEEM;;Review:Data center network architecture in cloud computing:review, taxonomy, and open research issues[J];Journal of Zhejiang University-Science C(Computers & Electronics);2014年09期

2 朱桂明;謝向輝;郭得科;陸菲菲;陶志榮;;一種高吞吐量、高可擴(kuò)展數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)[J];軟件學(xué)報(bào);2014年06期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前1條

1 李妍;陳洪輝;;信息服務(wù)中心模塊化分布式互聯(lián)結(jié)構(gòu)研究[A];第三屆中國指揮控制大會(huì)論文集（上冊(cè)）[C];2015年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 凡穎;云環(huán)境下動(dòng)態(tài)資源管理關(guān)鍵技術(shù)的研究[D];浙江理工大學(xué);2014年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 江南;數(shù)據(jù)中心如何應(yīng)付管理挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2001年40期

2 ;簡(jiǎn)化管理挑戰(zhàn)——惠普推實(shí)用數(shù)據(jù)中心解決方案[J];每周電腦報(bào);2001年67期

3 李慶莉;去數(shù)據(jù)中心看一看——中國銀行華北信息中心計(jì)劃處處長(zhǎng)云恩善談數(shù)據(jù)中心運(yùn)行、管理[J];中國金融電腦;2002年12期

4 馬天蔚;;數(shù)據(jù)中心按需造[J];每周電腦報(bào);2002年25期

5 戚麗,蔣東興,武海平,馮珂;校園數(shù)據(jù)中心建設(shè)與管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企業(yè)的數(shù)據(jù)中心2003了嗎?[J];微電腦世界;2003年17期

7 ;挖潛數(shù)據(jù)中心[J];金融電子化;2004年07期

8 王琨月;;數(shù)據(jù)中心業(yè)務(wù)就緒[J];每周電腦報(bào);2004年21期

9 包東智;新熱點(diǎn):創(chuàng)建下一代數(shù)據(jù)中心[J];上海信息化;2005年10期

10 ;把握數(shù)據(jù)中心建設(shè)五大看點(diǎn)[J];中國計(jì)算機(jī)用戶;2005年10期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 姚，

本文編號(hào)：711583