本文關(guān)鍵詞：數(shù)據(jù)中心網(wǎng)絡(luò)高效數(shù)據(jù)匯聚傳輸算法

  更多相關(guān)文章： 數(shù)據(jù)中心 數(shù)據(jù)匯聚 網(wǎng)內(nèi)聚合 混洗傳輸 incast樹

【摘要】：在數(shù)據(jù)中心中,類MapReduce的分布式計(jì)算系統(tǒng)在數(shù)據(jù)的混洗階段產(chǎn)生巨大流量,令數(shù)據(jù)中心的東西向網(wǎng)絡(luò)資源成為瓶頸.將這些高度相關(guān)的數(shù)據(jù)流在接收端進(jìn)行聚合是分布式計(jì)算的通用處理方式,為了降低網(wǎng)絡(luò)通信量并有效利用帶寬,文中采用網(wǎng)內(nèi)關(guān)聯(lián)性流量的匯聚傳輸策略,將混洗和匯聚并行化,達(dá)到進(jìn)一步降低東西向網(wǎng)絡(luò)資源消耗、縮短混洗階段延遲的目的.目前提出的IRS-based算法在適用場(chǎng)景上有一定局限性,為了解決這一問題,文中首先在以服務(wù)器為中心的代表結(jié)構(gòu)BCube上建立incast最小樹模型,分別提出MIB-based算法和MC-based算法,僅根據(jù)已知拓?fù)浣Y(jié)構(gòu)和發(fā)送節(jié)點(diǎn)編號(hào)即可快速生成一棵近似的最小代價(jià)incast樹.MIB-based算法針對(duì)發(fā)送節(jié)點(diǎn)強(qiáng)關(guān)聯(lián)的情況,使高層發(fā)送節(jié)點(diǎn)盡可能匯聚到已有的低層發(fā)送節(jié)點(diǎn)構(gòu)建incast樹;MC-based算法針對(duì)發(fā)送節(jié)點(diǎn)松散關(guān)聯(lián)的情況,將節(jié)點(diǎn)進(jìn)行最大程度上的聚合,通過增加最少的匯聚點(diǎn)完成incast樹的構(gòu)建.隨后將上述兩種算法結(jié)合起來進(jìn)一步提出適用于各種場(chǎng)景的M2-based算法,通過推算時(shí)間復(fù)雜度證明該算法能夠滿足在線構(gòu)建incast樹的需求.最后,詳細(xì)分析了M2-based算法對(duì)其他數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)的適應(yīng)性以及網(wǎng)內(nèi)匯聚傳輸能夠減少作業(yè)完成時(shí)間的原理.小規(guī)模實(shí)驗(yàn)結(jié)果表明,在不同網(wǎng)絡(luò)規(guī)模下,M2-based比IRS-based節(jié)省了網(wǎng)絡(luò)中約3%的數(shù)據(jù)量,整個(gè)作業(yè)在混洗和Reduce階段的等待時(shí)間比不采用網(wǎng)內(nèi)匯聚縮短約2/3;在不同傳輸節(jié)點(diǎn)規(guī)模下,M2-based比IRS-based節(jié)省了網(wǎng)絡(luò)中約19%的數(shù)據(jù)量,整個(gè)作業(yè)在混洗和Reduce階段的等待時(shí)間比不采用網(wǎng)內(nèi)匯聚縮短約3/4.
【作者單位】： 數(shù)學(xué)工程與先進(jìn)計(jì)算國家重點(diǎn)實(shí)驗(yàn)室;解放軍信息工程大學(xué)國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心;信息系統(tǒng)工程國防科技重點(diǎn)實(shí)驗(yàn)室(國防科學(xué)技術(shù)大學(xué));
【關(guān)鍵詞】： 數(shù)據(jù)中心 數(shù)據(jù)匯聚 網(wǎng)內(nèi)聚合 混洗傳輸 incast樹
【基金】：國家“九七三”重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃項(xiàng)目青年科學(xué)家專題項(xiàng)目(2014CB347800) 國家自然科學(xué)基金優(yōu)秀青年基金(61422214);國家自然科學(xué)基金(91430214) 國家“八六三”高技術(shù)研究發(fā)展計(jì)劃項(xiàng)目基金(2013AA01A213)資助~~
【分類號(hào)】：TP308
【正文快照】： 1引言 隨著分布式數(shù)據(jù)處理技術(shù)和云計(jì)算的不斷發(fā)展,大規(guī)模數(shù)據(jù)中心成為分布式計(jì)算系統(tǒng)(如MapReduce[1]、Dryad[2]、CIEL[3]、Pregel[4]和Spark[5])處理和存儲(chǔ)大數(shù)據(jù)的平臺(tái).在數(shù)據(jù)中心上運(yùn)行的應(yīng)用利用分布式計(jì)算框架將數(shù)據(jù)分發(fā)到成百上千臺(tái)服務(wù)器上并行執(zhí)行,從而達(dá)到在短時(shí)間

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 江南;數(shù)據(jù)中心如何應(yīng)付管理挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2001年40期

2 ;簡(jiǎn)化管理挑戰(zhàn)——惠普推實(shí)用數(shù)據(jù)中心解決方案[J];每周電腦報(bào);2001年67期

3 李慶莉;去數(shù)據(jù)中心看一看——中國銀行華北信息中心計(jì)劃處處長(zhǎng)云恩善談數(shù)據(jù)中心運(yùn)行、管理[J];中國金融電腦;2002年12期

4 馬天蔚;;數(shù)據(jù)中心按需造[J];每周電腦報(bào);2002年25期

5 戚麗,蔣東興,武海平,馮珂;校園數(shù)據(jù)中心建設(shè)與管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企業(yè)的數(shù)據(jù)中心2003了嗎?[J];微電腦世界;2003年17期

7 ;挖潛數(shù)據(jù)中心[J];金融電子化;2004年07期

8 王琨月;;數(shù)據(jù)中心業(yè)務(wù)就緒[J];每周電腦報(bào);2004年21期

9 包東智;新熱點(diǎn):創(chuàng)建下一代數(shù)據(jù)中心[J];上海信息化;2005年10期

10 ;把握數(shù)據(jù)中心建設(shè)五大看點(diǎn)[J];中國計(jì)算機(jī)用戶;2005年10期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 姚，

本文編號(hào)：1072799