發(fā)布時(shí)間：2020-03-22 20:20

【摘要】：移動(dòng)互聯(lián)網(wǎng)和人工智能的發(fā)展,5G時(shí)代下大規(guī)模新型應(yīng)用的提出,使得數(shù)據(jù)中心(DC)的計(jì)算規(guī)模和網(wǎng)絡(luò)流量急劇增長(zhǎng)。分布式計(jì)算應(yīng)用的發(fā)展使得數(shù)據(jù)中心內(nèi)流量的通信模式也變得多種多樣,分布式計(jì)算對(duì)網(wǎng)絡(luò)的連接結(jié)構(gòu)也提出了新的需求。傳統(tǒng)的網(wǎng)絡(luò)越來(lái)越無(wú)法支撐新的數(shù)據(jù)密集型的應(yīng)用,分散光網(wǎng)絡(luò)和資源分散網(wǎng)絡(luò)作為新型光互連網(wǎng)絡(luò)受到關(guān)注,而這些新型光互連網(wǎng)絡(luò)要求現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)和節(jié)點(diǎn)的功能變得開(kāi)放,本文針對(duì)開(kāi)放的互連網(wǎng)絡(luò)以及資源分散網(wǎng)絡(luò)所帶來(lái)的新的挑戰(zhàn),設(shè)計(jì)并實(shí)現(xiàn)了面向分布式計(jì)算的分散網(wǎng)絡(luò)光互連節(jié)點(diǎn)。分散化網(wǎng)絡(luò)互連節(jié)點(diǎn)具有開(kāi)放可控得系統(tǒng)功能,主要包括數(shù)據(jù)層面上的流信息統(tǒng)計(jì),發(fā)送通道選擇以及光分組匯聚等功能,控制層面上的節(jié)點(diǎn)內(nèi)流信息和各功能模組狀態(tài)上報(bào),并根據(jù)上層控制系統(tǒng)的指令對(duì)節(jié)點(diǎn)內(nèi)的參數(shù)結(jié)構(gòu)配置更改以及節(jié)點(diǎn)互連的光交換矩陣連接進(jìn)行配置。本文采用高速FPGA實(shí)現(xiàn)了上述節(jié)點(diǎn)的功能邏輯,并搭建互連網(wǎng)絡(luò)實(shí)驗(yàn)平臺(tái)對(duì)節(jié)點(diǎn)的功能進(jìn)行驗(yàn)證。另外,基于該光互連節(jié)點(diǎn),提出了利用流相關(guān)性的網(wǎng)絡(luò)故障定位和恢復(fù)功能,討論了基于流的相關(guān)性進(jìn)行流分類的網(wǎng)絡(luò)路徑信息發(fā)現(xiàn)與提取,并通過(guò)SDN控制器實(shí)現(xiàn)了網(wǎng)絡(luò)故障的定位與恢復(fù),通過(guò)搭建實(shí)驗(yàn)平臺(tái),對(duì)該功能進(jìn)行了不同類型故障場(chǎng)景下的實(shí)驗(yàn)與驗(yàn)證。最后,分析了資源分散化數(shù)據(jù)中心網(wǎng)絡(luò)(DDC)的網(wǎng)絡(luò)模型與資源結(jié)構(gòu),討論了不同計(jì)算作業(yè)在不同的DDC模型結(jié)構(gòu)下的內(nèi)存通信量與網(wǎng)絡(luò)通信量的關(guān)系,基于FPGA平臺(tái)對(duì)資源分散網(wǎng)絡(luò)節(jié)點(diǎn)中的流量進(jìn)行了模擬,針對(duì)資源分散網(wǎng)絡(luò)中的流量排隊(duì)與調(diào)度問(wèn)題,評(píng)估了優(yōu)先級(jí)方式、帶寬預(yù)留以及輪詢?nèi)N常見(jiàn)的調(diào)度方式對(duì)資源分散網(wǎng)絡(luò)流量負(fù)載傳輸性能的影響。
【圖文】：

ＨＤＦＳ逡逑（Ｈａｄｏｏｐ邋Ｄｉｓｔｒｉｂｕｔｅｄ邋Ｆｉｌｅ邋Ｓｙｓｔｅｍ）逡逑圖１－１邋Ｈａｄｏｏｐ分布式平臺(tái)框架ｔ３】逡逑Ｈａｄｏｏｐ的處理功能來(lái)自ＭａｐＲｅｄｕｃｅ引擎。ＭａｐＲｅｄｕｃｅ的處理過(guò)程分為逡逑Ｍａｐ（映射）和Ｒｅｄｕｃｅ（化簡(jiǎn)）。主要包含三個(gè)運(yùn)行階段［４１每一個(gè)階段可能會(huì)出現(xiàn)完逡逑全不同的流量模式。如圖１－２所示，第一個(gè)是ｆｉｌｅｕｐｌｏａｄ階段，將要處理的大型逡逑數(shù)據(jù)集存儲(chǔ)到分布式文件系統(tǒng)上，該系統(tǒng)需要具有大粒度的一對(duì)多傳輸。之后進(jìn)逡逑入ｉｎｐｕｔ階段，其中所有映射器（Ｍａｐｐｅｒ）（即一種作業(yè)執(zhí)行器，與Ｒｅｄｕｃｅｒ相同）逡逑處理它們各自的數(shù)據(jù)段。這個(gè)階段是大規(guī)模、多個(gè)一對(duì)一的流程。最后一個(gè)是逡逑ｓｈｕｆｆｌｅ階段，ｒｅｄｕｃｅｒｓ從ｍａｐｐｅｒｓ中提取中間結(jié)果，以便將它們歸并到最終的計(jì)逡逑算結(jié)果中。它包含多對(duì)多小流，具有延遲敏感性，并且更喜歡細(xì)粒度轉(zhuǎn)發(fā)。逡逑ｏｎｅ－ｔｏ－ｍａｍ－邐ｍｎｌｒｉｐＪｅ邋ｏｎｅ－ｔｏ－ｏｎｅ邐ｍａｎｙ－ｔｏ－ｍｏｎｙ逡逑，，＇\l邐？—－ｍ邐—逡逑－－—

Ｈａｄｏｏｐ的處理功能來(lái)自ＭａｐＲｅｄｕｃｅ引擎。ＭａｐＲｅｄｕｃｅ的處理過(guò)程分為逡逑Ｍａｐ（映射）和Ｒｅｄｕｃｅ（化簡(jiǎn)）。主要包含三個(gè)運(yùn)行階段［４１每一個(gè)階段可能會(huì)出現(xiàn)完逡逑全不同的流量模式。如圖１－２所示，，第一個(gè)是ｆｉｌｅｕｐｌｏａｄ階段，將要處理的大型逡逑數(shù)據(jù)集存儲(chǔ)到分布式文件系統(tǒng)上，該系統(tǒng)需要具有大粒度的一對(duì)多傳輸。之后進(jìn)逡逑入ｉｎｐｕｔ階段，其中所有映射器（Ｍａｐｐｅｒ）（即一種作業(yè)執(zhí)行器，與Ｒｅｄｕｃｅｒ相同）逡逑處理它們各自的數(shù)據(jù)段。這個(gè)階段是大規(guī)模、多個(gè)一對(duì)一的流程。最后一個(gè)是逡逑ｓｈｕｆｆｌｅ階段，ｒｅｄｕｃｅｒｓ從ｍａｐｐｅｒｓ中提取中間結(jié)果，以便將它們歸并到最終的計(jì)逡逑算結(jié)果中。它包含多對(duì)多小流，具有延遲敏感性，并且更喜歡細(xì)粒度轉(zhuǎn)發(fā)。逡逑ｏｎｅ－ｔｏ－ｍａｍ－邐ｍｎｌｒｉｐＪｅ邋ｏｎｅ－ｔｏ－ｏｎｅ邐ｍａｎｙ－ｔｏ－ｍｏｎｙ逡逑，，＇\l邐？—－ｍ邐—逡逑－－—，邐＿逡逑Ｆｉｌｅ邋ｕｐｌｏａｄ邐Ｉｎｐｕｔ邐Ｓｈｕｆｆｌｅ逡逑（ｓｐｌｉｔ邋ｆｉｌｅ邋ｉｎｔｏ邋ｐｉｅｃｅｓ．邐（ｍｕｌｔｉｐｌｅ邋ｍａｐｐｅｒｓ邋ｔｏ逡逑ｔｈｅｎ邋ｓｅｎｄ邋ｔｏ邋ｍａｐｐｅｒ）邐ｍｕｌｔｉｐｌｅ邋ｒｅｄｕｃｅｒｓ）逡逑圖１－２邋ＭａｐＲｅｄｕｃｅ不同階段的流量模式逡逑Ｓｔｏｒｍ則是側(cè)重于極低延遲的流數(shù)據(jù)處理框架
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP393.09;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 梁梓豪;黃紅斌;陳舜兒;劉偉平;;硅基光互連網(wǎng)絡(luò)的研究[J];光通信技術(shù);2016年10期

2 宋少鴻;馬驤;王曉雪;曹凌霄;張涵;楊建義;;基于FPGA的基礎(chǔ)光互連網(wǎng)絡(luò)實(shí)驗(yàn)平臺(tái)[J];光通信技術(shù);2013年12期

3 齊星云;竇強(qiáng);馮權(quán)友;陳永然;竇文華;;無(wú)緩沖光互連網(wǎng)絡(luò)的延時(shí)性能分析及優(yōu)化[J];計(jì)算機(jī)工程;2010年05期

4 齊星云;竇強(qiáng);陳永然;溫俊;竇文華;;一種無(wú)緩沖的光互連網(wǎng)絡(luò)的吞吐率性能分析及優(yōu)化[J];國(guó)防科技大學(xué)學(xué)報(bào);2008年06期

5 田勁東,李海峰,井文才,周革,張以謨;一種用于機(jī)群系統(tǒng)的雙環(huán)光互連網(wǎng)絡(luò)性能分析[J];計(jì)算機(jī)研究與發(fā)展;2001年11期

6 翦杰;賴明澈;肖立權(quán);;光互連網(wǎng)絡(luò)中資源預(yù)留的多級(jí)光互連仲裁機(jī)制[J];國(guó)防科技大學(xué)學(xué)報(bào);2016年05期

7 羅風(fēng)光，曹明翠，李洪譜，李再光;光計(jì)算中一種等效全混洗交換光互連網(wǎng)絡(luò)的實(shí)現(xiàn)方法[J];華中理工大學(xué)學(xué)報(bào);1994年03期

8 駱新國(guó)，張江陵;光互連網(wǎng)絡(luò)盤陣列系統(tǒng)[J];計(jì)算機(jī)工程與應(yīng)用;1995年02期

9 張以謨;;光互連已趨于實(shí)用化[J];國(guó)際學(xué)術(shù)動(dòng)態(tài);1996年04期

10 賈大功;劉琨;井文才;張以謨;周革;;具有旋轉(zhuǎn)連接功能的雙層光互連網(wǎng)絡(luò)設(shè)計(jì)[J];光子學(xué)報(bào);2006年11期

相關(guān)會(huì)議論文 前4條

1 張弓;鄭浩;李川;;高速互連網(wǎng)絡(luò)系統(tǒng)板間光互連應(yīng)用分析[A];第二十屆計(jì)算機(jī)工程與工藝年會(huì)暨第六屆微處理器技術(shù)論壇論文集[C];2016年

2 張以謨;井文才;唐峰;柳葆;;MEMS光開(kāi)關(guān)應(yīng)用于機(jī)群系統(tǒng)光互連網(wǎng)絡(luò)[A];光電技術(shù)與系統(tǒng)文選——中國(guó)光學(xué)學(xué)會(huì)光電技術(shù)專業(yè)委員會(huì)成立二十周年暨第十一屆全國(guó)光電技術(shù)與系統(tǒng)學(xué)術(shù)會(huì)議論文集[C];2005年

3 周育城;徐平;黃海漩;李孟玨;洪春權(quán);;基于三維Omega光互連網(wǎng)絡(luò)的2-DPS變換的設(shè)計(jì)研究[A];中國(guó)光學(xué)學(xué)會(huì)2011年學(xué)術(shù)大會(huì)摘要集[C];2011年

4 劉琨;井文才;劉鐵根;張以謨;賈大功;唐鋒;;一種可擴(kuò)展的雙層光互連網(wǎng)絡(luò)設(shè)計(jì)與性能分析[A];光電技術(shù)與系統(tǒng)文選——中國(guó)光學(xué)學(xué)會(huì)光電技術(shù)專業(yè)委員會(huì)成立二十周年暨第十一屆全國(guó)光電技術(shù)與系統(tǒng)學(xué)術(shù)會(huì)議論文集[C];2005年

相關(guān)博士學(xué)位論文 前4條

1 崔越;光接入與光互連中基于非線性效應(yīng)的信號(hào)處理關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2018年

2 余志華;基于光波導(dǎo)的芯片間光互連網(wǎng)絡(luò)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2010年

3 馮勇華;大規(guī)模并行處理系統(tǒng)光互連網(wǎng)絡(luò)研究[D];華中科技大學(xué);2008年

4 李顯勇;幾類光互連網(wǎng)絡(luò)的診斷性與容錯(cuò)性[D];重慶大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 楊深圳;面向分布式計(jì)算的光互連節(jié)點(diǎn)設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

2 姜濤;E級(jí)高性能計(jì)算系統(tǒng)光互連網(wǎng)絡(luò)架構(gòu)研究[D];西安電子科技大學(xué);2018年

3 齊世雄;面向多應(yīng)用的高性能光互連訪存架構(gòu)研究[D];西安電子科技大學(xué);2018年

4 宋少鴻;基于FPGA的光互連網(wǎng)絡(luò)實(shí)驗(yàn)平臺(tái)設(shè)計(jì)[D];浙江大學(xué);2014年

5 葉進(jìn);片上光互連網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和路由算法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

6 任珊珊;片上光互連網(wǎng)絡(luò)性能分析工具的設(shè)計(jì)與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

7 李翠婷;硅基微環(huán)諧振光路由器件及三維光互連網(wǎng)絡(luò)的設(shè)計(jì)與模擬[D];吉林大學(xué);2017年

8 孫志祥;基于PCI總線的高速光互連網(wǎng)絡(luò)接口技術(shù)研究[D];天津大學(xué);2005年

9 馬磊;面向高性能計(jì)算的光互連技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

10 張華良;自由空間光互連網(wǎng)絡(luò)的光學(xué)實(shí)現(xiàn)及其集成化研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

本文編號(hào)：2595571