【摘要】：移動互聯(lián)網(wǎng)和人工智能的發(fā)展,5G時代下大規(guī)模新型應用的提出,使得數(shù)據(jù)中心(DC)的計算規(guī)模和網(wǎng)絡流量急劇增長。分布式計算應用的發(fā)展使得數(shù)據(jù)中心內(nèi)流量的通信模式也變得多種多樣,分布式計算對網(wǎng)絡的連接結(jié)構(gòu)也提出了新的需求。傳統(tǒng)的網(wǎng)絡越來越無法支撐新的數(shù)據(jù)密集型的應用,分散光網(wǎng)絡和資源分散網(wǎng)絡作為新型光互連網(wǎng)絡受到關(guān)注,而這些新型光互連網(wǎng)絡要求現(xiàn)有網(wǎng)絡結(jié)構(gòu)和節(jié)點的功能變得開放,本文針對開放的互連網(wǎng)絡以及資源分散網(wǎng)絡所帶來的新的挑戰(zhàn),設計并實現(xiàn)了面向分布式計算的分散網(wǎng)絡光互連節(jié)點。分散化網(wǎng)絡互連節(jié)點具有開放可控得系統(tǒng)功能,主要包括數(shù)據(jù)層面上的流信息統(tǒng)計,發(fā)送通道選擇以及光分組匯聚等功能,控制層面上的節(jié)點內(nèi)流信息和各功能模組狀態(tài)上報,并根據(jù)上層控制系統(tǒng)的指令對節(jié)點內(nèi)的參數(shù)結(jié)構(gòu)配置更改以及節(jié)點互連的光交換矩陣連接進行配置。本文采用高速FPGA實現(xiàn)了上述節(jié)點的功能邏輯,并搭建互連網(wǎng)絡實驗平臺對節(jié)點的功能進行驗證。另外,基于該光互連節(jié)點,提出了利用流相關(guān)性的網(wǎng)絡故障定位和恢復功能,討論了基于流的相關(guān)性進行流分類的網(wǎng)絡路徑信息發(fā)現(xiàn)與提取,并通過SDN控制器實現(xiàn)了網(wǎng)絡故障的定位與恢復,通過搭建實驗平臺,對該功能進行了不同類型故障場景下的實驗與驗證。最后,分析了資源分散化數(shù)據(jù)中心網(wǎng)絡(DDC)的網(wǎng)絡模型與資源結(jié)構(gòu),討論了不同計算作業(yè)在不同的DDC模型結(jié)構(gòu)下的內(nèi)存通信量與網(wǎng)絡通信量的關(guān)系,基于FPGA平臺對資源分散網(wǎng)絡節(jié)點中的流量進行了模擬,針對資源分散網(wǎng)絡中的流量排隊與調(diào)度問題,評估了優(yōu)先級方式、帶寬預留以及輪詢?nèi)N常見的調(diào)度方式對資源分散網(wǎng)絡流量負載傳輸性能的影響。
【圖文】：

ＨＤＦＳ逡逑（Ｈａｄｏｏｐ邋Ｄｉｓｔｒｉｂｕｔｅｄ邋Ｆｉｌｅ邋Ｓｙｓｔｅｍ）逡逑圖１－１邋Ｈａｄｏｏｐ分布式平臺框架ｔ３】逡逑Ｈａｄｏｏｐ的處理功能來自ＭａｐＲｅｄｕｃｅ引擎。ＭａｐＲｅｄｕｃｅ的處理過程分為逡逑Ｍａｐ（映射）和Ｒｅｄｕｃｅ（化簡）。主要包含三個運行階段［４１每一個階段可能會出現(xiàn)完逡逑全不同的流量模式。如圖１－２所示，第一個是ｆｉｌｅｕｐｌｏａｄ階段，將要處理的大型逡逑數(shù)據(jù)集存儲到分布式文件系統(tǒng)上，該系統(tǒng)需要具有大粒度的一對多傳輸。之后進逡逑入ｉｎｐｕｔ階段，其中所有映射器（Ｍａｐｐｅｒ）（即一種作業(yè)執(zhí)行器，與Ｒｅｄｕｃｅｒ相同）逡逑處理它們各自的數(shù)據(jù)段。這個階段是大規(guī)模、多個一對一的流程。最后一個是逡逑ｓｈｕｆｆｌｅ階段，ｒｅｄｕｃｅｒｓ從ｍａｐｐｅｒｓ中提取中間結(jié)果，以便將它們歸并到最終的計逡逑算結(jié)果中。它包含多對多小流，具有延遲敏感性，并且更喜歡細粒度轉(zhuǎn)發(fā)。逡逑ｏｎｅ－ｔｏ－ｍａｍ－邐ｍｎｌｒｉｐＪｅ邋ｏｎｅ－ｔｏ－ｏｎｅ邐ｍａｎｙ－ｔｏ－ｍｏｎｙ逡逑，，＇\l邐？—－ｍ邐—逡逑－－—

Ｈａｄｏｏｐ的處理功能來自ＭａｐＲｅｄｕｃｅ引擎。ＭａｐＲｅｄｕｃｅ的處理過程分為逡逑Ｍａｐ（映射）和Ｒｅｄｕｃｅ（化簡）。主要包含三個運行階段［４１每一個階段可能會出現(xiàn)完逡逑全不同的流量模式。如圖１－２所示，，第一個是ｆｉｌｅｕｐｌｏａｄ階段，將要處理的大型逡逑數(shù)據(jù)集存儲到分布式文件系統(tǒng)上，該系統(tǒng)需要具有大粒度的一對多傳輸。之后進逡逑入ｉｎｐｕｔ階段，其中所有映射器（Ｍａｐｐｅｒ）（即一種作業(yè)執(zhí)行器，與Ｒｅｄｕｃｅｒ相同）逡逑處理它們各自的數(shù)據(jù)段。這個階段是大規(guī)模、多個一對一的流程。最后一個是逡逑ｓｈｕｆｆｌｅ階段，ｒｅｄｕｃｅｒｓ從ｍａｐｐｅｒｓ中提取中間結(jié)果，以便將它們歸并到最終的計逡逑算結(jié)果中。它包含多對多小流，具有延遲敏感性，并且更喜歡細粒度轉(zhuǎn)發(fā)。逡逑ｏｎｅ－ｔｏ－ｍａｍ－邐ｍｎｌｒｉｐＪｅ邋ｏｎｅ－ｔｏ－ｏｎｅ邐ｍａｎｙ－ｔｏ－ｍｏｎｙ逡逑，，＇\l邐？—－ｍ邐—逡逑－－—，邐＿逡逑Ｆｉｌｅ邋ｕｐｌｏａｄ邐Ｉｎｐｕｔ邐Ｓｈｕｆｆｌｅ逡逑（ｓｐｌｉｔ邋ｆｉｌｅ邋ｉｎｔｏ邋ｐｉｅｃｅｓ．邐（ｍｕｌｔｉｐｌｅ邋ｍａｐｐｅｒｓ邋ｔｏ逡逑ｔｈｅｎ邋ｓｅｎｄ邋ｔｏ邋ｍａｐｐｅｒ）邐ｍｕｌｔｉｐｌｅ邋ｒｅｄｕｃｅｒｓ）逡逑圖１－２邋ＭａｐＲｅｄｕｃｅ不同階段的流量模式逡逑Ｓｔｏｒｍ則是側(cè)重于極低延遲的流數(shù)據(jù)處理框架
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP393.09;TP18

【相似文獻】

相關(guān)期刊論文 前10條

1 梁梓豪;黃紅斌;陳舜兒;劉偉平;;硅基光互連網(wǎng)絡的研究[J];光通信技術(shù);2016年10期

2 宋少鴻;馬驤;王曉雪;曹凌霄;張涵;楊建義;;基于FPGA的基礎光互連網(wǎng)絡實驗平臺[J];光通信技術(shù);2013年12期

3 齊星云;竇強;馮權(quán)友;陳永然;竇文華;;無緩沖光互連網(wǎng)絡的延時性能分析及優(yōu)化[J];計算機工程;2010年05期

4 齊星云;竇強;陳永然;溫俊;竇文華;;一種無緩沖的光互連網(wǎng)絡的吞吐率性能分析及優(yōu)化[J];國防科技大學學報;2008年06期

5 田勁東,李海峰,井文才,周革,張以謨;一種用于機群系統(tǒng)的雙環(huán)光互連網(wǎng)絡性能分析[J];計算機研究與發(fā)展;2001年11期

6 翦杰;賴明澈;肖立權(quán);;光互連網(wǎng)絡中資源預留的多級光互連仲裁機制[J];國防科技大學學報;2016年05期

7 羅風光，曹明翠，李洪譜，李再光;光計算中一種等效全混洗交換光互連網(wǎng)絡的實現(xiàn)方法[J];華中理工大學學報;1994年03期

8 駱新國，張江陵;光互連網(wǎng)絡盤陣列系統(tǒng)[J];計算機工程與應用;1995年02期

9 張以謨;;光互連已趨于實用化[J];國際學術(shù)動態(tài);1996年04期

10 賈大功;劉琨;井文才;張以謨;周革;;具有旋轉(zhuǎn)連接功能的雙層光互連網(wǎng)絡設計[J];光子學報;2006年11期

相關(guān)會議論文 前4條

1 張弓;鄭浩;李川;;高速互連網(wǎng)絡系統(tǒng)板間光互連應用分析[A];第二十屆計算機工程與工藝年會暨第六屆微處理器技術(shù)論壇論文集[C];2016年

2 張以謨;井文才;唐峰;柳葆;;MEMS光開關(guān)應用于機群系統(tǒng)光互連網(wǎng)絡[A];光電技術(shù)與系統(tǒng)文選——中國光學學會光電技術(shù)專業(yè)委員會成立二十周年暨第十一屆全國光電技術(shù)與系統(tǒng)學術(shù)會議論文集[C];2005年

3 周育城;徐平;黃海漩;李孟玨;洪春權(quán);;基于三維Omega光互連網(wǎng)絡的2-DPS變換的設計研究[A];中國光學學會2011年學術(shù)大會摘要集[C];2011年

4 劉琨;井文才;劉鐵根;張以謨;賈大功;唐鋒;;一種可擴展的雙層光互連網(wǎng)絡設計與性能分析[A];光電技術(shù)與系統(tǒng)文選——中國光學學會光電技術(shù)專業(yè)委員會成立二十周年暨第十一屆全國光電技術(shù)與系統(tǒng)學術(shù)會議論文集[C];2005年

相關(guān)博士學位論文 前4條

1 崔越;光接入與光互連中基于非線性效應的信號處理關(guān)鍵技術(shù)研究[D];北京郵電大學;2018年

2 余志華;基于光波導的芯片間光互連網(wǎng)絡的設計與實現(xiàn)[D];華中科技大學;2010年

3 馮勇華;大規(guī)模并行處理系統(tǒng)光互連網(wǎng)絡研究[D];華中科技大學;2008年

4 李顯勇;幾類光互連網(wǎng)絡的診斷性與容錯性[D];重慶大學;2014年

相關(guān)碩士學位論文 前10條

1 楊深圳;面向分布式計算的光互連節(jié)點設計與實現(xiàn)[D];北京郵電大學;2019年

2 姜濤;E級高性能計算系統(tǒng)光互連網(wǎng)絡架構(gòu)研究[D];西安電子科技大學;2018年

3 齊世雄;面向多應用的高性能光互連訪存架構(gòu)研究[D];西安電子科技大學;2018年

4 宋少鴻;基于FPGA的光互連網(wǎng)絡實驗平臺設計[D];浙江大學;2014年

5 葉進;片上光互連網(wǎng)絡拓撲結(jié)構(gòu)和路由算法研究[D];國防科學技術(shù)大學;2013年

6 任珊珊;片上光互連網(wǎng)絡性能分析工具的設計與實現(xiàn)[D];國防科學技術(shù)大學;2012年

7 李翠婷;硅基微環(huán)諧振光路由器件及三維光互連網(wǎng)絡的設計與模擬[D];吉林大學;2017年

8 孫志祥;基于PCI總線的高速光互連網(wǎng)絡接口技術(shù)研究[D];天津大學;2005年

9 馬磊;面向高性能計算的光互連技術(shù)研究[D];國防科學技術(shù)大學;2007年

10 張華良;自由空間光互連網(wǎng)絡的光學實現(xiàn)及其集成化研究[D];國防科學技術(shù)大學;2011年

本文編號：2595571