【摘要】：伴隨著移動(dòng)互聯(lián)網(wǎng),物聯(lián)網(wǎng),大數(shù)據(jù)以及云計(jì)算的發(fā)展,網(wǎng)絡(luò)用戶數(shù)量和網(wǎng)絡(luò)規(guī)模飛速增長(zhǎng),同時(shí)網(wǎng)絡(luò)業(yè)務(wù)日益多樣化,網(wǎng)絡(luò)結(jié)構(gòu)也越來越復(fù)雜。面對(duì)網(wǎng)絡(luò)中呈爆炸性增長(zhǎng)的流量,如何通過合理的控制和調(diào)度方法來實(shí)現(xiàn)網(wǎng)絡(luò)流量的負(fù)載均衡,避免網(wǎng)絡(luò)擁塞的發(fā)生,從而保證網(wǎng)絡(luò)服務(wù)質(zhì)量,提高網(wǎng)絡(luò)吞吐率已經(jīng)成為了計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域越發(fā)重要的研究課題。不論是在因云計(jì)算和互聯(lián)網(wǎng)而興起的大量數(shù)據(jù)中心網(wǎng)絡(luò)中,還是在十幾年來不斷更新?lián)Q代的骨干網(wǎng)和局域網(wǎng)通信網(wǎng)絡(luò)中,傳統(tǒng)的流量調(diào)度和擁塞控制解決方案都顯得越來越力不從心。這是由于傳統(tǒng)解決方案往往是針對(duì)于某些具體網(wǎng)絡(luò)和流量場(chǎng)景的,隨著新的網(wǎng)絡(luò)結(jié)構(gòu)和流量模式不斷出現(xiàn),針對(duì)具體網(wǎng)絡(luò)場(chǎng)景的解決方案將不再適用于新的環(huán)境,因此有必要提出一種適用性廣泛的智能網(wǎng)絡(luò)流量控制方案。最近幾年,歸功于計(jì)算機(jī)硬件運(yùn)算能力的提升,深度學(xué)習(xí)(Deep Learning,DL)得到了巨大的成功。與此同時(shí),結(jié)合了DL和強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)的深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning,DRL)也在很多領(lǐng)域取得了突破性的進(jìn)展,其在機(jī)器人和工業(yè)自動(dòng)化領(lǐng)域的表現(xiàn)證明了深度強(qiáng)化學(xué)習(xí)在智能控制的實(shí)現(xiàn)上有著的巨大潛力。與此同時(shí),軟件定義網(wǎng)絡(luò)(Software Defined Network,SDN)的出現(xiàn)和發(fā)展使得網(wǎng)絡(luò)的控制變得更加高效和方便。這些都為實(shí)現(xiàn)更加智能的網(wǎng)絡(luò)流量控制方案提供了新的機(jī)遇。本文對(duì)網(wǎng)絡(luò)流量控制的問題進(jìn)行了研究,并結(jié)合深度強(qiáng)化學(xué)習(xí)路由策略優(yōu)化和SDN流量控制提出了一種新型的智能網(wǎng)絡(luò)流量控制方案。本文主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下:1.基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)流量調(diào)度算法本文首先對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)中的負(fù)載均衡和流量調(diào)度問題進(jìn)行了研究,分析了目前數(shù)據(jù)中心網(wǎng)絡(luò)中常見的幾種流量調(diào)度方案以及其所存在的問題。在此基礎(chǔ)上,本文以網(wǎng)絡(luò)路由策略優(yōu)化為目標(biāo)進(jìn)行了網(wǎng)絡(luò)流量調(diào)度問題的建模并提出了基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)流量調(diào)度算法,同時(shí)對(duì)于算法中的流量調(diào)度順序問題,創(chuàng)新性地提出了流調(diào)度優(yōu)先級(jí)算法。2.基于深度強(qiáng)化學(xué)習(xí)和SDN架構(gòu)的智能網(wǎng)絡(luò)流量控制方案在基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)流量調(diào)度算法基礎(chǔ)上,本文結(jié)合SDN架構(gòu)提出了系統(tǒng)性的智能網(wǎng)絡(luò)流量控制方案,該方案通過基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)流量調(diào)度算法來計(jì)算網(wǎng)絡(luò)的全局最優(yōu)路由策略,而SDN控制器則為流量調(diào)度決策提供相應(yīng)的網(wǎng)絡(luò)流量信息,并根據(jù)決策輸出進(jìn)行相應(yīng)的流量調(diào)度和控制,從而實(shí)現(xiàn)網(wǎng)絡(luò)的負(fù)載均衡。3.不同拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)下的仿真對(duì)比驗(yàn)證為了驗(yàn)證基于深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)流量調(diào)度算法對(duì)不同拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)的實(shí)用性,本文在Fat-tree和隨機(jī)拓?fù)浣Y(jié)構(gòu)兩種仿真網(wǎng)絡(luò)環(huán)境中對(duì)算法進(jìn)行了測(cè)試,同時(shí)以幾種傳統(tǒng)的流量調(diào)度算法作為對(duì)比以評(píng)估算法的實(shí)際效果。仿真實(shí)驗(yàn)的結(jié)果表明,不論是在典型數(shù)據(jù)中心網(wǎng)絡(luò)還是隨機(jī)拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)中,基于深度強(qiáng)化學(xué)習(xí)的智能網(wǎng)絡(luò)流量調(diào)度算法都能夠比傳統(tǒng)流量調(diào)度算法更有效地提高網(wǎng)絡(luò)平均吞吐率,改善網(wǎng)絡(luò)質(zhì)量。
【圖文】：

發(fā)展進(jìn)入了爆發(fā)期。逡逑S緬義賢跡玻采疃壬窬縋Ｐ褪疽饌煎義賢跡玻彩且桓齔＜納疃壬窬縋Ｐ�，由谆e劣曳直鶚鞘淙氬悖ǎ椋睿穡酰翦義希歟幔澹潁礁鲆夭悖ǎ瑁椋洌洌澹鑠澹歟幔輳蓿潁┮約笆涑霾悖ǎ錚酰簦穡酰翦澹歟幔澹潁�。从模型结构蓚b村義纖擔(dān)疃妊暗哪Ｐ途嗖憬峁�，每查斏覛gㄊ康腦慫愕ピㄒ渤莆獃L經(jīng)元）逡逑１６逡逑

深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為卷積神經(jīng)網(wǎng)絡(luò)，輸入為當(dāng)前最近的４幀圖像，圖像在被輸入逡逑前會(huì)經(jīng)過預(yù)處理，圖像數(shù)據(jù)在輸入后會(huì)經(jīng)過兩個(gè)卷積層，之后經(jīng)過兩個(gè)全連接層，逡逑最終在輸出層輸出所有可選動(dòng)作的狀態(tài)－動(dòng)作值（Ｑ值），模型的架構(gòu)如圖２－３所逡逑不。逡逑卷積層邐卷積層邐全連接層邐全連接層逡逑%煎

本文編號(hào)：2612753