突發(fā)流量在網(wǎng)絡(luò)中非常普遍,會嚴重損害用戶體驗。突發(fā)流量往往能在短時間(如毫秒級別)內(nèi)充滿鏈路,導致網(wǎng)絡(luò)擁塞和頻繁分組丟失,端到端時延增加。傳統(tǒng)路由算法要么是流量無關(guān)(如OSPF(open shortest path first,開放式最短路徑優(yōu)先))的,無法對實時流量的變化做出調(diào)整;要么是集中式控制的(如線性規(guī)劃),面臨求解時延過大而無法有效應(yīng)對突發(fā)流量的問題。提出了一種新的智能路由算法解決突發(fā)流量的問題。一方面,提出的算法能利用機器學習強大的建模能力,通過對網(wǎng)絡(luò)歷史數(shù)據(jù)的挖掘來學習"隱式"的路由決策依據(jù)。另一方面,提出的算法能借助機器學習的快速推理能力降低決策時延,提高系統(tǒng)對突發(fā)流量的響應(yīng)速度。實驗結(jié)果表明,在真實流量數(shù)據(jù)集下,相比較其他路由算法,提出的智能路由算法能降低13%～70%的瓶頸鏈路利用率。

【文章頁數(shù)】：9 頁

【部分圖文】：

圖4在Abilene數(shù)據(jù)集下的MLUratio性能對比

首先，在Abilene數(shù)據(jù)集下的MLUratio性能對比如圖4所示。在Abilene數(shù)據(jù)集下，本文算法能取得平均1.31的MLUratio性能，而DRL-TE、SP、KSP、ECMP和OR分別取得1.51、1.82、4.2、2.31和2.52的MLUratio的性能。本文算....

圖2智能節(jié)點示意圖

本節(jié)介紹強化學習智能體（包括動作、狀態(tài)和獎勵3部分）的建模過程。(1）策略和動作

圖3多智能體強化學習的建模

其次，本文采用5種典型路由算法作為對比實驗，它們分別是最短路優(yōu)先算法（shortestpathfirst,SPF）、K條最短路徑（K-shortest-path,KSP）等價多路徑（equal-costmulti-path,ECMP)[4]，深度強化學習—流量工程（deep....

圖1智能路由體系架構(gòu)

本文基于深度強化學習的準確建模能力和快速推理能力來設(shè)計智能路由算法。智能路由體系架構(gòu)如圖1所示，整個算法架構(gòu)分為離線訓練系統(tǒng)和在線推理系統(tǒng)兩部分。因為機器學習的訓練過程慢，但是推理速度很快，因此本文提出應(yīng)將訓練過程和推理過程分離以保證推理速度。其中，訓練過程發(fā)生在線下訓練中心。訓....

本文編號：3928571