針對(duì)傳統(tǒng)路由算法不能適應(yīng)拓?fù)洵h(huán)境及網(wǎng)絡(luò)負(fù)載變化導(dǎo)致的擁塞問(wèn)題,提出了一種改進(jìn)的低時(shí)延全回波Q路由算法。改進(jìn)算法對(duì)于原有算法附加學(xué)習(xí)率因子進(jìn)行替換,使用調(diào)節(jié)范圍更大、適應(yīng)性更好、算法性能更穩(wěn)健的雙曲正割算子;改進(jìn)算法根據(jù)不同網(wǎng)絡(luò)情況自適應(yīng)地調(diào)節(jié)學(xué)習(xí)率,進(jìn)而提供合理的路由決策。仿真結(jié)果表明,該算法可以適應(yīng)于靜、動(dòng)態(tài)拓?fù)洵h(huán)境,與已有的路由算法相比,改進(jìn)算法能有效地減少高、低負(fù)載時(shí)數(shù)據(jù)的平均遞交時(shí)間,降低路由間的振蕩,提高數(shù)據(jù)包的投遞率,且體現(xiàn)更好的穩(wěn)健性。 

【文章來(lái)源】：系統(tǒng)工程與電子技術(shù). 2020年04期 第940-947頁(yè) 北大核心

【文章頁(yè)數(shù)】：8 頁(yè)

【部分圖文】：

AQFE-M算法高低負(fù)載下學(xué)習(xí)率參數(shù)的變化

式中，k2為常數(shù)，一般取值范圍為（0,1）。附加的學(xué)習(xí)率可以在鄰居平均遞交時(shí)間相差不大時(shí)增大學(xué)習(xí)率，反之，減少學(xué)習(xí)率。sech為雙曲正割函數(shù)，該函數(shù)曲線(xiàn)如圖2所示，在（0，+∞]是嚴(yán)格的平滑遞減函數(shù)。sech[(Tmax-Test）/k2]的值域?yàn)椋?,1]。當(dāng)函數(shù)定義域的范圍大于4時(shí)，函數(shù)的變化速率迅速變慢，使網(wǎng)絡(luò)路由學(xué)習(xí)策略轉(zhuǎn)化為執(zhí)行當(dāng)前策略為主。定義域的值趨近于0，即節(jié)點(diǎn)所有鄰居的平均遞交時(shí)間與最大遞交時(shí)間差值相近，sech值接近于1，此時(shí)路由學(xué)習(xí)策略轉(zhuǎn)化為增加探索能力以尋找更加合適的路徑，此時(shí)η′≈η，學(xué)習(xí)率比較高，算法具有較高路由靈敏度，能夠迅速進(jìn)行路由調(diào)整；當(dāng)路由選擇較小延遲路徑后，此時(shí)節(jié)點(diǎn)所有鄰居的平均遞交時(shí)間與最大遞交時(shí)間差值較大，sech值較小，自適應(yīng)學(xué)習(xí)率因子η′較小，當(dāng)前網(wǎng)絡(luò)迅速轉(zhuǎn)化為利用當(dāng)前的路由策略。η′的調(diào)節(jié)可以尋求在探索與利用之間的平衡，在高、低負(fù)載時(shí)尋找信源與信宿之間的遞交時(shí)延最短路徑。如圖3所示為改進(jìn)算法中靜態(tài)網(wǎng)絡(luò)瓶頸節(jié)點(diǎn)21經(jīng)過(guò)一段學(xué)習(xí)周期在高低負(fù)載下學(xué)習(xí)率參數(shù)sech[(TmaxTest）/k2]的變化情況。初始情況下由于決策節(jié)點(diǎn)對(duì)周?chē)W(wǎng)絡(luò)環(huán)境不了解，因此需要進(jìn)行有效的路徑探索，如圖3(a）所示，在低負(fù)載時(shí)，初始階段學(xué)習(xí)率參數(shù)較高，網(wǎng)絡(luò)學(xué)習(xí)一段時(shí)間之后，在仿真時(shí)間接近200時(shí)，靜態(tài)網(wǎng)絡(luò)下的路由情況趨于穩(wěn)定，學(xué)習(xí)率參數(shù)保持恒定，無(wú)需對(duì)學(xué)習(xí)率參數(shù)進(jìn)行過(guò)多的調(diào)節(jié)。在高負(fù)載下，網(wǎng)絡(luò)路由情況較為復(fù)雜，路由抖動(dòng)增加，學(xué)習(xí)率參數(shù)可以對(duì)不同情況下路由進(jìn)行調(diào)節(jié)，當(dāng)網(wǎng)絡(luò)較為擁塞時(shí)，增加對(duì)周?chē)行窂降奶剿�，否則減少路由探索。學(xué)習(xí)率控制已有的Q值與更新的Q值之間的差異，將學(xué)習(xí)率調(diào)節(jié)為較大值時(shí)，Q值更新更依賴(lài)于當(dāng)前學(xué)習(xí)的經(jīng)驗(yàn)，相反，將學(xué)習(xí)率調(diào)節(jié)為較小值時(shí)，Q值更新更依賴(lài)于先前學(xué)習(xí)的經(jīng)驗(yàn)[12]。根據(jù)圖1(b）中AQFE-M算法高負(fù)載下學(xué)習(xí)率參數(shù)的變化情況可知，AQFE-M算法在700～2 000仿真時(shí)間單位時(shí)，學(xué)習(xí)率參數(shù)大多保持在0.5～0.7之間較小的調(diào)節(jié)范圍，路由可調(diào)節(jié)的范圍較小。如圖3(b）所示，改進(jìn)算法可以在（0,1）范圍內(nèi)對(duì)學(xué)習(xí)率參數(shù)進(jìn)行調(diào)節(jié)，當(dāng)路由狀況良好時(shí)，學(xué)習(xí)率參數(shù)保持在0～0.2之間較低的水平，利用先前已學(xué)習(xí)到的路由策略；當(dāng)路由狀況較為擁塞時(shí)，節(jié)點(diǎn)更依賴(lài)于當(dāng)前的學(xué)習(xí)，因此會(huì)增加當(dāng)前路由探索，學(xué)習(xí)率參數(shù)更多集中在0.2～0.8之間的較高的范圍。因此改進(jìn)算法通過(guò)增加學(xué)習(xí)率參數(shù)的變化范圍，使附加學(xué)習(xí)率η′在較大范圍內(nèi)自適應(yīng)進(jìn)行調(diào)節(jié)，更好地平衡了路由中探索與利用之間的關(guān)系，進(jìn)而適應(yīng)不同網(wǎng)絡(luò)參數(shù)變化情況。

如圖3所示為改進(jìn)算法中靜態(tài)網(wǎng)絡(luò)瓶頸節(jié)點(diǎn)21經(jīng)過(guò)一段學(xué)習(xí)周期在高低負(fù)載下學(xué)習(xí)率參數(shù)sech[(TmaxTest）/k2]的變化情況。初始情況下由于決策節(jié)點(diǎn)對(duì)周?chē)W(wǎng)絡(luò)環(huán)境不了解，因此需要進(jìn)行有效的路徑探索，如圖3(a）所示，在低負(fù)載時(shí)，初始階段學(xué)習(xí)率參數(shù)較高，網(wǎng)絡(luò)學(xué)習(xí)一段時(shí)間之后，在仿真時(shí)間接近200時(shí)，靜態(tài)網(wǎng)絡(luò)下的路由情況趨于穩(wěn)定，學(xué)習(xí)率參數(shù)保持恒定，無(wú)需對(duì)學(xué)習(xí)率參數(shù)進(jìn)行過(guò)多的調(diào)節(jié)。在高負(fù)載下，網(wǎng)絡(luò)路由情況較為復(fù)雜，路由抖動(dòng)增加，學(xué)習(xí)率參數(shù)可以對(duì)不同情況下路由進(jìn)行調(diào)節(jié)，當(dāng)網(wǎng)絡(luò)較為擁塞時(shí)，增加對(duì)周?chē)行窂降奶剿�，否則減少路由探索。學(xué)習(xí)率控制已有的Q值與更新的Q值之間的差異，將學(xué)習(xí)率調(diào)節(jié)為較大值時(shí)，Q值更新更依賴(lài)于當(dāng)前學(xué)習(xí)的經(jīng)驗(yàn)，相反，將學(xué)習(xí)率調(diào)節(jié)為較小值時(shí)，Q值更新更依賴(lài)于先前學(xué)習(xí)的經(jīng)驗(yàn)[12]。根據(jù)圖1(b）中AQFE-M算法高負(fù)載下學(xué)習(xí)率參數(shù)的變化情況可知，AQFE-M算法在700～2 000仿真時(shí)間單位時(shí)，學(xué)習(xí)率參數(shù)大多保持在0.5～0.7之間較小的調(diào)節(jié)范圍，路由可調(diào)節(jié)的范圍較小。如圖3(b）所示，改進(jìn)算法可以在（0,1）范圍內(nèi)對(duì)學(xué)習(xí)率參數(shù)進(jìn)行調(diào)節(jié)，當(dāng)路由狀況良好時(shí)，學(xué)習(xí)率參數(shù)保持在0～0.2之間較低的水平，利用先前已學(xué)習(xí)到的路由策略；當(dāng)路由狀況較為擁塞時(shí)，節(jié)點(diǎn)更依賴(lài)于當(dāng)前的學(xué)習(xí)，因此會(huì)增加當(dāng)前路由探索，學(xué)習(xí)率參數(shù)更多集中在0.2～0.8之間的較高的范圍。因此改進(jìn)算法通過(guò)增加學(xué)習(xí)率參數(shù)的變化范圍，使附加學(xué)習(xí)率η′在較大范圍內(nèi)自適應(yīng)進(jìn)行調(diào)節(jié)，更好地平衡了路由中探索與利用之間的關(guān)系，進(jìn)而適應(yīng)不同網(wǎng)絡(luò)參數(shù)變化情況。3 仿真結(jié)果及分析


本文編號(hào)：2911470