在異構(gòu)Macro-femto蜂窩網(wǎng)絡(luò)中,隨著日益增長的用戶數(shù)量使得基站能耗問題變得更加嚴(yán)峻,提升整個移動系統(tǒng)能效的有效方式就是進(jìn)行基站休眠。根據(jù)無模型理論提出一種基于Sarsa學(xué)習(xí)的動態(tài)基站休眠算法,算法通過基站學(xué)習(xí)環(huán)境中的用戶流量,制定合理的休眠機制。仿真結(jié)果表明,提出的基于Sarsa學(xué)習(xí)的基站休眠算法能夠有效提升系統(tǒng)能效。

【文章頁數(shù)】：8 頁

【部分圖文】：

圖1全雙工異構(gòu)蜂窩網(wǎng)絡(luò)場景

本文的系統(tǒng)模型是建立在全雙工雙層異構(gòu)蜂窩網(wǎng)絡(luò)的基礎(chǔ)上,由宏基站(macrobasestation,MBS)和K個家庭基站(femtobasestations,FBS)組成,如圖1。為了保證覆蓋,MBS一直處于工作狀態(tài);FBS有2種模式,工作狀態(tài)或者休眠狀態(tài)。當(dāng)FBS處....

圖2強化學(xué)習(xí)模型

強化學(xué)習(xí)模型如圖2,Agent通過感知環(huán)境,形成內(nèi)部狀態(tài)集S,從初始狀態(tài)s出發(fā),通過貪婪算法選擇動作a并作用于環(huán)境,環(huán)境通過動作的觸發(fā)轉(zhuǎn)移到下一個狀態(tài)s′,并獲得立即收益,不斷地學(xué)習(xí)并進(jìn)行狀態(tài)轉(zhuǎn)移,得到每個狀態(tài)-動作對的累積收益值,從而使Agent在每個狀態(tài)的累積收益值中選擇最大....

圖3Sarsa學(xué)習(xí)框架

圖3為基站與環(huán)境的學(xué)習(xí)過程,可以建模為4元組[s(t),a(t),R(s,a),s′(t)],t表示離散時間�；驹跔顟B(tài)s(t)時,通過行為決策a(t),有些基站會選擇休眠,其服務(wù)的用戶會進(jìn)行重關(guān)聯(lián)使得每個基站的狀態(tài)即用戶數(shù)發(fā)生改變,進(jìn)而轉(zhuǎn)移到狀態(tài)s′(t),計算在狀態(tài)s′(t)....

圖4系統(tǒng)平均能效隨FBS用戶傳輸功率變化圖

圖4描述了FBS用戶傳輸功率Pu對3種算法的系統(tǒng)平均能效的影響。圖4中可以看出,3種算法的系統(tǒng)平均能效隨著FBS用戶傳輸功率Pu的增大而減小。其主要原因是:根據(jù)(7)式可知,FBS用戶傳輸功率Pu的增大會導(dǎo)致上行信道系統(tǒng)容量的減小,而(7)式中表明系統(tǒng)能效與上行信道的系統(tǒng)容量....

本文編號：3985096