水聲信道復(fù)雜多變,自適應(yīng)調(diào)制系統(tǒng)中反饋信息存在較大的時延,實際信道狀態(tài)與接收到的反饋信息無法匹配,帶來反饋信道狀態(tài)信息過時問題,發(fā)送端不能準(zhǔn)確做出自適應(yīng)決策進而導(dǎo)致傳輸誤碼高及吞吐量低等問題。針對該問題,利用強化學(xué)習(xí)中的SARSA算法學(xué)習(xí)信道的變化并進行行為策略的選擇,根據(jù)信道的變化,擇優(yōu)選出最佳的調(diào)制方式,以改善系統(tǒng)的傳輸誤碼和通信吞吐量。對比固定調(diào)制方式和直接反饋情況下的系統(tǒng)的誤碼率和吞吐量,結(jié)果表明,經(jīng)強化學(xué)習(xí)后的系統(tǒng)誤碼率和吞吐量均優(yōu)于其他兩種方式,可見,強化學(xué)習(xí)算法在時變水聲信道自適應(yīng)調(diào)制中改善傳輸誤碼和吞吐量的問題上是有效可行的。 

【文章來源】：科學(xué)技術(shù)與工程. 2020,20(16)北大核心

【文章頁數(shù)】：5 頁

【部分圖文】：

基于SARSA算法的水聲自適應(yīng)調(diào)制系統(tǒng)

強化學(xué)習(xí)屬于機器學(xué)習(xí)的一個分支,主要解決智能體通過不斷地試錯與探索,將狀態(tài)與動作之間關(guān)聯(lián)起來,最終達到獲得最大獎勵回報累積量的問題。其基本原理是:如果智能體(agent)執(zhí)行的某個動作策略導(dǎo)致環(huán)境對智能體的獎賞(reward)越大,則智能體以后采用這個動作策略的概率就會加強,反之得到的獎賞越小,智能體產(chǎn)生這個動作的概率就會減弱[10]。強化學(xué)習(xí)中把學(xué)習(xí)過程看作一個不斷的試錯和探索過程,其原理框圖如圖2所示。在本文算法中,采用不同時刻的信道信噪比{s1,s2,…,st}為狀態(tài)集,以四種不同的調(diào)制方式作{a1,a2,…,at}為動作集,各狀態(tài)在不同動作下與環(huán)境交互產(chǎn)生的吞吐量作為獎勵,即環(huán)境根據(jù)狀態(tài)與動作給出合理的反饋。系統(tǒng)得到的累計獎賞[11]為

研究水下長時延傳輸導(dǎo)致的發(fā)射端接收到的反饋信息過時,進而不能準(zhǔn)確選擇自適應(yīng)調(diào)制方式的問題。仿真環(huán)境示意圖如圖3所示。建立水下場景,收發(fā)端水平放置于水面下,具體參數(shù)設(shè)置見文獻[9]所示,發(fā)射機每隔15 min發(fā)送一次信號序列,并記錄下每次信道狀態(tài)的變化。3.2 仿真參數(shù)

【參考文獻】：
期刊論文
[1]基于馬爾科夫狀態(tài)空間的水聲正交頻分復(fù)用技術(shù)資源分配[J]. 王安義,余龍,張育芝.  科學(xué)技術(shù)與工程. 2018(32)
[2]M2M通信中基于多智能體強化學(xué)習(xí)的無線資源分配算法[J]. 徐少毅,鄭姍姍.  北京交通大學(xué)學(xué)報. 2018(05)
[3]基于SARSA算法的水庫長期隨機優(yōu)化調(diào)度研究[J]. 李文武,張雪映,Daniel Eliote Mbanze,吳巍.  水電能源科學(xué). 2018(09)
[4]采用雙層強化學(xué)習(xí)的干擾決策算法[J]. 顓孫少帥,楊俊安,劉輝,黃科舉.  西安交通大學(xué)學(xué)報. 2018(02)
[5]正交頻分復(fù)用水聲通信自適應(yīng)調(diào)制算法[J]. 羅亞松,胡生亮,劉志坤,呂顯春.  國防科技大學(xué)學(xué)報. 2017(01)
[6]強化學(xué)習(xí)研究綜述[J]. 陳學(xué)松,楊宜民.  計算機應(yīng)用研究. 2010(08)
[7]強化學(xué)習(xí)研究綜述[J]. 高陽,陳世福,陸鑫.  自動化學(xué)報. 2004(01)

博士論文
[1]基于信道自適應(yīng)的水聲網(wǎng)絡(luò)多節(jié)點接入機制研究[D]. 張育芝.西北工業(yè)大學(xué) 2016

碩士論文
[1]基于強化學(xué)習(xí)的自適應(yīng)調(diào)制編碼技術(shù)的研究[D]. 李程坤.杭州電子科技大學(xué) 2018
[2]強化學(xué)習(xí)方法及應(yīng)用技術(shù)研究[D]. 李浩.西安電子科技大學(xué) 2012



本文編號：3601395