【摘要】：認知無線電是一種提高頻譜利用率的技術(shù),其中,動態(tài)資源分配是其關(guān)鍵技術(shù)之一。強化學習算法通過與環(huán)境的動態(tài)交互進行學習,可以得到與環(huán)境匹配的最優(yōu)決策,已經(jīng)廣泛應(yīng)用于認知無線電領(lǐng)域。本文主要研究基于單Agent Q學習和多Agent Q學習的動態(tài)資源分配算法。首先,研究了應(yīng)用于集中式認知無線網(wǎng)絡(luò)的單Agent Q學習算法。針對集中式網(wǎng)絡(luò)中傳統(tǒng)單Agent Q學習算法的資源分配效率較低的問題,提出了基于信息強度的啟發(fā)式Q學習(Pheromone Stringency Based Heuristically Accelerated Q Learning,PS-HAQL)算法。在啟發(fā)式函數(shù)中引入信息強度,突出性能表現(xiàn)好的動作,減少Agent不必要的探索,提高了算法收斂速度。同時提出了基于指導函數(shù)的改進啟發(fā)式Q學習(Improved Heuristically Accelerated Q-learning,IHAQL)算法。仿真結(jié)果表明,PS-HAQL算法性能優(yōu)于傳統(tǒng)Q學習算法,IHAQL算法性能優(yōu)于PS-HAQL算法。然后,研究了應(yīng)用于分布式認知無線網(wǎng)絡(luò)的多Agent Q學習算法。針對傳統(tǒng)多Agent Q學習中各Agent間獨立學習對收斂速度和系統(tǒng)性能的影響,提出了一種不完全協(xié)作Q學習算法(Incomplete cooperative Q-learning,ICQL)和一種完全協(xié)作 Q 學習算法(Completely cooperative Q-learning,CCQL),各Agent通過Q值不同方式的共享和融合來相互借鑒學習經(jīng)驗,加快分布式網(wǎng)絡(luò)資源分配的速度。仿真結(jié)果表明,協(xié)作Q學習算法的性能優(yōu)于傳統(tǒng)獨立Q學習算法,完全協(xié)作Q學習算法性能優(yōu)于不完全協(xié)作Q學習算法。最后,將本文提出的上述四種改進Q學習分別與案例推理技術(shù)結(jié)合得到四種組合算法,實現(xiàn)資源分配。由于傳統(tǒng)Q學習的Q值初始化為0,其平等對待優(yōu)劣動作,影響Q學習的尋優(yōu)速度和最優(yōu)解性能。對此,本文選擇最相似案例用來初始化當前問題,并利用上述四種改進Q學習進行迭代尋優(yōu),用于集中式和分布式網(wǎng)絡(luò)的資源分配。仿真結(jié)果表明,四種組合算法的性能分別優(yōu)于PS-HAQL、IHAQL、ICQL和CCQL算法。
【圖文】：

會得到環(huán)境反饋的正獎賞值ｒ，則Ａｇｅｎｔ會提高再次選擇該動作ａ的概率；當Ａｇｅｎｔ選逡逑擇執(zhí)行的動作表現(xiàn)不佳時，會得到環(huán)境反饋的負獎賞值，則Ａｇｅｎｔ會降低再次選擇該動作ａ逡逑的概率。其基本模型如圖２．１所示［５６］，逡逑７逡逑

針對集中式認知無線電網(wǎng)絡(luò)的信道和功率分配問題，本章利用上述提出的改進啟發(fā)式Ｑ逡逑學習算法來解決。假設(shè)該網(wǎng)絡(luò)中有Ｍ個主用戶，Ｋ個認知用戶，以及Ｎ個可用于主用戶和逡逑認知用戶的信道，集中式網(wǎng)絡(luò)拓撲結(jié)構(gòu)如圖２．４所示。主用戶以一定概率在其信道上傳輸信逡逑息，各信道在一個時刻只能被一個主用戶或認知用戶占用。各認知用戶能準確感知信道被逡逑占用的情況［３６］，然后反饋給中心基站。因此，，中心基站被視為學習Ａｇｅｎｔ，為所有認知用戶逡逑進行信道和功率的分配。逡逑夕邋＇＇＇逡逑＇＼義｜少７逡逑圖２．４集中式網(wǎng)絡(luò)拓撲結(jié)構(gòu)逡逑２．３．３系統(tǒng)模塊設(shè)計逡逑以下是系統(tǒng)的基本模塊設(shè)計：逡逑（１）
【學位授予單位】：杭州電子科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TN925;TP181

【參考文獻】

相關(guān)期刊論文 前5條

1 康俊麗;郭坤祺;曹亞蘭;王思璇;;一種多Agent系統(tǒng)頻譜接入算法[J];無線通信技術(shù);2015年04期

2 伍春;江虹;易克初;;聚類多Agent強化學習認知無線電資源分配[J];北京郵電大學學報;2014年01期

3 徐勇;果鑫;劉豐年;文鴻;張文平;李長云;;一種基于模糊Q學習算法的認知無線電頻譜分配策略[J];湖南工業(yè)大學學報;2013年02期

4 江虹;伍春;劉勇;;基于強化學習的頻譜決策與傳輸算法[J];系統(tǒng)仿真學報;2013年03期

5 賴海超;趙知勁;鄭仕鏈;;應(yīng)用案例推理技術(shù)的快速認知引擎[J];信號處理;2012年12期

本文編號：2709967