【摘要】：針對認知無線電多用戶的信道和功率資源分配問題,提出一種基于用戶聚類和可變學(xué)習(xí)速率的多Agent強化學(xué)習(xí)方法.首先使用分層處理分離信道選擇與功率控制,采用快速最優(yōu)搜索結(jié)合用戶數(shù)均衡調(diào)節(jié)實現(xiàn)信道分配;其次,使用隨機博弈框架對多用戶功率控制問題進行建模,通過K均值用戶聚類減少博弈參與用戶數(shù)量和降低單個用戶的環(huán)境復(fù)雜度,并使用可變Q學(xué)習(xí)速率和策略學(xué)習(xí)速率的方法進一步促進多Agent強化學(xué)習(xí)的收斂.仿真結(jié)果表明,該方法能使多個用戶的功率狀態(tài)和總收益有效收斂,并且使整體性能達到次優(yōu).
[Abstract]:To solve the problem of multi-user channel and power resource allocation in cognitive radio, a multi-Agent reinforcement learning method based on user clustering and variable learning rate is proposed. Firstly, the hierarchical processing is used to separate channel selection and power control, and the fast optimal search combined with user number equalization is used to achieve channel allocation. Secondly, a stochastic game framework is used to model the multi-user power control problem. The K-means user clustering is used to reduce the number of users involved in the game and to reduce the environmental complexity of a single user, and the variable Q learning rate and the strategy learning rate are used to further promote the convergence of multiple Agent reinforcement learning. The simulation results show that the proposed method can effectively converge the power state and the total revenue of multiple users and make the overall performance suboptimal.
【作者單位】： 西安電子科技大學(xué)綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國家重點實驗室;西南科技大學(xué)國防科技學(xué)院;
【基金】：國家自然科學(xué)基金項目(61379005) 國家重點基礎(chǔ)研究發(fā)展計劃項目(2009CB320403) 國家科技重大專項基金項目(2009ZX03007-004) 西安電子科技大學(xué)ISN實驗室開放課題(ISN10-09)
【分類號】：TN925

【參考文獻】

相關(guān)期刊論文 前1條

1 趙成林;李鵬;蔣挺;;快速收斂的認知無線電功率控制算法[J];北京郵電大學(xué)學(xué)報;2009年01期

【共引文獻】

相關(guān)期刊論文 前6條

1 蔣青;楊克利;唐倫;;基于博弈論的最優(yōu)認知中繼網(wǎng)絡(luò)功率控制[J];重慶郵電大學(xué)學(xué)報(自然科學(xué)版);2011年02期

2 滕志軍;韓雪;楊旭;;認知無線電中基于多次博弈的功率控制算法[J];電信科學(xué);2011年08期

3 滕志軍;楊旭;韓雪;;基于多次博弈的認知無線電頻譜動態(tài)分配算法[J];電子技術(shù)應(yīng)用;2012年07期

4 胡圖;景志宏;李馮敬;;一種改進的認知無線網(wǎng)絡(luò)功率控制博弈算法[J];計算機科學(xué);2012年02期

5 傅波;陳鑫;何勇;吳敏;;多智能體合作環(huán)境下的分布式強化學(xué)習(xí)[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2013年S1期

6 吳迎笑;楊震;;基于頻譜感知的認知無線電機會功率控制算法[J];儀器儀表學(xué)報;2010年06期

相關(guān)博士學(xué)位論文 前4條

1 張靜;認知無線網(wǎng)絡(luò)決策與管理關(guān)鍵技術(shù)的研究[D];北京郵電大學(xué);2011年

2 BACH THANHQUY（白青貴）;電力批發(fā)市場中基于強化學(xué)習(xí)的參與者行為特性研究[D];湖南大學(xué);2013年

3 王沖;基于Agent的對地觀測衛(wèi)星分布式協(xié)同任務(wù)規(guī)劃研究[D];國防科學(xué)技術(shù)大學(xué);2011年

4 滕志軍;基于認知無線電的頻譜管理算法與MIMO系統(tǒng)容量分析[D];哈爾濱工程大學(xué);2012年

相關(guān)碩士學(xué)位論文 前4條

1 周然;認知無線網(wǎng)絡(luò)功率分配算法的研究[D];北京郵電大學(xué);2010年

2 郭永亮;基于非線性鏈路代價函數(shù)的功率控制博弈設(shè)計[D];哈爾濱工程大學(xué);2012年

3 劉冰;基于SIR平衡的CDMA分布式功率控制算法研究[D];南京郵電大學(xué);2012年

4 胡文妤;認知無線網(wǎng)絡(luò)中的功率分配問題研究[D];華中科技大學(xué);2012年

【二級參考文獻】

相關(guān)期刊論文 前2條

1 滿成圓,劉雁,周文安,宋俊德;基于博弈論的寬帶無線系統(tǒng)功率控制算法研究[J];北京郵電大學(xué)學(xué)報;2005年05期

2 程世倫;楊震;;基于信干比的認知無線電自適應(yīng)功率控制算法[J];電子與信息學(xué)報;2008年01期

【相似文獻】

相關(guān)期刊論文 前10條

1 孫彬;楊震;田峰;;基于代價函數(shù)的認知無線電功率控制博弈算法[J];南京郵電大學(xué)學(xué)報(自然科學(xué)版);2010年05期

2 楊樂;;認知無線電關(guān)鍵技術(shù)研究[J];電子元器件應(yīng)用;2011年08期

3 周良臣;;認知無線電體系結(jié)構(gòu)分析[J];電訊技術(shù);2010年03期

4 邱晶;鄒衛(wèi)霞;;認知無線電中的動態(tài)頻率選擇和功率控制研究[J];系統(tǒng)仿真學(xué)報;2008年07期

5 盛惠興;霍冠英;王海濱;;認知無線電——智能的無線通信技術(shù)[J];計算機測量與控制;2007年11期

6 文凱;洪波;;IEEE 802.22環(huán)境下的認知無線網(wǎng)絡(luò)功率控制研究[J];電視技術(shù);2010年02期

7 李圣安;王保云;;一種新的智能無線技術(shù)——認知無線電技術(shù)[J];電信快報;2005年11期

8 郭彩麗;張?zhí)炜?曾志民;馮春燕;;認知無線電關(guān)鍵技術(shù)及應(yīng)用的研究現(xiàn)狀[J];電信科學(xué);2006年08期

9 程世倫;楊震;;一種新型認知無線電資源分配跨層技術(shù)[J];南京郵電大學(xué)學(xué)報(自然科學(xué)版);2008年02期

10 王霞;朱琦;;一種改進的認知無線電博弈功控算法[J];信號處理;2009年05期

相關(guān)會議論文 前10條

1 李銳;羅新民;鄧建國;;基于博弈論的多用戶認知無線電網(wǎng)絡(luò)分布式功率控制[A];第一屆中國高校通信類院系學(xué)術(shù)研討會論文集[C];2007年

2 水永升;;基于信干比的認知無線電功率控制博弈算法[A];2009年全國無線電應(yīng)用與管理學(xué)術(shù)會議論文集[C];2009年

3 武森;金海燕;高學(xué)東;;數(shù)據(jù)挖掘中CABOSFV聚類算法的實現(xiàn)與應(yīng)用[A];全國第八屆工業(yè)工程與企業(yè)信息化學(xué)術(shù)會議論文集[C];2004年

4 杜方鍵;楊宏暉;;K均值聚類優(yōu)化集成學(xué)習(xí)[A];2011'中國西部聲學(xué)學(xué)術(shù)交流會論文集[C];2011年

5 周驥;;淺談?wù)J知無線電在軍事領(lǐng)域的應(yīng)用[A];四川省通信學(xué)會2010年學(xué)術(shù)年會論文集[C];2010年

6 穆向禹;浦劍濤;張樹武;徐波;;基于狀態(tài)子空間聚類的多層MLLR自適應(yīng)算法[A];第七屆全國人機語音通訊學(xué)術(shù)會議（NCMMSC7）論文集[C];2003年

7 周祖榮;管君;;TD-SCDMA系統(tǒng)中基于智能天線的功率控制方法[A];中國電子學(xué)會第十五屆信息論學(xué)術(shù)年會暨第一屆全國網(wǎng)絡(luò)編碼學(xué)術(shù)年會論文集（上冊）[C];2008年

8 劉慶軍;畢少筠;孫進;劉天雄;;認知無線電技術(shù)在衛(wèi)星導(dǎo)航系統(tǒng)中的應(yīng)用前景[A];第三屆中國衛(wèi)星導(dǎo)航學(xué)術(shù)年會電子文集——S09組合導(dǎo)航與導(dǎo)航新方法[C];2012年

9 饒鮮;李斌;楊紹全;;用核聚類法進行異常檢測[A];信號與信息處理技術(shù)第三屆信號與信息處理全國聯(lián)合學(xué)術(shù)會議論文集[C];2004年

10 楊廣林;趙云峰;王書理;;Gabor濾波器及其在圖像特征提取方面的優(yōu)化算法[A];2005年中國智能自動化會議論文集[C];2005年

相關(guān)重要報紙文章 前10條

1 本報記者 盧子月;認知無線電讓網(wǎng)絡(luò)不再擁擠[N];通信產(chǎn)業(yè)報;2011年

2 特約撰稿人 吳康迪;日本4G路線明晰 “催熟”新技術(shù)[N];通信產(chǎn)業(yè)報;2009年

3 江蘇泰州市無線電管理辦公室 劉瀏 竇沛沛;認知無線電整合“閑散”頻譜[N];通信產(chǎn)業(yè)報;2009年

4 王云鶴　熊立;武漢電信直銷中心劍指聚類市場[N];人民郵電;2009年

5 記者 肖卓;聚類市場：想挖金礦不容易[N];人民郵電;2009年

6 張秋;突破聚類市場的信息化盲區(qū)[N];中國計算機報;2007年

7 北京市電信規(guī)劃設(shè)計院 王玨;從點看面現(xiàn)有CDMA網(wǎng)絡(luò)如何工作？[N];計算機世界;2004年

8 中國科學(xué)院計算技術(shù)研究所 王 斌;內(nèi)容為王[N];計算機世界;2004年

9 本報記者 朱杰;無線頻譜資源的優(yōu)化者[N];中國計算機報;2010年

10 符信;30個指標(biāo)評價社會發(fā)展水平[N];南方日報;2005年

相關(guān)博士學(xué)位論文 前10條

1 馬志W(wǎng)，

本文編號：2127670