【摘要】：針對(duì)認(rèn)知無(wú)線(xiàn)電多用戶(hù)的信道和功率資源分配問(wèn)題,提出一種基于用戶(hù)聚類(lèi)和可變學(xué)習(xí)速率的多Agent強(qiáng)化學(xué)習(xí)方法.首先使用分層處理分離信道選擇與功率控制,采用快速最優(yōu)搜索結(jié)合用戶(hù)數(shù)均衡調(diào)節(jié)實(shí)現(xiàn)信道分配;其次,使用隨機(jī)博弈框架對(duì)多用戶(hù)功率控制問(wèn)題進(jìn)行建模,通過(guò)K均值用戶(hù)聚類(lèi)減少博弈參與用戶(hù)數(shù)量和降低單個(gè)用戶(hù)的環(huán)境復(fù)雜度,并使用可變Q學(xué)習(xí)速率和策略學(xué)習(xí)速率的方法進(jìn)一步促進(jìn)多Agent強(qiáng)化學(xué)習(xí)的收斂.仿真結(jié)果表明,該方法能使多個(gè)用戶(hù)的功率狀態(tài)和總收益有效收斂,并且使整體性能達(dá)到次優(yōu).
[Abstract]:To solve the problem of multi-user channel and power resource allocation in cognitive radio, a multi-Agent reinforcement learning method based on user clustering and variable learning rate is proposed. Firstly, the hierarchical processing is used to separate channel selection and power control, and the fast optimal search combined with user number equalization is used to achieve channel allocation. Secondly, a stochastic game framework is used to model the multi-user power control problem. The K-means user clustering is used to reduce the number of users involved in the game and to reduce the environmental complexity of a single user, and the variable Q learning rate and the strategy learning rate are used to further promote the convergence of multiple Agent reinforcement learning. The simulation results show that the proposed method can effectively converge the power state and the total revenue of multiple users and make the overall performance suboptimal.
【作者單位】： 西安電子科技大學(xué)綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室;西南科技大學(xué)國(guó)防科技學(xué)院;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61379005) 國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃項(xiàng)目(2009CB320403) 國(guó)家科技重大專(zhuān)項(xiàng)基金項(xiàng)目(2009ZX03007-004) 西安電子科技大學(xué)ISN實(shí)驗(yàn)室開(kāi)放課題(ISN10-09)
【分類(lèi)號(hào)】：TN925

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 趙成林;李鵬;蔣挺;;快速收斂的認(rèn)知無(wú)線(xiàn)電功率控制算法[J];北京郵電大學(xué)學(xué)報(bào);2009年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前6條

1 蔣青;楊克利;唐倫;;基于博弈論的最優(yōu)認(rèn)知中繼網(wǎng)絡(luò)功率控制[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年02期

2 滕志軍;韓雪;楊旭;;認(rèn)知無(wú)線(xiàn)電中基于多次博弈的功率控制算法[J];電信科學(xué);2011年08期

3 滕志軍;楊旭;韓雪;;基于多次博弈的認(rèn)知無(wú)線(xiàn)電頻譜動(dòng)態(tài)分配算法[J];電子技術(shù)應(yīng)用;2012年07期

4 胡圖;景志宏;李馮敬;;一種改進(jìn)的認(rèn)知無(wú)線(xiàn)網(wǎng)絡(luò)功率控制博弈算法[J];計(jì)算機(jī)科學(xué);2012年02期

5 傅波;陳鑫;何勇;吳敏;;多智能體合作環(huán)境下的分布式強(qiáng)化學(xué)習(xí)[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年S1期

6 吳迎笑;楊震;;基于頻譜感知的認(rèn)知無(wú)線(xiàn)電機(jī)會(huì)功率控制算法[J];儀器儀表學(xué)報(bào);2010年06期

相關(guān)博士學(xué)位論文 前4條

1 張靜;認(rèn)知無(wú)線(xiàn)網(wǎng)絡(luò)決策與管理關(guān)鍵技術(shù)的研究[D];北京郵電大學(xué);2011年

2 BACH THANHQUY（白青貴）;電力批發(fā)市場(chǎng)中基于強(qiáng)化學(xué)習(xí)的參與者行為特性研究[D];湖南大學(xué);2013年

3 王沖;基于Agent的對(duì)地觀(guān)測(cè)衛(wèi)星分布式協(xié)同任務(wù)規(guī)劃研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

4 滕志軍;基于認(rèn)知無(wú)線(xiàn)電的頻譜管理算法與MIMO系統(tǒng)容量分析[D];哈爾濱工程大學(xué);2012年

相關(guān)碩士學(xué)位論文 前4條

1 周然;認(rèn)知無(wú)線(xiàn)網(wǎng)絡(luò)功率分配算法的研究[D];北京郵電大學(xué);2010年

2 郭永亮;基于非線(xiàn)性鏈路代價(jià)函數(shù)的功率控制博弈設(shè)計(jì)[D];哈爾濱工程大學(xué);2012年

3 劉冰;基于SIR平衡的CDMA分布式功率控制算法研究[D];南京郵電大學(xué);2012年

4 胡文妤;認(rèn)知無(wú)線(xiàn)網(wǎng)絡(luò)中的功率分配問(wèn)題研究[D];華中科技大學(xué);2012年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 滿(mǎn)成圓,劉雁,周文安,宋俊德;基于博弈論的寬帶無(wú)線(xiàn)系統(tǒng)功率控制算法研究[J];北京郵電大學(xué)學(xué)報(bào);2005年05期

2 程世倫;楊震;;基于信干比的認(rèn)知無(wú)線(xiàn)電自適應(yīng)功率控制算法[J];電子與信息學(xué)報(bào);2008年01期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫彬;楊震;田峰;;基于代價(jià)函數(shù)的認(rèn)知無(wú)線(xiàn)電功率控制博弈算法[J];南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年05期

2 楊樂(lè);;認(rèn)知無(wú)線(xiàn)電關(guān)鍵技術(shù)研究[J];電子元器件應(yīng)用;2011年08期

3 周良臣;;認(rèn)知無(wú)線(xiàn)電體系結(jié)構(gòu)分析[J];電訊技術(shù);2010年03期

4 邱晶;鄒衛(wèi)霞;;認(rèn)知無(wú)線(xiàn)電中的動(dòng)態(tài)頻率選擇和功率控制研究[J];系統(tǒng)仿真學(xué)報(bào);2008年07期

5 盛惠興;霍冠英;王海濱;;認(rèn)知無(wú)線(xiàn)電——智能的無(wú)線(xiàn)通信技術(shù)[J];計(jì)算機(jī)測(cè)量與控制;2007年11期

6 文凱;洪波;;IEEE 802.22環(huán)境下的認(rèn)知無(wú)線(xiàn)網(wǎng)絡(luò)功率控制研究[J];電視技術(shù);2010年02期

7 李圣安;王保云;;一種新的智能無(wú)線(xiàn)技術(shù)——認(rèn)知無(wú)線(xiàn)電技術(shù)[J];電信快報(bào);2005年11期

8 郭彩麗;張?zhí)炜?曾志民;馮春燕;;認(rèn)知無(wú)線(xiàn)電關(guān)鍵技術(shù)及應(yīng)用的研究現(xiàn)狀[J];電信科學(xué);2006年08期

9 程世倫;楊震;;一種新型認(rèn)知無(wú)線(xiàn)電資源分配跨層技術(shù)[J];南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年02期

10 王霞;朱琦;;一種改進(jìn)的認(rèn)知無(wú)線(xiàn)電博弈功控算法[J];信號(hào)處理;2009年05期

相關(guān)會(huì)議論文 前10條

1 李銳;羅新民;鄧建國(guó);;基于博弈論的多用戶(hù)認(rèn)知無(wú)線(xiàn)電網(wǎng)絡(luò)分布式功率控制[A];第一屆中國(guó)高校通信類(lèi)院系學(xué)術(shù)研討會(huì)論文集[C];2007年

2 水永升;;基于信干比的認(rèn)知無(wú)線(xiàn)電功率控制博弈算法[A];2009年全國(guó)無(wú)線(xiàn)電應(yīng)用與管理學(xué)術(shù)會(huì)議論文集[C];2009年

3 武森;金海燕;高學(xué)東;;數(shù)據(jù)挖掘中CABOSFV聚類(lèi)算法的實(shí)現(xiàn)與應(yīng)用[A];全國(guó)第八屆工業(yè)工程與企業(yè)信息化學(xué)術(shù)會(huì)議論文集[C];2004年

4 杜方鍵;楊宏暉;;K均值聚類(lèi)優(yōu)化集成學(xué)習(xí)[A];2011'中國(guó)西部聲學(xué)學(xué)術(shù)交流會(huì)論文集[C];2011年

5 周驥;;淺談?wù)J知無(wú)線(xiàn)電在軍事領(lǐng)域的應(yīng)用[A];四川省通信學(xué)會(huì)2010年學(xué)術(shù)年會(huì)論文集[C];2010年

6 穆向禹;浦劍濤;張樹(shù)武;徐波;;基于狀態(tài)子空間聚類(lèi)的多層MLLR自適應(yīng)算法[A];第七屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議（NCMMSC7）論文集[C];2003年

7 周祖榮;管君;;TD-SCDMA系統(tǒng)中基于智能天線(xiàn)的功率控制方法[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集（上冊(cè)）[C];2008年

8 劉慶軍;畢少筠;孫進(jìn);劉天雄;;認(rèn)知無(wú)線(xiàn)電技術(shù)在衛(wèi)星導(dǎo)航系統(tǒng)中的應(yīng)用前景[A];第三屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)電子文集——S09組合導(dǎo)航與導(dǎo)航新方法[C];2012年

9 饒鮮;李斌;楊紹全;;用核聚類(lèi)法進(jìn)行異常檢測(cè)[A];信號(hào)與信息處理技術(shù)第三屆信號(hào)與信息處理全國(guó)聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2004年

10 楊廣林;趙云峰;王書(shū)理;;Gabor濾波器及其在圖像特征提取方面的優(yōu)化算法[A];2005年中國(guó)智能自動(dòng)化會(huì)議論文集[C];2005年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 盧子月;認(rèn)知無(wú)線(xiàn)電讓網(wǎng)絡(luò)不再擁擠[N];通信產(chǎn)業(yè)報(bào);2011年

2 特約撰稿人 吳康迪;日本4G路線(xiàn)明晰 “催熟”新技術(shù)[N];通信產(chǎn)業(yè)報(bào);2009年

3 江蘇泰州市無(wú)線(xiàn)電管理辦公室 劉瀏 竇沛沛;認(rèn)知無(wú)線(xiàn)電整合“閑散”頻譜[N];通信產(chǎn)業(yè)報(bào);2009年

4 王云鶴　熊立;武漢電信直銷(xiāo)中心劍指聚類(lèi)市場(chǎng)[N];人民郵電;2009年

5 記者 肖卓;聚類(lèi)市場(chǎng)：想挖金礦不容易[N];人民郵電;2009年

6 張秋;突破聚類(lèi)市場(chǎng)的信息化盲區(qū)[N];中國(guó)計(jì)算機(jī)報(bào);2007年

7 北京市電信規(guī)劃設(shè)計(jì)院 王玨;從點(diǎn)看面現(xiàn)有CDMA網(wǎng)絡(luò)如何工作？[N];計(jì)算機(jī)世界;2004年

8 中國(guó)科學(xué)院計(jì)算技術(shù)研究所 王 斌;內(nèi)容為王[N];計(jì)算機(jī)世界;2004年

9 本報(bào)記者 朱杰;無(wú)線(xiàn)頻譜資源的優(yōu)化者[N];中國(guó)計(jì)算機(jī)報(bào);2010年

10 符信;30個(gè)指標(biāo)評(píng)價(jià)社會(huì)發(fā)展水平[N];南方日?qǐng)?bào);2005年

相關(guān)博士學(xué)位論文 前10條

1 馬志W(wǎng)，

本文編號(hào)：2127670