針對(duì)認(rèn)知無線傳感器網(wǎng)絡(luò)中頻譜接入算法的頻譜利用率不高、重要經(jīng)驗(yàn)利用率不足、收斂速度慢等問題,提出了一種采用優(yōu)先經(jīng)驗(yàn)回放雙深度Q-Learning的動(dòng)態(tài)頻譜接入算法。該算法的次用戶對(duì)經(jīng)驗(yàn)庫進(jìn)行抽樣時(shí),采用基于優(yōu)先級(jí)抽樣的方式,以打破樣本相關(guān)性并充分利用重要的經(jīng)驗(yàn)樣本,并采用一種非排序批量刪除方式刪除經(jīng)驗(yàn)庫的無用經(jīng)驗(yàn)樣本,以降低能量開銷。仿真結(jié)果表明,該算法與采用雙深度Q-Learning的頻譜接入算法相比提高了收斂速度;與傳統(tǒng)隨機(jī)頻譜接入算法相比,其阻塞概率降低了6%～10%,吞吐量提高了18%～20%,提高了系統(tǒng)的性能。 

【文章來源】：電訊技術(shù). 2020,60(05)北大核心

【文章頁數(shù)】：7 頁

【部分圖文】：

PU信道流量模型及信道質(zhì)量模型

本文采用一種基于累積求和的二叉樹結(jié)構(gòu)作為經(jīng)驗(yàn)庫的存儲(chǔ)結(jié)構(gòu)。如圖2所示，每一個(gè)底層的葉子節(jié)點(diǎn)存儲(chǔ)一個(gè)樣本的數(shù)據(jù)和優(yōu)先級(jí)，而其余節(jié)點(diǎn)不存儲(chǔ)樣本數(shù)據(jù)，只存儲(chǔ)左與右兒子節(jié)點(diǎn)的優(yōu)先級(jí)求和結(jié)果。每一個(gè)樣本的優(yōu)先級(jí)采用數(shù)字區(qū)間表示，樣本的優(yōu)先級(jí)越高，則其對(duì)應(yīng)的數(shù)字區(qū)間越長(zhǎng)。為了避免δ小的經(jīng)驗(yàn)樣本沒有進(jìn)行回放就已經(jīng)被刪除，本文采取了貪婪算法進(jìn)行經(jīng)驗(yàn)庫的抽樣操作。令Eer為[0,1]的精度為10-4的隨機(jī)數(shù)，為(0,1)區(qū)間的一個(gè)固定常數(shù)，若，則在所有樣本中隨機(jī)抽取m個(gè)經(jīng)驗(yàn)樣本;若，則首先將總數(shù)字區(qū)間分成m個(gè)相等大小的區(qū)間，在每個(gè)區(qū)間內(nèi)隨機(jī)抽取一個(gè)數(shù)字，并在經(jīng)驗(yàn)庫的累積求和二叉樹中從根節(jié)點(diǎn)開始查找該數(shù)字，回放該數(shù)字對(duì)應(yīng)的經(jīng)驗(yàn)樣本。因此，經(jīng)驗(yàn)庫中樣本k被回放的概率Per(k)可以通過公式(11)進(jìn)行計(jì)算:

綜上所述，本文提出的PER-DDQN算法將隨機(jī)的初始信道狀態(tài)作為Q神經(jīng)網(wǎng)絡(luò)的輸入，根據(jù)輸出的Q值指導(dǎo)SU選擇信道執(zhí)行感知接入，將執(zhí)行的經(jīng)驗(yàn)數(shù)據(jù)保存在經(jīng)驗(yàn)庫中;然后，根據(jù)經(jīng)驗(yàn)庫的一小批量數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行計(jì)算與更新，并將感知結(jié)果作為神經(jīng)網(wǎng)絡(luò)下一個(gè)時(shí)隙的輸入，通過不斷地訓(xùn)練學(xué)習(xí)，能夠降低隨機(jī)選擇信道的盲目性，極大地提高感知的成功概率，使信道質(zhì)量好并且空閑的信道優(yōu)先被利用，有助于提高頻譜效率。3 仿真與分析

【參考文獻(xiàn)】：
期刊論文
[1]基于深度學(xué)習(xí)的跑道前視紅外圖像輪廓線提取[J]. 袁雷,程岳,牛文生,羅午陽.  電訊技術(shù). 2019(02)
[2]基于頻譜空隙利用率的頻譜感知時(shí)間優(yōu)化[J]. 沈一豪,李莉,裴仁超,羅漢文.  上海師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(01)
[3]基于網(wǎng)絡(luò)編碼的衰落信道頻譜感知算法[J]. 鄭詩庭,蒙云番,邢杰,萬海斌,覃團(tuán)發(fā).  電訊技術(shù). 2015(09)
[4]第五代移動(dòng)通信系統(tǒng)5G標(biāo)準(zhǔn)化展望與關(guān)鍵技術(shù)研究[J]. 周一青,潘振崗,翟國(guó)偉,田霖.  數(shù)據(jù)采集與處理. 2015(04)



本文編號(hào)：3060653