【摘要】：針對(duì)頻譜共享中信道狀態(tài)建模為完全知識(shí)馬爾科夫時(shí),應(yīng)用受限的問(wèn)題,提出了不同信道下基于信道感知的在線學(xué)習(xí)。根據(jù)授權(quán)用戶是否存在于當(dāng)前信道來(lái)選擇激進(jìn)發(fā)送或保守發(fā)送,由于保守發(fā)送時(shí),信道狀態(tài)是不可觀測(cè)的,因此將信道模型建模為部分可觀測(cè)馬爾科夫決策過(guò)程。將信道未知情況下的最優(yōu)傳輸策略建模為多臂賭博機(jī)模型。仿真結(jié)果表明,在信道不完全可知情況下的多臂賭博機(jī)在線學(xué)習(xí)算法能獲得最優(yōu)K步策略,并通過(guò)UCB-TUNED方法改善了最優(yōu)傳輸?shù)腒步保守策略的收斂性。
【圖文】：

計(jì)算機(jī)工程與設(shè)計(jì)２０１４年１系統(tǒng)模型假設(shè)在授權(quán)用戶網(wǎng)絡(luò)中，每個(gè)信道只有兩種狀態(tài)Ｓ，即二值的Ｇｉｌｂｅｒｔ－Ｅｌｌｉｏｔｔ馬爾科夫鏈：如圖１所示，當(dāng)Ｓ＝１時(shí)，表示當(dāng)前信道空閑；當(dāng)Ｓ＝０時(shí)，表示當(dāng)前狀態(tài)忙碌。圖１中λ０為信道的狀態(tài)從忙到空閑的轉(zhuǎn)移概率，（１－λ１）為信道的狀態(tài)從空閑到忙碌的轉(zhuǎn)移概率。圖１Ｇ－Ｅ信道模型１．１基于ＰＯＭＤＰ的信道建模的速率傳輸才能成功。轉(zhuǎn)移概率為假設(shè)當(dāng)前信道為Ｇｉｌｂｅｒｔ－Ｅｌｌｉｏｔｔ信道即具有二值狀態(tài)的馬爾科夫鏈，當(dāng)Ｓ＝１時(shí)，表示當(dāng)前信道處于空閑，對(duì)于ＳＵ而言信道狀態(tài)較好，能夠成功地高速傳輸數(shù)據(jù)；當(dāng)Ｓ＝０時(shí)，表示當(dāng)前信道忙碌，對(duì)ＳＵ而言信道狀態(tài)較差，ＳＵ只有以較低Ｐ＝Ｐ００Ｐ０１Ｐ１０Ｐ［］１１＝１－λ０λ０１－λ１λ［］１（１）令α＝λ１－λ０，假設(shè)信道為正相關(guān)，則α＞０。在每一次時(shí)隙的開(kāi)始，ＳＵ需要做出動(dòng)作選擇：（１）保守發(fā)送（ＳＣ）：ＳＵ低速數(shù)據(jù)傳輸。在該動(dòng)作下，不管當(dāng)前信道處于何種狀態(tài)，ＳＵ傳輸數(shù)據(jù)均能取得成功，并取得回報(bào)Ｒ１。因此，在該動(dòng)作下ＳＵ不能對(duì)信道狀態(tài)進(jìn)行學(xué)習(xí)。（２）激進(jìn)發(fā)送（ＳＡ）：ＳＵ高速數(shù)據(jù)傳輸。如果信道狀態(tài)好，ＳＵ高速數(shù)據(jù)傳輸獲得成功，并得到回報(bào)Ｒ２，且有Ｒ２＞Ｒ１；如果信道狀態(tài)差，高速數(shù)據(jù)傳輸將導(dǎo)致很高的錯(cuò)誤率和丟包率，，并獲得懲罰值Ｃ。因此，在該動(dòng)作下ＳＵ可以通過(guò)學(xué)習(xí)獲得信道下一時(shí)刻的狀態(tài)。當(dāng)保守發(fā)送時(shí)，信道的狀態(tài)并不能直接觀察，因此本文將該問(wèn)題建模為ＰＯＭＤＰ模型。該ＰＯ

計(jì)算機(jī)工程與設(shè)計(jì)２０１４年ｌｏｇｎｎｉｍｉｎ１４，Ｖｉ（ｎｉ｛｝i幔┭≡褡畬蟮模眨茫祿潁眨茫攏裕酰睿澹淶鬧底魑鼻暗淖鈑瘧郟⒃誦械鼻白鈑瘧�。ｅｎｄ傚P潁澹睿洌媯錚蚍掄娣治觶焊菀隕纖惴ú街璧貿(mào)鐾跡場(chǎng)跡丁Ｍ跡澄ü眨茫濾惴�，获得同一胳n耍埃劍埃常逗挺耍保劍埃梗斃諾雷刺濾斜鄣謀硐鄭渲械北畚筆筆歉瞇諾雷刺碌淖鈑瘧郟孀旁誦惺奔湓黽櫻郟北謊≈性誦械氖奔潯惹饗蠐冢保淥鄣氖褂寐是饗蠐冢�，磦蝤諛I(yè)階鈑瘧邸Ｍ姆椒ǹ傻玫狡淥耍昂挺耍倍雜Φ淖鈑瘧�。哇E誠(chéng)嗤諾雷刺碌淖鈑瘧弁跡床煌諾雷刺碌淖鈑瘧弁跡迪嗤諾雷刺攏眨茫攏裕眨危牛暮蟮淖鈑瘧弁跡次ü眨茫濾惴ǎ竦貌煌摩耍昂挺耍斃諾雷刺露雜ψ鈑瘧鄣氖樟殘?jiān)，从哇E粗鋅杉孀攀奔淶腦黽櫻鈑瘧郾謊≈性誦械氖奔潯戎鸞デ饔冢�。哇E滴ü眨茫攏簦酰潁睿澹淥惴ǎ桓靚耍昂挺耍斃糯鎰賜跡恫煌諾雷刺攏眨茫攏裕眨危牛暮蟮淖鈑瘧厶攏斜鄣謀硐鄭臚跡擔(dān)眨茫濾惴ㄏ啾冉�，收敛藗R雀臁Ｍ跡段ü眨茫攏簦酰潁睿澹淥惴�，不同的λ０和λ乐Z雷刺攏鄣氖樟殘雜臚跡叮眨茫濾惴ㄏ啾冉�，收敛藗R雀�。４结束语当前兄Z雷鈑糯浯蠖際腔諭耆抖孕諾瀾＃疚惱攵勻現(xiàn)尷叩緇肪巢煌耆芍榭魷攏諾瀾Ｎ糠摯曬鄄飴磯品蜆�，提畴h嘶詼啾鄱牟┗淖鈑糯淶腦諳哐胺椒ā７掄娣治霰礱鰨諦諾啦煌耆芍榭魷碌畝啾鄱牟┗諳哐八惴ㄓ肽芑竦米鈑牛瞬講唄�。同�

本文編號(hào)：2534338