【摘要】：針對頻譜共享中信道狀態(tài)建模為完全知識馬爾科夫時,應(yīng)用受限的問題,提出了不同信道下基于信道感知的在線學(xué)習(xí)。根據(jù)授權(quán)用戶是否存在于當(dāng)前信道來選擇激進發(fā)送或保守發(fā)送,由于保守發(fā)送時,信道狀態(tài)是不可觀測的,因此將信道模型建模為部分可觀測馬爾科夫決策過程。將信道未知情況下的最優(yōu)傳輸策略建模為多臂賭博機模型。仿真結(jié)果表明,在信道不完全可知情況下的多臂賭博機在線學(xué)習(xí)算法能獲得最優(yōu)K步策略,并通過UCB-TUNED方法改善了最優(yōu)傳輸?shù)腒步保守策略的收斂性。
【圖文】：

計算機工程與設(shè)計２０１４年１系統(tǒng)模型假設(shè)在授權(quán)用戶網(wǎng)絡(luò)中，每個信道只有兩種狀態(tài)Ｓ，即二值的Ｇｉｌｂｅｒｔ－Ｅｌｌｉｏｔｔ馬爾科夫鏈：如圖１所示，當(dāng)Ｓ＝１時，表示當(dāng)前信道空閑；當(dāng)Ｓ＝０時，表示當(dāng)前狀態(tài)忙碌。圖１中λ０為信道的狀態(tài)從忙到空閑的轉(zhuǎn)移概率，（１－λ１）為信道的狀態(tài)從空閑到忙碌的轉(zhuǎn)移概率。圖１Ｇ－Ｅ信道模型１．１基于ＰＯＭＤＰ的信道建模的速率傳輸才能成功。轉(zhuǎn)移概率為假設(shè)當(dāng)前信道為Ｇｉｌｂｅｒｔ－Ｅｌｌｉｏｔｔ信道即具有二值狀態(tài)的馬爾科夫鏈，當(dāng)Ｓ＝１時，表示當(dāng)前信道處于空閑，對于ＳＵ而言信道狀態(tài)較好，能夠成功地高速傳輸數(shù)據(jù)；當(dāng)Ｓ＝０時，表示當(dāng)前信道忙碌，對ＳＵ而言信道狀態(tài)較差，ＳＵ只有以較低Ｐ＝Ｐ００Ｐ０１Ｐ１０Ｐ［］１１＝１－λ０λ０１－λ１λ［］１（１）令α＝λ１－λ０，假設(shè)信道為正相關(guān)，則α＞０。在每一次時隙的開始，ＳＵ需要做出動作選擇：（１）保守發(fā)送（ＳＣ）：ＳＵ低速數(shù)據(jù)傳輸。在該動作下，不管當(dāng)前信道處于何種狀態(tài)，ＳＵ傳輸數(shù)據(jù)均能取得成功，并取得回報Ｒ１。因此，在該動作下ＳＵ不能對信道狀態(tài)進行學(xué)習(xí)。（２）激進發(fā)送（ＳＡ）：ＳＵ高速數(shù)據(jù)傳輸。如果信道狀態(tài)好，ＳＵ高速數(shù)據(jù)傳輸獲得成功，并得到回報Ｒ２，且有Ｒ２＞Ｒ１；如果信道狀態(tài)差，高速數(shù)據(jù)傳輸將導(dǎo)致很高的錯誤率和丟包率，，并獲得懲罰值Ｃ。因此，在該動作下ＳＵ可以通過學(xué)習(xí)獲得信道下一時刻的狀態(tài)。當(dāng)保守發(fā)送時，信道的狀態(tài)并不能直接觀察，因此本文將該問題建模為ＰＯＭＤＰ模型。該ＰＯ

計算機工程與設(shè)計２０１４年ｌｏｇｎｎｉｍｉｎ１４，Ｖｉ（ｎｉ｛｝i幔┭≡褡畬蟮模眨茫祿潁眨茫攏裕酰睿澹淶鬧底魑鼻暗淖鈑瘧郟⒃誦械鼻白鈑瘧�。ｅｎｄ傚P潁澹睿洌媯錚蚍掄娣治觶焊菀隕纖惴ú街璧貿(mào)鐾跡場跡�。哇E澄ü眨茫濾惴�，获得同一胳n耍埃劍埃常逗挺耍保劍埃梗斃諾雷刺濾斜鄣謀硐鄭渲械北畚筆筆歉瞇諾雷刺碌淖鈑瘧郟孀旁誦惺奔湓黽櫻郟北謊≈性誦械氖奔潯惹饗蠐冢�，而茰O鄣氖褂寐是饗蠐冢�，磦蝤諛I(yè)階鈑瘧邸Ｍ姆椒ǹ傻玫狡淥耍昂挺耍倍雜Φ淖鈑瘧�。哇E誠嗤諾雷刺碌淖鈑瘧弁跡床煌諾雷刺碌淖鈑瘧弁跡迪嗤諾雷刺攏眨茫攏裕眨危牛暮蟮淖鈑瘧弁跡次ü眨茫濾惴�，获得不同的λ０和λ乐Z雷刺露雜ψ鈑瘧鄣氖樟殘�，从哇E粗鋅杉�，随着时紲Z腦黽櫻鈑瘧郾謊≈性誦械氖奔潯戎鸞デ饔冢�。哇E滴ü眨茫攏簦酰潁睿澹淥惴ǎ桓靚耍昂挺耍斃糯鎰賜跡恫煌諾雷刺攏眨茫攏裕眨危牛暮蟮淖鈑瘧厶攏斜鄣謀硐鄭臚跡擔(dān)眨茫濾惴ㄏ啾冉�，收敛藗R雀�。哇E段ü眨茫攏簦酰潁睿澹淥惴�，不同的λ０和λ乐Z雷刺攏鄣氖樟殘雜臚跡叮眨茫濾惴ㄏ啾冉�，收敛藗R雀臁＃唇崾锏鼻靶諾雷鈑糯浯蠖際腔諭耆抖孕諾瀾�，本螑离秳颥F(xiàn)尷叩緇肪巢煌耆芍榭魷攏諾瀾Ｎ糠摯曬鄄飴磯品蜆蹋岢雋嘶詼啾鄱牟┗淖鈑糯淶腦諳哐胺椒�。窉噫分析钡a鰨諦諾啦煌耆芍榭魷碌畝啾鄱牟┗諳哐八惴ㄓ肽芑竦米鈑牛瞬講唄浴Ｍ

本文編號：2534338