發(fā)布時(shí)間：2021-06-29 06:18

　　移動(dòng)邊緣計(jì)算是指在接近手機(jī)或者移動(dòng)終端的地方提供給它們一定的計(jì)算能力,即將一部分計(jì)算能力賦予邊緣基站,從而使其擁有輔助用戶智能處理業(yè)務(wù)的能力。移動(dòng)邊緣計(jì)算把網(wǎng)絡(luò)業(yè)務(wù)“下沉”到無線接入網(wǎng)里,因此具備三大優(yōu)點(diǎn):更低延時(shí)、有效抑制了網(wǎng)絡(luò)擁塞、更多的網(wǎng)絡(luò)信息及網(wǎng)絡(luò)控制功能可以開放給開發(fā)者。深度增強(qiáng)學(xué)習(xí)是一種將深度學(xué)習(xí)（Deep Learning）和增強(qiáng)學(xué)習(xí)（Reinforcement Learning）結(jié)合起來的學(xué)習(xí)方法,深度學(xué)習(xí)用來提供學(xué)習(xí)的機(jī)制,而增強(qiáng)學(xué)習(xí)為深度學(xué)習(xí)提供學(xué)習(xí)的目標(biāo),它結(jié)合了深度學(xué)習(xí)在問題感知上的強(qiáng)大的理解能力和強(qiáng)化學(xué)習(xí)的探索決策能力,這使得它能夠解決現(xiàn)實(shí)場(chǎng)景中更為復(fù)雜的問題。由于移動(dòng)邊緣計(jì)算中的應(yīng)用需求非常符合深度增強(qiáng)學(xué)習(xí)的相關(guān)特點(diǎn),即問題存在復(fù)雜性的同時(shí)又需要及時(shí)得到問題的解,因此采用深度增強(qiáng)學(xué)習(xí)來解決其中的應(yīng)用問題也成為了一種可以探索的方向。本文主要以深度增強(qiáng)學(xué)習(xí)方法為主,例如DQN、A3C等,來用于解決移動(dòng)邊緣計(jì)算中的在線緩存策略問題、緩存替換問題、在線DASH資源分配問題,主要包括以下研究?jī)?nèi)容:1)針對(duì)在線緩存策略問題,采用DQN的方法來解決相應(yīng)的策略決策問題,能夠... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：79 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1分布式緩存系統(tǒng)模型，邊緣基站數(shù)量為3，用戶數(shù)量為5

第二章運(yùn)用深度增強(qiáng)學(xué)習(xí)解決在線緩存策略問題的研究11圖2-2文件流行度信息擬合算法一種基于UCB算法的方法在文章[41]中提出，用于在n"中施加擾動(dòng)信息從而得到接近最優(yōu)估計(jì)值的n""，其中擾動(dòng)因子的表達(dá)式如算法1中第4行所描述的形式，其中|U(nS)|表示與基站nS相連接的用戶數(shù)量，這個(gè)擾動(dòng)因子是基于改進(jìn)的組合UCB算法，目的是為了促進(jìn)基于齊夫分布的參數(shù)開發(fā)-探索（exploitation-exploration）過程，例如對(duì)于一些不經(jīng)常被訪問緩存的文件，這種方法可以人為的增加對(duì)于這類文件的流行度統(tǒng)計(jì)信息，從而使得在決策中能夠被考慮或者緩存下來。因子nfT,是直到時(shí)間t為止，文件f被緩存在邊緣基站n上的次數(shù)，當(dāng)nf,>0就認(rèn)為任務(wù)被緩存了。帶編碼本地學(xué)習(xí)相比于無編碼本地學(xué)習(xí)而言，增加了對(duì)于文件緩存信息的松弛條件，即可以采用編碼的方式將文件緩存在邊緣基站，只要用戶從所連接的邊緣基站獲取足夠的編碼文件信息就可以恢復(fù)出原文件，因此可以建模成下式（2-5）：1111,0,s.t.FFfffUufffnMSSLmaxL(2-5)相比于無編碼形式，帶編碼形式的變化在于緩存的形式。但是基站之間本身不存在聯(lián)合決策，都是各自決定各自的文件信息，這樣的方式對(duì)于編碼形式的文件而言其實(shí)沒有充分運(yùn)用編碼帶來的好處，因此在下面小節(jié)中介紹帶編碼聯(lián)合學(xué)習(xí)策略。2.2.1.3帶編碼聯(lián)合學(xué)習(xí)在上述緩存策略問題的方法中，其實(shí)核心是最大化用戶reward。當(dāng)給定時(shí)間t的用戶請(qǐng)求f，可以首先對(duì)邊緣基站進(jìn)行排序，主要是按照t-1時(shí)刻估計(jì)的n""進(jìn)

第二章運(yùn)用深度增強(qiáng)學(xué)習(xí)解決在線緩存策略問題的研究17圖2-3實(shí)驗(yàn)場(chǎng)景拓?fù)鋱D假設(shè)小區(qū)中有7個(gè)基站，每個(gè)基站都可以服務(wù)于小區(qū)中的用戶，80個(gè)用戶隨機(jī)落在12個(gè)區(qū)域當(dāng)中，并且每個(gè)用戶只與最近的一組基站通信，例如I區(qū)域中的用戶可以和基站2、3、5通信，A區(qū)域中的用戶可以和基站0、1通信。每個(gè)時(shí)隙內(nèi)用戶總共產(chǎn)生160個(gè)文件請(qǐng)求，這些請(qǐng)求會(huì)發(fā)送給臨近的基站，再由控制器收集信息，文件集合大小為50，每個(gè)文件大S_f∈{1,3,5,7,9}，邊緣服務(wù)器的緩存大小M=50，用戶產(chǎn)生的請(qǐng)求服從齊夫分布，齊夫分布的參數(shù)=2。2.4.2實(shí)驗(yàn)結(jié)果先假設(shè)兩種基本的場(chǎng)景：穩(wěn)定場(chǎng)景與變化場(chǎng)景。在穩(wěn)定場(chǎng)景中，文件的內(nèi)容流行度信息保持不變，因此需要算法快速適應(yīng)穩(wěn)定的場(chǎng)景，這也體現(xiàn)了算法的適應(yīng)能力，如圖2-4所示，表示的是穩(wěn)定場(chǎng)景下，上述四種對(duì)比算法和DQN算法的實(shí)驗(yàn)情況，可以看出五種算法都能在穩(wěn)定場(chǎng)景下收斂，從而適應(yīng)基本的場(chǎng)景。而圖2-5則是添加了幾種算法的上界，上界主要是根據(jù)已知任意時(shí)刻的任務(wù)流行度信息所達(dá)到的理論最優(yōu)值。在變化場(chǎng)景中，內(nèi)容流行度信息可以變換，并且變化的間隔是一致的，大概每20iterations變化一次，得到了如圖2-6所示的結(jié)果�？梢钥吹皆诹餍卸茸兓那闆r下，各種算法普遍存在適應(yīng)性問題，但是U_CJ和DQN方法還是能保持比較好的結(jié)果。而圖2-7則是添加了幾種算法的上界。

【參考文獻(xiàn)】：
期刊論文
[1]移動(dòng)邊緣計(jì)算中數(shù)據(jù)緩存和計(jì)算遷移的智能優(yōu)化技術(shù)[J]. 汪海霞,趙志峰,張宏綱.  中興通訊技術(shù). 2018(02)
[2]移動(dòng)邊緣計(jì)算任務(wù)卸載和基站關(guān)聯(lián)協(xié)同決策問題研究[J]. 于博文,蒲凌君,謝玉婷,徐敬東,張建忠.  計(jì)算機(jī)研究與發(fā)展. 2018(03)
[3]基于車聯(lián)網(wǎng)和移動(dòng)邊緣計(jì)算的時(shí)延可容忍數(shù)據(jù)傳輸[J]. 李萌,司鵬搏,孫恩昌,張延華.  北京工業(yè)大學(xué)學(xué)報(bào). 2018(04)
[4]基于增強(qiáng)學(xué)習(xí)的5G網(wǎng)絡(luò)切片資源動(dòng)態(tài)優(yōu)化方案[J]. 任語錚,謝人超,黃韜.  中興通訊技術(shù). 2018(01)
[5]基于分層編碼的深度增強(qiáng)學(xué)習(xí)對(duì)話生成[J]. 趙宇晴,向陽.  計(jì)算機(jī)應(yīng)用. 2017(10)
[6]基于深度增強(qiáng)學(xué)習(xí)的智能體行為演進(jìn)研究綜述[J]. 郭憲.  中國(guó)新通信. 2017(17)
[7]基于自適應(yīng)探索改進(jìn)的深度增強(qiáng)學(xué)習(xí)算法[J]. 毛堅(jiān)桓,殷璐嘉.  微電子學(xué)與計(jì)算機(jī). 2016(06)



本文編號(hào)：3255914