通過(guò)將計(jì)算和存儲(chǔ)資源廣泛地分布到更接近用戶或數(shù)據(jù)源的網(wǎng)絡(luò)邊緣,移動(dòng)邊緣計(jì)算(Mobile Edge Computing,MEC)支持在無(wú)線接入網(wǎng)內(nèi)完成移動(dòng)應(yīng)用的計(jì)算卸載過(guò)程,大幅降低了網(wǎng)絡(luò)的端到端時(shí)延,并有效減輕了核心網(wǎng)和數(shù)據(jù)中心的處理壓力。計(jì)算卸載決策,包括用戶側(cè)卸載決策(如任務(wù)是否卸載、如何卸載以及何時(shí)卸載)和運(yùn)營(yíng)商側(cè)卸載決策(如是否允許用戶卸載、分配多少資源進(jìn)行卸載),是MEC能否提升用戶體驗(yàn)的關(guān)鍵。由于MEC環(huán)境的復(fù)雜性,影響卸載決策的因素眾多,如何設(shè)計(jì)最優(yōu)的卸載決策策略,以充分挖掘MEC在時(shí)延、能耗上的性能增益,是非常具有挑戰(zhàn)性的科學(xué)問(wèn)題。任務(wù)調(diào)度與資源管理是MEC卸載決策過(guò)程中需要考慮的兩個(gè)重要因素。一方面,MEC環(huán)境本質(zhì)上是一個(gè)分布式異構(gòu)并行計(jì)算環(huán)境,只有對(duì)任務(wù)進(jìn)行合理調(diào)度,才能充分發(fā)揮該計(jì)算環(huán)境的性能優(yōu)勢(shì)。若考慮網(wǎng)絡(luò)環(huán)境的動(dòng)態(tài)變化,則還需要對(duì)任務(wù)卸載的時(shí)機(jī)進(jìn)行調(diào)度決策。另一方面,由于網(wǎng)絡(luò)邊緣的資源有限,必須對(duì)這些資源進(jìn)行合理分配以充分發(fā)揮它們的效用。在用戶較多的情況下,還需要對(duì)是否允許用戶卸載進(jìn)行決策(即準(zhǔn)入決策),避免資源的過(guò)度競(jìng)爭(zhēng)。在此背景下,本文分別針對(duì)用戶視角下... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：152 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)結(jié)構(gòu)示意圖

電子科技大學(xué)博士學(xué)位論文3.4基于DRL的任務(wù)卸載調(diào)度本節(jié)基于當(dāng)前最優(yōu)的DRL算法PPO來(lái)學(xué)習(xí)該MDP的最優(yōu)卸載調(diào)度策略。首先介紹了用于近似該卸載調(diào)度策略的神經(jīng)網(wǎng)絡(luò)架構(gòu)。然后設(shè)計(jì)了基于PPO的策略網(wǎng)絡(luò)訓(xùn)練算法。最后討論了幾種提高訓(xùn)練過(guò)程效率的方法。3.4.1神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)本節(jié)同樣采用共享參數(shù)的DNN架構(gòu)來(lái)設(shè)計(jì)該MDP的策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)。所設(shè)計(jì)的DNN架構(gòu)如圖3-3所示。其中，策略網(wǎng)絡(luò)(an|sn)用于訓(xùn)練，以盡可能擬合最優(yōu)策略；價(jià)值網(wǎng)絡(luò)v(sn)則用作估計(jì)函數(shù)。兩個(gè)網(wǎng)絡(luò)共享大部分網(wǎng)絡(luò)結(jié)構(gòu)（網(wǎng)絡(luò)層和對(duì)應(yīng)的參數(shù)）并且具有相同的輸入（均為任一系統(tǒng)狀態(tài)sn2S）。不同的是，在共享的FC層之后，策略網(wǎng)絡(luò)采用softmax層來(lái)輸出卸載調(diào)度動(dòng)作的概率分布；而價(jià)值網(wǎng)絡(luò)則仍然采用FC層來(lái)輸出狀態(tài)價(jià)值。!"#(%|")圖3-3共享參數(shù)DNN架構(gòu)設(shè)計(jì)如3.3.1節(jié)所述，該MDP的狀態(tài)空間非常巨大。僅使用簡(jiǎn)單的FC網(wǎng)絡(luò)架構(gòu)對(duì)卸載調(diào)度策略進(jìn)行擬合會(huì)使得訓(xùn)練效率和訓(xùn)練結(jié)果均不理想。通過(guò)對(duì)狀態(tài)空間的觀察可以發(fā)現(xiàn)，對(duì)每一個(gè)狀態(tài)s=(Q,slpu,sdtu,sms,x,d)，其大多數(shù)狀態(tài)參數(shù)是用來(lái)描述任務(wù)隊(duì)列的，即Q。由于Q具有固定的矩陣形式并且所存儲(chǔ)的數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，因此將CNN網(wǎng)絡(luò)結(jié)構(gòu)嵌入到所設(shè)計(jì)的DNN架構(gòu)中，以高效提取任務(wù)隊(duì)列特68


本文編號(hào)：2938749