通過將計算和存儲資源廣泛地分布到更接近用戶或數(shù)據(jù)源的網(wǎng)絡邊緣,移動邊緣計算(Mobile Edge Computing,MEC)支持在無線接入網(wǎng)內(nèi)完成移動應用的計算卸載過程,大幅降低了網(wǎng)絡的端到端時延,并有效減輕了核心網(wǎng)和數(shù)據(jù)中心的處理壓力。計算卸載決策,包括用戶側卸載決策(如任務是否卸載、如何卸載以及何時卸載)和運營商側卸載決策(如是否允許用戶卸載、分配多少資源進行卸載),是MEC能否提升用戶體驗的關鍵。由于MEC環(huán)境的復雜性,影響卸載決策的因素眾多,如何設計最優(yōu)的卸載決策策略,以充分挖掘MEC在時延、能耗上的性能增益,是非常具有挑戰(zhàn)性的科學問題。任務調(diào)度與資源管理是MEC卸載決策過程中需要考慮的兩個重要因素。一方面,MEC環(huán)境本質(zhì)上是一個分布式異構并行計算環(huán)境,只有對任務進行合理調(diào)度,才能充分發(fā)揮該計算環(huán)境的性能優(yōu)勢。若考慮網(wǎng)絡環(huán)境的動態(tài)變化,則還需要對任務卸載的時機進行調(diào)度決策。另一方面,由于網(wǎng)絡邊緣的資源有限,必須對這些資源進行合理分配以充分發(fā)揮它們的效用。在用戶較多的情況下,還需要對是否允許用戶卸載進行決策(即準入決策),避免資源的過度競爭。在此背景下,本文分別針對用戶視角下... 

【文章來源】：電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：152 頁

【學位級別】：博士

【部分圖文】：

移動邊緣計算網(wǎng)絡結構示意圖

電子科技大學博士學位論文3.4基于DRL的任務卸載調(diào)度本節(jié)基于當前最優(yōu)的DRL算法PPO來學習該MDP的最優(yōu)卸載調(diào)度策略。首先介紹了用于近似該卸載調(diào)度策略的神經(jīng)網(wǎng)絡架構。然后設計了基于PPO的策略網(wǎng)絡訓練算法。最后討論了幾種提高訓練過程效率的方法。3.4.1神經(jīng)網(wǎng)絡架構設計本節(jié)同樣采用共享參數(shù)的DNN架構來設計該MDP的策略網(wǎng)絡和價值網(wǎng)絡。所設計的DNN架構如圖3-3所示。其中，策略網(wǎng)絡(an|sn)用于訓練，以盡可能擬合最優(yōu)策略；價值網(wǎng)絡v(sn)則用作估計函數(shù)。兩個網(wǎng)絡共享大部分網(wǎng)絡結構（網(wǎng)絡層和對應的參數(shù)）并且具有相同的輸入（均為任一系統(tǒng)狀態(tài)sn2S）。不同的是，在共享的FC層之后，策略網(wǎng)絡采用softmax層來輸出卸載調(diào)度動作的概率分布；而價值網(wǎng)絡則仍然采用FC層來輸出狀態(tài)價值。!"#(%|")圖3-3共享參數(shù)DNN架構設計如3.3.1節(jié)所述，該MDP的狀態(tài)空間非常巨大。僅使用簡單的FC網(wǎng)絡架構對卸載調(diào)度策略進行擬合會使得訓練效率和訓練結果均不理想。通過對狀態(tài)空間的觀察可以發(fā)現(xiàn)，對每一個狀態(tài)s=(Q,slpu,sdtu,sms,x,d)，其大多數(shù)狀態(tài)參數(shù)是用來描述任務隊列的，即Q。由于Q具有固定的矩陣形式并且所存儲的數(shù)據(jù)為結構化數(shù)據(jù)，因此將CNN網(wǎng)絡結構嵌入到所設計的DNN架構中，以高效提取任務隊列特68


本文編號：2938749