超密集網(wǎng)絡(luò)（UDN,ultra-dense network）作為解決物聯(lián)網(wǎng)中移動流量需求爆炸增長問題的關(guān)鍵技術(shù)之一,在通過大量部署小型基站（SBS,Small Base Station）來滿足網(wǎng)絡(luò)容量的同時,也帶來了大量的能量消耗。因此,在有效滿足用戶服務(wù)質(zhì)量的基礎(chǔ)上,UDN還需降低小基站的能量開銷、提高系統(tǒng)的能量效率。近些年,已有許多國內(nèi)外學(xué)者提出了不同蜂窩網(wǎng)絡(luò)下能量收集小基站的資源分配方案。小基站可以通過能量收集（EH,Energy Harvesting）技術(shù)從自然環(huán)境中獲取太陽能、風(fēng)能等可再生能源來降低傳統(tǒng)電網(wǎng)的能量消耗。但是在UDN場景中小基站數(shù)量眾多,用戶與基站間的信道狀態(tài)較為復(fù)雜,從綠色通信的角度上如何采取有效資源分配方案是一個值得研究的問題。此外,強化學(xué)習(xí)（RL,Reinforcement Learning）作為近些年興起的一種新的優(yōu)化理論,在探索環(huán)境、機器學(xué)習(xí)和智能決策等方面具有傳統(tǒng)優(yōu)化方法不具備的優(yōu)勢。將強化學(xué)習(xí)方法引入到UDN的資源分配中具有探索和研究價值。本文的研究內(nèi)容為UDN在具有能量收集和協(xié)作下,如何提高系統(tǒng)總吞吐量的問題。主要工作可以分成兩部分:1.研究和解... 

【文章來源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景與意義
        1.1.1 研究背景
        1.1.2 研究意義
    1.2 研究現(xiàn)狀
        1.2.1 能量收集基站的模式現(xiàn)狀研究
        1.2.2 能量協(xié)作基站現(xiàn)狀研究
        1.2.3 能量收集基站的資源分配現(xiàn)狀研究
    1.3 當前存在的問題
    1.4 論文的主要研究內(nèi)容
    1.5 論文結(jié)構(gòu)安排
第2章 理論基礎(chǔ)
    2.1 深度強化學(xué)習(xí)理論基礎(chǔ)
        2.1.1 引言
        2.1.2 馬爾可夫決策過程
        2.1.3 基于值的強化學(xué)習(xí)方法
        2.1.4 神經(jīng)元網(wǎng)絡(luò)
        2.1.5 隨機梯度下降法
        2.1.6 神經(jīng)網(wǎng)絡(luò)復(fù)雜度
    2.2 毫米波超密集網(wǎng)絡(luò)相關(guān)知識
        2.2.1 超密集網(wǎng)絡(luò)簡介
        2.2.2 毫米波技術(shù)簡介
        2.2.3 超密集網(wǎng)絡(luò)資源分配的關(guān)鍵問題
    2.3 本章小結(jié)
第3章 集中式深度強化學(xué)習(xí)和能量收集的UDN資源分配
    3.1 引言
    3.2 能量收集與協(xié)作的超密集網(wǎng)絡(luò)模型
        3.2.1 系統(tǒng)模型
        3.2.2 數(shù)學(xué)模型
    3.3 能量收集與協(xié)作的超密集網(wǎng)絡(luò)強化學(xué)習(xí)分配算法
        3.3.1 基于DQN的控制決策
        3.3.2 基于DDPG的控制決策
    3.4 仿真結(jié)果及分析
    3.5 本章小結(jié)
第4章 分布式多智能體深度強化學(xué)習(xí)能量收集的UDN資源分配
    4.1 介紹
    4.2 多智能體強化學(xué)習(xí)
        4.2.1 系統(tǒng)數(shù)學(xué)模型
        4.2.2 基于MADDPG的控制決策
    4.3 仿真結(jié)果和分析
    4.4 本章小結(jié)
第5章 總結(jié)和展望
    5.1 論文總結(jié)
    5.2 未來展望
參考文獻
作者簡介及在學(xué)期間所取得的科研成果
    作者簡介
    在校期間科研經(jīng)歷
    在學(xué)期間所取得的科研成果
致謝


【參考文獻】：
期刊論文
[1]基于多智能體系統(tǒng)的微網(wǎng)功率經(jīng)濟分配方法[J]. 胡健,馬皓.  電網(wǎng)技術(shù). 2017(08)
[2]能量捕獲無線通信系統(tǒng)的在線式動態(tài)能量分配[J]. 朱先飛,柯峰,楊德利,張鉞.  南京郵電大學(xué)學(xué)報(自然科學(xué)版). 2015(02)
[3]A review of stochastic algorithms with continuous value function approximation and some new approximate policy iteration algorithms for multidimensional continuous applications[J]. Warren B.POWELL.  Journal of Control Theory and Applications. 2011(03)
[4]基于Agent的流程工業(yè)制造執(zhí)行系統(tǒng)結(jié)構(gòu)研究[J]. 楊帆,蕭德云.  計算機集成制造系統(tǒng)-CIMS. 2003(02)

碩士論文
[1]M2M通信中基于機器學(xué)習(xí)的無線資源管理的研究[D]. 鄭姍姍.北京交通大學(xué) 2018



本文編號：2981108