日益增長的無線通信應用需求對于無線網(wǎng)絡性能的要求越來越高,借助個體用戶頻譜感知、動態(tài)接入等認知組網(wǎng)行為中產(chǎn)生的數(shù)據(jù),加以融合機器學習等智能化技術,將成為提高無線網(wǎng)絡性能的主要發(fā)展方向。本文圍繞認知無線網(wǎng)絡中媒體接入控制(MAC,Medium Access Control)協(xié)議和資源分配策略展開研究,采用基于機器學習方法使認知用戶能夠自主地解決以下三個問題:如何在不同的網(wǎng)絡場景中選擇合適的MAC協(xié)議,如何在基于CSMA/CA接入方式的網(wǎng)絡中選擇最優(yōu)無線信道資源,如何在基于TDMA接入方式的網(wǎng)絡中選擇最優(yōu)時隙資源,從而提高網(wǎng)絡吞吐量性能。本文的主要研究工作和成果如下:針對在集中式認知無線網(wǎng)絡場景下單一類型MAC協(xié)議應用受限,無法適應網(wǎng)絡動態(tài)變化的問題,論文提出了一種基于分類學習的MAC協(xié)議選擇模型。該模型采用監(jiān)督學習方式,將整個協(xié)議選擇過程分為學習階段和決策階段,這兩個階段迭代進行,可以自主選擇不同的MAC協(xié)議以適應不同的網(wǎng)絡場景。首先,本文選擇競爭機制類有代表性的載波監(jiān)聽多址接入/沖突避免(CSMA/CA,Carrier Sense Multiple Access with Collision Avoidance)協(xié)議和非競爭機制類有代表性的時分多址接入(TDMA,Time Division Multiple Access)協(xié)議作為分類模型備選協(xié)議,分析了不同接入方式的MAC協(xié)議所適用的網(wǎng)絡環(huán)境。其次,利用模糊集理論定義了協(xié)議選擇的評判標準,提出了以MAC協(xié)議隸屬度作為認知用戶是否需要改變當前MAC協(xié)議的依據(jù)。在學習階段,首先,收集網(wǎng)絡環(huán)境參數(shù)和認知用戶參數(shù)用于構建參數(shù)特征數(shù)據(jù)集合,并且收集執(zhí)行當前MAC協(xié)議對應的統(tǒng)計量結果用于構建統(tǒng)計量特征數(shù)據(jù)集合。其次,利用多粒度知識增量獲取算法合并特征數(shù)據(jù)集合,得到用于分類學習的特征數(shù)據(jù)集合。然后,利用測試集比較不同分類學習算法對MAC協(xié)議選擇模型的匹配程度,選擇合適的分類算法用于構建分類器。在決策階段,首先,研究了不同樣本特征項對于模型分類準確性的貢獻率,并以貢獻率高的特征項作為模型分類選擇的性能評判指標。其次,將需要決策的樣本經(jīng)過分類器,得到目標分類結果,從而選擇出最適合當前網(wǎng)絡場景的MAC協(xié)議。仿真結果證明,論文提出的MAC協(xié)議選擇模型能有效地對不同網(wǎng)絡特征樣本進行分類,幫助認知用戶選擇最適合當前網(wǎng)絡的MAC協(xié)議。針對基于CSMA/CA接入方式的認知無線網(wǎng)絡信道選擇問題,并綜合考慮多認知用戶競爭接入的影響,提出了一種基于非合作博弈的在線決策信道選擇算法。該算法的決策過程采用半監(jiān)督學習方式,可以在減少控制與協(xié)商消息交互的前提下,使得認知用戶能夠實時、自主地選擇出最優(yōu)信道進行接入。首先,將認知用戶的信道選擇問題建模為非合作博弈方式下用戶吞吐量最大化問題。其次,分析了信道異構性,以及多個認知用戶競爭接入同一信道時由于碰撞所產(chǎn)生的影響,推導了用戶可達傳輸速率和吞吐量的閉合表達式。然后,分析得到了具有納什均衡特性的認知用戶的效用函數(shù),基于全局最優(yōu)理論,得到了最優(yōu)信道選擇的總和效用函數(shù)表達式。接著,設計雙向更新算法使認知用戶能夠在任意方向上迭代更新信道選擇策略以實現(xiàn)收益的最大化。最后,分析連續(xù)博弈階段的最佳響應閉合表達式,證明了算法能夠收斂到唯一的納什均衡解。仿真結果表明,論文提出的基于在線決策的信道選擇算法與傳統(tǒng)方案相比能夠顯著提高吞吐量;此外,通過擴展實驗場景,驗證了所提算法能夠應用于多接口多信道網(wǎng)絡。為了解決基于非合作博弈的在線決策信道選擇算法復雜度高的問題,論文進一步提出了一種基于強化學習的離線學習信道選擇算法。該算法的學習過程采用半監(jiān)督學習方式,可以幫助認知用戶以“試錯”的方式自主漸進式地選擇出最優(yōu)信道進行接入。首先,將認知用戶的信道選擇問題建模為強化學習方式下信道選擇行為對應的“動作-價值”效用函數(shù)最大化問題。其次,分析貪婪策略下的信道選擇行為,利用貝爾曼最優(yōu)期望方程解作為每一輪迭代學習的評估標準。然后,將認知用戶“探索-利用”的信道選擇過程建模為二維馬爾科夫鏈,計算得到每一輪迭代中信道選擇行為對應的動作-價值效用函數(shù)。接著,分析了算法計算復雜度以及認知用戶存儲開銷,證明了通過對“動作-價值”效用函數(shù)執(zhí)行迭代更新,所提離線學習策略能夠收斂到近似貝爾曼最優(yōu)期望解的信道選擇結果。仿真結果表明,論文提出的基于離線學習的信道選擇算法能夠顯著提高吞吐量性能;與上一章中基于在線決策的實時算法相比,以更低的資源消耗達到了滿足用戶需求的信道選擇結果。針對基于TDMA接入方式的認知無線網(wǎng)絡中動態(tài)時隙選擇問題,論文提出了一種基于強化學習的拓撲透明時隙選擇算法。該算法的學習過程采用無監(jiān)督學習方式,學習過程分為沖突避免學習階段和冗余時隙利用學習階段,不需要引入控制節(jié)點,認知用戶僅需要對自身的時隙選擇行為進行學習,因此適合于分布式部署。從認知用戶在拓撲透明時隙選擇過程中亟待解決的如何減少時隙沖突和如何提高時隙利用率等問題出發(fā)。首先,從最大化認知用戶平均吞吐量的角度對拓撲透明時隙選擇問題進行建模,將任意兩個認知用戶發(fā)生碰撞的最大可能次數(shù)和子幀時隙數(shù)作為優(yōu)化目標。然后,推導了進行參數(shù)優(yōu)化后用戶吞吐量的閉合表達式。在沖突避免學習階段,首先,將認知用戶與干擾用戶產(chǎn)生的沖突問題建模為時序差分學習模型。其次,為最小化相鄰時刻的時隙選擇反饋期望值之間的量化誤差,設計前向線性時序差分學習算法更新時隙選擇向量,直至收斂到近似最優(yōu)的反饋期望結果。在冗余時隙利用學習階段,首先,將上一階段得到的時隙選擇行為對應的動作-價值函數(shù)與對應的時隙狀態(tài)一起構成固定的狀態(tài)值函數(shù)對。其次,將認知用戶對冗余時隙利用問題建模為逐幀執(zhí)行先驗經(jīng)驗重放過程,收集連續(xù)時刻的固定函數(shù)對構建經(jīng)驗重放集合。接著,認知用戶在經(jīng)驗重放集合中進行隨機抽樣,選擇狀態(tài)值函數(shù)對。最后,認知用戶對當前時隙選擇真實值與重放集合固定值之間的均方誤差進行優(yōu)化,并采用隨機梯度下降方法對冗余時隙利用向量進行更新,直至收斂到最小二乘結果。仿真結果表明,相比于已有拓撲透明時隙選擇方案,論文提出的基于強化學習的拓撲透明時隙選擇算法能顯著提高吞吐量性能;同時參數(shù)優(yōu)化的結果能夠進一步改善吞吐量。
【學位單位】：國防科技大學
【學位級別】：博士
【學位年份】：2018
【中圖分類】：TN925;TP181
【文章目錄】：摘要
Abstract
英文縮略語表
常用數(shù)學符號表
第一章 緒論
1.1 研究背景和意義
1.2 智能學習技術概述
1.2.1 支持向量機
1.2.2 博弈論
1.2.3 強化學習
1.3 國內外研究現(xiàn)狀
1.3.1 組網(wǎng)接入方式
1.3.2 資源分配策略
1.4 研究思路和組織結構
1.4.1 研究思路
1.4.2 組織結構
1.5 論文的主要貢獻
第二章 基于分類學習的MAC協(xié)議選擇方法
2.1 引言
2.2 系統(tǒng)模型和問題表述
2.3 基于分類學習的MAC協(xié)議選擇方法
2.3.1 MAC協(xié)議差異性分析
2.3.2 MAC協(xié)議分類學習算法描述
2.3.3 樣本特征貢獻率分析
2.4 仿真性能與分析
2.4.1 分類器性能比較
2.4.2 認知用戶數(shù)量的影響
2.4.3 MAC協(xié)議分類模型有效性驗證
2.4.4 分類結果在負載—吞吐量性能曲線上的有效性驗證
2.5 本章小結
第三章 基于在線決策的信道選擇方法
3.1 引言
3.2 系統(tǒng)模型和問題表述
3.3 基于在線決策的信道選擇方法
3.3.1 多址接入策略分析
3.3.2 信道選擇策略描述
3.3.3 復雜度分析
3.4 仿真性能與分析
3.4.1 不同信道數(shù)下網(wǎng)絡吞吐量性能比較
3.4.2 不同信道數(shù)量下算法收斂性能比較
3.4.3 算法公平性度量
3.4.4 多接口多信道條件下吞吐量性能比較
3.5 本章小結
第四章 基于離線學習的信道選擇方法
4.1 引言
4.2 系統(tǒng)模型和問題表述
4.3 基于離線學習的信道選擇方法
4.3.1 信道選擇策略描述
4.3.2 復雜度及收斂性分析
4.4 仿真性能與分析
4.4.1 不同信道數(shù)下網(wǎng)絡吞吐量性能比較
4.4.2 不同信道數(shù)下的算法收斂性能比較
4.4.3 兩種信道選擇學習策略能量消耗比較
4.4.4 不同學習速率對吞吐量性能的影響
4.4.5 不同折扣因子對吞吐量性能的影響
4.5 本章小結
第五章 基于強化學習的拓撲透明時隙選擇方法
5.1 引言
5.2 系統(tǒng)模型和問題表述
5.3 基于強化學習的拓撲透明時隙選擇方法
5.3.1 基本概念
5.3.2 時隙選擇策略描述
5.4 仿真性能與分析
5.4.1 不同算法下平均認知用戶吞吐量性能比較
5.4.2 動態(tài)場景下系統(tǒng)吞吐量性能
5.4.3 不同學習階段算法收斂性能比較
5.4.4 參數(shù)優(yōu)化對吞吐量性能的影響
5.5 本章小結
第六章 結論與展望
6.1 主要研究成果和創(chuàng)新點
6.2 后續(xù)工作展望
參考文獻
致謝
作者在學期間取得的學術成果
【相似文獻】
相關期刊論文 前10條
1 沈華琳;葉德明;;岸臺半自動化信道分配設計[J];珠江水運;2016年19期
2 牟恒;;蜂窩網(wǎng)絡中信道分配模型的優(yōu)化設計與實現(xiàn)[J];環(huán)球市場信息導報;2016年48期
3 戴明;;淺析“買碼”話務擁塞中業(yè)務信道分配成功率的優(yōu)化[J];信息通信;2008年05期
4 朱錦景;;第三代移動通信系統(tǒng)中的信道分配技術[J];電腦知識與技術;2008年07期
5 王愛民,朱建啟,苑森淼;CDMA網(wǎng)絡中混合信道分配的容量分析[J];吉林大學學報(理學版);2004年02期
6 李旭,宋俊德,劉峰,馬莉,宋梅;信道分配策略的研究與比較[J];電訊技術;2000年01期
7 馬力;;移動通信網(wǎng)小區(qū)選擇無干擾信道組的一種算法[J];移動通信;1989年01期
8 祝平;劉超洋;;移動通信網(wǎng)微機信道管理技術研究[J];移動通信;1989年03期
9 廖龍龍;;無線Mesh網(wǎng)絡中的信道分配研究[J];電腦知識與技術;2017年27期
10 蔡鳳麗;劉新永;;基于Multi-Radio Multi-Channel傳感器網(wǎng)絡無沖突信道分配算法的研究[J];吉林工程技術師范學院學報;2014年05期
相關博士學位論文 前10條
1 喬木;基于機器學習的認知無線網(wǎng)絡接入與資源分配技術研究[D];國防科技大學;2018年
2 張維維;無線Mesh網(wǎng)絡路由與信道分配優(yōu)化研究[D];吉林大學;2018年
3 蔣綱;數(shù)據(jù)包在無線網(wǎng)絡中調度策略的研究[D];華中科技大學;2004年
4 李元杰;MIMO通信系統(tǒng)信道估計與跟蹤的研究[D];東南大學;2006年
5 喻華文;MIMO-OFDM寬帶通信系統(tǒng)基于子群的信道估計和分配算法研究[D];華南理工大學;2007年
6 楊峰;OFDM系統(tǒng)中信道估計及相關技術的研究[D];上海交通大學;2006年
7 廖明霞;空間網(wǎng)絡低軌星座信道分配策略研究[D];北京郵電大學;2016年
8 黃鑫;多射頻多信道無線Mesh網(wǎng)絡的資源管理關鍵技術研究[D];華南理工大學;2011年
9 賴曉晨;體域網(wǎng)的信道分配協(xié)議及姿態(tài)識別研究[D];大連理工大學;2016年
10 袁福;協(xié)作認知中繼網(wǎng)絡中的資源管理及中斷概率研究[D];國防科學技術大學;2013年
相關碩士學位論文 前10條
1 童健心;無線網(wǎng)狀網(wǎng)中信道分配的研究與實現(xiàn)[D];華南理工大學;2019年
2 張金;復雜網(wǎng)絡環(huán)境下多個獨立AP信道分配策略研究[D];重慶郵電大學;2018年
3 張龍祥;客艙無線網(wǎng)絡布局及性能分析[D];電子科技大學;2019年
4 王曉波;配電網(wǎng)中無線信道分配策略研究[D];華北電力大學;2019年
5 李同會;D2D通信中的資源分配方法研究[D];重慶郵電大學;2018年
6 成雙果;以用戶為中心面向服務的頻譜切換與信道選擇機制研究[D];重慶郵電大學;2018年
7 李玉潔;多射頻多信道無線mesh網(wǎng)信道分配與路由算法研究[D];重慶郵電大學;2019年
8 朱正根;多接口多信道無線mesh網(wǎng)絡信道分配算法研究[D];廈門大學;2018年
9 馮雷;無線傳感器網(wǎng)絡中抗同頻干擾方法的研究[D];武漢理工大學;2018年
10 馬晨迪;認知毫微微網(wǎng)絡中用戶資源分配研究[D];北京郵電大學;2019年
本文編號：
2873115
