【摘要】：隨著互聯(lián)網(wǎng)的快速發(fā)展和普及,網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大,涌現(xiàn)出大量的新型網(wǎng)絡(luò)應(yīng)用和服務(wù),例如Web搜索、Vo IP、視頻會(huì)議、IPTV、在線游戲和網(wǎng)絡(luò)直播等。不同的應(yīng)用和服務(wù)對(duì)于網(wǎng)絡(luò)傳輸中的時(shí)延、抖動(dòng)以及丟包率等性能指標(biāo)都有不同的需求。與傳統(tǒng)互聯(lián)網(wǎng)相比,軟件定義網(wǎng)絡(luò)(SDN)通過(guò)解耦網(wǎng)絡(luò)設(shè)備的控制平面和數(shù)據(jù)平面實(shí)現(xiàn)了更加靈活可控的網(wǎng)絡(luò)數(shù)據(jù)流管理方式,不僅給各種新型網(wǎng)絡(luò)服務(wù)提供了靈活的管理和部署手段,還有助于實(shí)現(xiàn)差異化、有保障的服務(wù)質(zhì)量。基于SDN網(wǎng)絡(luò)架構(gòu),通過(guò)合理分配網(wǎng)絡(luò)資源,提高服務(wù)質(zhì)量和網(wǎng)絡(luò)性能是當(dāng)前一個(gè)重要的研究議題。本文提出了SDN網(wǎng)絡(luò)中數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)資源分配方案,通過(guò)QoS感知流量分類對(duì)進(jìn)入SDN網(wǎng)絡(luò)流量的QoS類型進(jìn)行識(shí)別,根據(jù)流量的QoS類型和實(shí)時(shí)網(wǎng)絡(luò)狀態(tài),使用基于強(qiáng)化學(xué)習(xí)的QoS自適應(yīng)路由算法進(jìn)行路由分配。論文的主要研究工作包括:(1)針對(duì)SDN網(wǎng)絡(luò)中流量分類方法存在的實(shí)時(shí)性差、單分類器泛化性差等問(wèn)題,提出基于SDN網(wǎng)絡(luò)的QoS感知流量分類方法。從數(shù)據(jù)流進(jìn)入網(wǎng)絡(luò)的前10個(gè)報(bào)文中提取流量的統(tǒng)計(jì)特征作為分類依據(jù),使用改進(jìn)的集成半監(jiān)督機(jī)器學(xué)習(xí)ITri-Training-3訓(xùn)練分類器,實(shí)現(xiàn)了網(wǎng)絡(luò)流類型的實(shí)時(shí)在線識(shí)別,并提高了識(shí)別準(zhǔn)確率。另外,結(jié)合DPI技術(shù)實(shí)現(xiàn)了對(duì)在線分類器的周期性增量更新,提高了流量分類方法的實(shí)用性。(2)針對(duì)現(xiàn)有SDN網(wǎng)絡(luò)中QoS路由計(jì)算時(shí)間成本較高、沒(méi)有考慮鏈路實(shí)時(shí)狀態(tài)等問(wèn)題,提出了基于強(qiáng)化學(xué)習(xí)的QoS自適應(yīng)路由算法DQPSR。該算法通過(guò)引入了softmax動(dòng)作選擇策略、Q-Learning值函數(shù)更新方法和帶有QoS感知獎(jiǎng)賞函數(shù)的馬爾可夫決策過(guò)程,實(shí)現(xiàn)了優(yōu)化的QoS路由計(jì)算,該算法可以快速自適應(yīng)隨時(shí)間變化的網(wǎng)絡(luò)和流量狀態(tài),可以合理分配網(wǎng)絡(luò)負(fù)載并有較好的可擴(kuò)展學(xué)習(xí)能力等特點(diǎn)。(3)基于QoS感知網(wǎng)絡(luò)流量分類和QoS自適應(yīng)路由算法DQPSR,設(shè)計(jì)了SDN網(wǎng)絡(luò)中的QoS網(wǎng)絡(luò)資源分配框架,并在開(kāi)源的Floodlight SDN控制器上實(shí)現(xiàn)了該框架。結(jié)合Mininet網(wǎng)絡(luò)仿真器搭建了模擬的SDN網(wǎng)絡(luò)環(huán)境,對(duì)DQPSR算法的性能進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明DQPSR算法能在有效的時(shí)間內(nèi)實(shí)現(xiàn)收斂,并且與最短路徑算法和負(fù)載均衡算法對(duì)比具有較好的性能。
【圖文】：

東南大學(xué)碩士學(xué)位論文第二章 相關(guān)技術(shù)及研究現(xiàn)狀本章在介紹相關(guān)技術(shù)研究現(xiàn)狀的基礎(chǔ)上，總結(jié)現(xiàn)有技術(shù)存在問(wèn)題，并指出本文的研究方向和工作重點(diǎn)。本章首先介紹流量分類技術(shù)的研究現(xiàn)狀，從基于端口、載荷、主機(jī)行為和機(jī)器學(xué)習(xí)的流量分類四個(gè)方面進(jìn)行介紹；然后介紹 SDN 網(wǎng)絡(luò)中 QoS 路由分配的相關(guān)研究，討論資源預(yù)留、隊(duì)列管理和調(diào)度以及多媒體路由等三種機(jī)制；最后對(duì)強(qiáng)化學(xué)習(xí)技術(shù)的基本概念進(jìn)行介紹。2.1 流量分類技術(shù)相關(guān)研究網(wǎng)絡(luò)流量分類是指根據(jù)應(yīng)用層協(xié)議類型對(duì)網(wǎng)絡(luò)中產(chǎn)生的流量進(jìn)行分類和識(shí)別。目前，網(wǎng)絡(luò)流量分類技術(shù)主要分為四類：基于端口的流量分類、基于載荷的流量分類、基于主機(jī)行為的流量分類、基于機(jī)器學(xué)習(xí)的流量分類。圖 2-1 展示了主要的流量分類方法及其對(duì)應(yīng)的部分代表算法。

圖 2-2 強(qiáng)化學(xué)習(xí)模型nt 與環(huán)境的交互過(guò)程可以用一個(gè)馬爾可夫決策過(guò)程建模。，其中 S 為狀態(tài)集合，是對(duì)環(huán)境的描述；A 為可選動(dòng)作集態(tài)轉(zhuǎn)移概率，表示 Agent 在狀態(tài) s 時(shí)執(zhí)行動(dòng)作 a 后轉(zhuǎn)移為時(shí)執(zhí)行動(dòng)作 a 后轉(zhuǎn)移為 s’時(shí)的瞬時(shí)獎(jiǎng)賞值。馬爾可夫決策概率和獎(jiǎng)賞值只取決于當(dāng)前狀態(tài)和選擇的動(dòng)作，而與歷史學(xué)習(xí)系統(tǒng)除了 Agent 和環(huán)境，，還有四個(gè)關(guān)鍵的組成要素：獎(jiǎng)賞函數(shù)（Reward Function）以及環(huán)境模型（Environm函數(shù)，是強(qiáng)化學(xué)習(xí)的核心部分，就是 Agent 如何根據(jù)環(huán)境分為確定性策略和隨機(jī)性策略兩種。通常情況下，由于隨機(jī)性更好地探索環(huán)境，強(qiáng)化學(xué)習(xí)一般使用隨機(jī)性策略。隨某個(gè)動(dòng)作的概率分布，用式 2.1 表示。( a|s)p(a|s)
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP181;TP393.0

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 趙樹(shù)鵬;陳貞翔;彭立志;;基于流中前5個(gè)包的在線流量分類特征[J];濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年02期

本文編號(hào)：2709259