【摘要】：隨著互聯(lián)網(wǎng)的快速發(fā)展和普及,網(wǎng)絡規(guī)模不斷擴大,涌現(xiàn)出大量的新型網(wǎng)絡應用和服務,例如Web搜索、Vo IP、視頻會議、IPTV、在線游戲和網(wǎng)絡直播等。不同的應用和服務對于網(wǎng)絡傳輸中的時延、抖動以及丟包率等性能指標都有不同的需求。與傳統(tǒng)互聯(lián)網(wǎng)相比,軟件定義網(wǎng)絡(SDN)通過解耦網(wǎng)絡設備的控制平面和數(shù)據(jù)平面實現(xiàn)了更加靈活可控的網(wǎng)絡數(shù)據(jù)流管理方式,不僅給各種新型網(wǎng)絡服務提供了靈活的管理和部署手段,還有助于實現(xiàn)差異化、有保障的服務質(zhì)量�；赟DN網(wǎng)絡架構,通過合理分配網(wǎng)絡資源,提高服務質(zhì)量和網(wǎng)絡性能是當前一個重要的研究議題。本文提出了SDN網(wǎng)絡中數(shù)據(jù)驅動的網(wǎng)絡資源分配方案,通過QoS感知流量分類對進入SDN網(wǎng)絡流量的QoS類型進行識別,根據(jù)流量的QoS類型和實時網(wǎng)絡狀態(tài),使用基于強化學習的QoS自適應路由算法進行路由分配。論文的主要研究工作包括:(1)針對SDN網(wǎng)絡中流量分類方法存在的實時性差、單分類器泛化性差等問題,提出基于SDN網(wǎng)絡的QoS感知流量分類方法。從數(shù)據(jù)流進入網(wǎng)絡的前10個報文中提取流量的統(tǒng)計特征作為分類依據(jù),使用改進的集成半監(jiān)督機器學習ITri-Training-3訓練分類器,實現(xiàn)了網(wǎng)絡流類型的實時在線識別,并提高了識別準確率。另外,結合DPI技術實現(xiàn)了對在線分類器的周期性增量更新,提高了流量分類方法的實用性。(2)針對現(xiàn)有SDN網(wǎng)絡中QoS路由計算時間成本較高、沒有考慮鏈路實時狀態(tài)等問題,提出了基于強化學習的QoS自適應路由算法DQPSR。該算法通過引入了softmax動作選擇策略、Q-Learning值函數(shù)更新方法和帶有QoS感知獎賞函數(shù)的馬爾可夫決策過程,實現(xiàn)了優(yōu)化的QoS路由計算,該算法可以快速自適應隨時間變化的網(wǎng)絡和流量狀態(tài),可以合理分配網(wǎng)絡負載并有較好的可擴展學習能力等特點。(3)基于QoS感知網(wǎng)絡流量分類和QoS自適應路由算法DQPSR,設計了SDN網(wǎng)絡中的QoS網(wǎng)絡資源分配框架,并在開源的Floodlight SDN控制器上實現(xiàn)了該框架。結合Mininet網(wǎng)絡仿真器搭建了模擬的SDN網(wǎng)絡環(huán)境,對DQPSR算法的性能進行了測試。實驗結果表明DQPSR算法能在有效的時間內(nèi)實現(xiàn)收斂,并且與最短路徑算法和負載均衡算法對比具有較好的性能。
【圖文】：

東南大學碩士學位論文第二章 相關技術及研究現(xiàn)狀本章在介紹相關技術研究現(xiàn)狀的基礎上，總結現(xiàn)有技術存在問題，并指出本文的研究方向和工作重點。本章首先介紹流量分類技術的研究現(xiàn)狀，從基于端口、載荷、主機行為和機器學習的流量分類四個方面進行介紹；然后介紹 SDN 網(wǎng)絡中 QoS 路由分配的相關研究，討論資源預留、隊列管理和調(diào)度以及多媒體路由等三種機制；最后對強化學習技術的基本概念進行介紹。2.1 流量分類技術相關研究網(wǎng)絡流量分類是指根據(jù)應用層協(xié)議類型對網(wǎng)絡中產(chǎn)生的流量進行分類和識別。目前，網(wǎng)絡流量分類技術主要分為四類：基于端口的流量分類、基于載荷的流量分類、基于主機行為的流量分類、基于機器學習的流量分類。圖 2-1 展示了主要的流量分類方法及其對應的部分代表算法。

圖 2-2 強化學習模型nt 與環(huán)境的交互過程可以用一個馬爾可夫決策過程建模。，其中 S 為狀態(tài)集合，是對環(huán)境的描述；A 為可選動作集態(tài)轉移概率，表示 Agent 在狀態(tài) s 時執(zhí)行動作 a 后轉移為時執(zhí)行動作 a 后轉移為 s’時的瞬時獎賞值。馬爾可夫決策概率和獎賞值只取決于當前狀態(tài)和選擇的動作，而與歷史學習系統(tǒng)除了 Agent 和環(huán)境，，還有四個關鍵的組成要素：獎賞函數(shù)（Reward Function）以及環(huán)境模型（Environm函數(shù)，是強化學習的核心部分，就是 Agent 如何根據(jù)環(huán)境分為確定性策略和隨機性策略兩種。通常情況下，由于隨機性更好地探索環(huán)境，強化學習一般使用隨機性策略。隨某個動作的概率分布，用式 2.1 表示。( a|s)p(a|s)
【學位授予單位】：東南大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP181;TP393.0

【參考文獻】

相關期刊論文 前1條

1 趙樹鵬;陳貞翔;彭立志;;基于流中前5個包的在線流量分類特征[J];濟南大學學報(自然科學版);2012年02期

本文編號：2709259