發(fā)布時間：2022-08-13 15:23

　　當今社會早已進入數(shù)字化時代,每天都會產(chǎn)生海量的數(shù)據(jù),如何處理大數(shù)據(jù)對于現(xiàn)有的計算機來說是一個嚴重的挑戰(zhàn)。由于海量的數(shù)據(jù)量不斷交由計算機進行處理,系統(tǒng)很難及時響應。不論是微博、推特的實時熱點數(shù)據(jù)檢測,還是華爾街、納斯達克的股票交易等這些應用場景都亟需低延遲的實時流處理計算系統(tǒng)的支持�，F(xiàn)有的實時流處理系統(tǒng)有Storm、Heron、Flink等。這些系統(tǒng)普遍采用基于輪詢的任務調度策略,該策略沒有考慮到通信時延,大多數(shù)情況下都會增加系統(tǒng)時延。在考慮通信時延時,調度系統(tǒng)將互相通信的任務實例放置在一個節(jié)點。當數(shù)據(jù)源數(shù)據(jù)量較大時,這一方法存在使部分節(jié)點負載過重增加計算時延的問題。系統(tǒng)時延由通信時延和計算時延組成,如何綜合考慮這兩種時延是一個需要解決的問題。為了解決該問題,提出一個兩階段方案。第一階段是初始化階段,根據(jù)用戶提交的拓撲提出考慮數(shù)據(jù)源數(shù)據(jù)量較少的靜態(tài)調度,并且為第二階段提供調度集。第二階段系統(tǒng)開始運行,提出基于強化學習的動態(tài)調度,該方法在面對數(shù)據(jù)源動態(tài)變化時,能夠自適應動態(tài)調整調度策略。實驗結果表明,兩階段方案可以在面對數(shù)據(jù)源動態(tài)變化的情況下,處理大規(guī)模流數(shù)據(jù)時保證時延盡可能低。在數(shù)據(jù)源穩(wěn)... 

【文章頁數(shù)】：51 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 論文研究內(nèi)容
    1.4 論文組織結構
2 兩階段調度的系統(tǒng)設計
    2.1 問題提出
    2.2 系統(tǒng)架構設計
    2.3 工作流程
    2.4 本章小結
3 結合流處理的系統(tǒng)實現(xiàn)
    3.1 總體實現(xiàn)
    3.2 日志收集模塊的實現(xiàn)
    3.3 時間同步器模塊的實現(xiàn)
    3.4 數(shù)據(jù)存儲和預處理模塊的實現(xiàn)
    3.5 自定義調度器模塊的實現(xiàn)
    3.6 本章小結
4 實驗分析
    4.1 系統(tǒng)環(huán)境
    4.2 平臺搭建
    4.3 數(shù)據(jù)預處理
    4.4 性能測試
    4.5 本章小結
5 總結及展望
    5.1 本文總結
    5.2 研究展望
參考文獻
致謝
附錄1 攻讀碩士學位期間申請的計算機軟件著作權


【參考文獻】：
期刊論文
[1]基于分布式流處理的自適應數(shù)據(jù)分發(fā)策略[J]. 閭程豪,荊一楠,何震瀛,王曉陽.  計算機應用與軟件. 2018(08)
[2]基于Storm拓撲結構熱邊的調度算法[J]. 熊安萍,王賢穩(wěn),鄒洋.  計算機工程. 2017(01)



本文編號：3677282