當(dāng)今社會(huì)早已進(jìn)入數(shù)字化時(shí)代,每天都會(huì)產(chǎn)生海量的數(shù)據(jù),如何處理大數(shù)據(jù)對(duì)于現(xiàn)有的計(jì)算機(jī)來(lái)說(shuō)是一個(gè)嚴(yán)重的挑戰(zhàn)。由于海量的數(shù)據(jù)量不斷交由計(jì)算機(jī)進(jìn)行處理,系統(tǒng)很難及時(shí)響應(yīng)。不論是微博、推特的實(shí)時(shí)熱點(diǎn)數(shù)據(jù)檢測(cè),還是華爾街、納斯達(dá)克的股票交易等這些應(yīng)用場(chǎng)景都亟需低延遲的實(shí)時(shí)流處理計(jì)算系統(tǒng)的支持�，F(xiàn)有的實(shí)時(shí)流處理系統(tǒng)有Storm、Heron、Flink等。這些系統(tǒng)普遍采用基于輪詢(xún)的任務(wù)調(diào)度策略,該策略沒(méi)有考慮到通信時(shí)延,大多數(shù)情況下都會(huì)增加系統(tǒng)時(shí)延。在考慮通信時(shí)延時(shí),調(diào)度系統(tǒng)將互相通信的任務(wù)實(shí)例放置在一個(gè)節(jié)點(diǎn)。當(dāng)數(shù)據(jù)源數(shù)據(jù)量較大時(shí),這一方法存在使部分節(jié)點(diǎn)負(fù)載過(guò)重增加計(jì)算時(shí)延的問(wèn)題。系統(tǒng)時(shí)延由通信時(shí)延和計(jì)算時(shí)延組成,如何綜合考慮這兩種時(shí)延是一個(gè)需要解決的問(wèn)題。為了解決該問(wèn)題,提出一個(gè)兩階段方案。第一階段是初始化階段,根據(jù)用戶提交的拓?fù)涮岢隹紤]數(shù)據(jù)源數(shù)據(jù)量較少的靜態(tài)調(diào)度,并且為第二階段提供調(diào)度集。第二階段系統(tǒng)開(kāi)始運(yùn)行,提出基于強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)調(diào)度,該方法在面對(duì)數(shù)據(jù)源動(dòng)態(tài)變化時(shí),能夠自適應(yīng)動(dòng)態(tài)調(diào)整調(diào)度策略。實(shí)驗(yàn)結(jié)果表明,兩階段方案可以在面對(duì)數(shù)據(jù)源動(dòng)態(tài)變化的情況下,處理大規(guī)模流數(shù)據(jù)時(shí)保證時(shí)延盡可能低。在數(shù)據(jù)源穩(wěn)... 

【文章頁(yè)數(shù)】：51 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 論文研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
2 兩階段調(diào)度的系統(tǒng)設(shè)計(jì)
    2.1 問(wèn)題提出
    2.2 系統(tǒng)架構(gòu)設(shè)計(jì)
    2.3 工作流程
    2.4 本章小結(jié)
3 結(jié)合流處理的系統(tǒng)實(shí)現(xiàn)
    3.1 總體實(shí)現(xiàn)
    3.2 日志收集模塊的實(shí)現(xiàn)
    3.3 時(shí)間同步器模塊的實(shí)現(xiàn)
    3.4 數(shù)據(jù)存儲(chǔ)和預(yù)處理模塊的實(shí)現(xiàn)
    3.5 自定義調(diào)度器模塊的實(shí)現(xiàn)
    3.6 本章小結(jié)
4 實(shí)驗(yàn)分析
    4.1 系統(tǒng)環(huán)境
    4.2 平臺(tái)搭建
    4.3 數(shù)據(jù)預(yù)處理
    4.4 性能測(cè)試
    4.5 本章小結(jié)
5 總結(jié)及展望
    5.1 本文總結(jié)
    5.2 研究展望
參考文獻(xiàn)
致謝
附錄1 攻讀碩士學(xué)位期間申請(qǐng)的計(jì)算機(jī)軟件著作權(quán)


【參考文獻(xiàn)】：
期刊論文
[1]基于分布式流處理的自適應(yīng)數(shù)據(jù)分發(fā)策略[J]. 閭程豪,荊一楠,何震瀛,王曉陽(yáng).  計(jì)算機(jī)應(yīng)用與軟件. 2018(08)
[2]基于Storm拓?fù)浣Y(jié)構(gòu)熱邊的調(diào)度算法[J]. 熊安萍,王賢穩(wěn),鄒洋.  計(jì)算機(jī)工程. 2017(01)



本文編號(hào)：3677282