大規(guī)模流處理系統(tǒng)作為大規(guī)模流數(shù)據(jù)處理的重要工具,推動了大數(shù)據(jù)流式計算技術(shù)的發(fā)展和應(yīng)用,為應(yīng)對大數(shù)據(jù)時代的挑戰(zhàn)提供了重要幫助。基于云的彈性資源調(diào)度作為大規(guī)模流處理系統(tǒng)的重要組成部分,影響著系統(tǒng)的性能和制約著系統(tǒng)的應(yīng)用。因此,研究彈性資源調(diào)度對于從本質(zhì)上理解流處理系統(tǒng),提高系統(tǒng)的資源利用率、降低系統(tǒng)的能量消耗具有至關(guān)重要的意義。本文主要研究面向大規(guī)模流處理的彈性資源調(diào)度,即根據(jù)應(yīng)用輸入負載的變化,動態(tài)地進行資源的擴展調(diào)整或收縮調(diào)整。資源調(diào)度的關(guān)鍵是確定資源調(diào)整的時機和數(shù)量,從而實時地提供與負載變化相匹配的資源。資源調(diào)度涉及資源分配和資源放置兩個方面。其中,資源分配是指確定虛擬機資源調(diào)整的時機和增加或減少的數(shù)量,資源放置則是實現(xiàn)分配或釋放的虛擬機資源到物理機的映射。具體地,我們將協(xié)作式負載預(yù)測模型、反饋式協(xié)作機制等與彈性資源調(diào)度相結(jié)合,針對不同的應(yīng)用性能目標,單獨地考慮資源分配或從系統(tǒng)化的角度統(tǒng)一地考慮資源分配和資源放置,進行以下三個方面的研究:·面向大規(guī)模流數(shù)據(jù)突發(fā)性的彈性資源調(diào)度�；趹�(yīng)用上、下游操作的輸入負載之間的關(guān)聯(lián)性,構(gòu)建數(shù)據(jù)負載預(yù)測模型,設(shè)計操作間的協(xié)作機制,設(shè)計有效的彈性資源分... 

【文章來源】：吉林大學吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：141 頁

【學位級別】：博士

【部分圖文】：

圖１．４論文組織結(jié)構(gòu)圖??

３．３．１階躍現(xiàn)象??在ＤＡＧ中，操作的資源擴展調(diào)整將導(dǎo)致其鄰居下游操作的輸入負載突然增??力口，一旦負載超過了處理能力，下游操作也需要進行擴展調(diào)整，成為新的調(diào)整操??作。此時，下游操作稱為操作的擴展關(guān)聯(lián)操作。由于調(diào)整延遲是不可避免的，在??處理能力與輸入負載尚未匹配之前，如果下游操作發(fā)生緩存溢出，則出現(xiàn)數(shù)據(jù)丟??失，此種現(xiàn)象稱之為操作的階躍上升現(xiàn)象（簡稱階躍現(xiàn)象），如圖３．?２?（ａ）所示，??其中，左側(cè)的細線縱坐標軸／⑴和右側(cè)的粗線縱坐標軸Ｐ（／）分別表示操作在／時刻??的輸入速率和處理速率。??與擴展調(diào)整相反，操作的資源收縮調(diào)整將導(dǎo)致其下游操作的輸入速率急劇減??少。當下游操作的輸入緩存占用較少且資源使用率較低時，也需要進行收縮調(diào)整。??此時，下游操作稱為操作的收縮關(guān)聯(lián)操作。在下游操作調(diào)整期間，其處理能力大??于突發(fā)減少的輸入負載，存在資源使用浪費的現(xiàn)象，稱之為操作的階躍下降現(xiàn)象??

述階躍現(xiàn)象和抖動現(xiàn)象，本章解決的彈性資源分配問題的失量和最大化資源使用率，并在滿足上述兩個目標的前提目標函數(shù)中的定義如下：??ｉｎ（ｄ（７（ｏ，）?｜（／？Ｓ（ｏ，），Ｚ）Ｉ（〇ｉ）））Ａｍａｘ（／？ｌＳ（ｏ，．）?｜?￡）￡（〇，））八?ｍｉｎ（ＤＬ（ｏ，．）中中，表示在調(diào)整期間的數(shù)據(jù)丟失量。／？災(zāi)〇，）是資資源與分配資源的比率，最優(yōu)的情況是二１。ＪＣ（〇ｉ．；）本章假設(shè)擴展或收縮資源調(diào)整的代價基本相同，因此，總衡量，調(diào)整次數(shù)越多，則調(diào)整代價越高。后續(xù)工作將建立同因素影響下的調(diào)整代價。??現(xiàn)上述目標，首先需要構(gòu)建操作的數(shù)據(jù)負載預(yù)測模型，并彈性資源分配，減少或避免數(shù)據(jù)丟失；同時，為了提高資

【參考文獻】：
期刊論文
[1]大數(shù)據(jù)流式計算框架Storm的任務(wù)遷移策略[J]. 魯亮,于炯,卞琛,劉月超,廖彬,李慧娟.  計算機研究與發(fā)展. 2018(01)
[2]應(yīng)對傾斜數(shù)據(jù)流在線連接方法[J]. 王春凱,孟小峰.  軟件學報. 2018(03)
[3]支持大規(guī)模流數(shù)據(jù)在線處理的自適應(yīng)檢查點機制[J]. 魏曉輝,劉智亮,莊園,李洪亮,李翔.  吉林大學學報(工學版). 2017(01)
[4]一種云環(huán)境中數(shù)據(jù)流的高效多目標調(diào)度方法[J]. 沈堯,秦小麟,鮑芝峰.  軟件學報. 2017(03)
[5]分布式數(shù)據(jù)流上的高性能分發(fā)策略[J]. 房俊華,王曉桐,張蓉,周傲英.  軟件學報. 2017(03)
[6]分布式流處理系統(tǒng)中基于位置感知的操作共享優(yōu)化算法[J]. 魏曉輝,劉曉斐,李洪亮,李蘭馨,李麗娜,崔浩龍,李想.  吉林大學學報(理學版). 2016(05)
[7]支持大規(guī)模流數(shù)據(jù)處理的彈性在線MapReduce模型及拓撲協(xié)議[J]. 魏曉輝,李翔,李洪亮,李聰,莊園,于洪梅.  吉林大學學報(工學版). 2016(04)
[8]基于云計算的流數(shù)據(jù)集成與服務(wù)[J]. 王桂玲,韓燕波,張仲妹,朱美玲.  計算機學報. 2017(01)
[9]流水行云:支持可擴展的并行分布式流處理系統(tǒng)[J]. 張鵬,劉慶云,譚建龍,李焱,杜華明.  電子學報. 2015(04)
[10]支持大規(guī)模流數(shù)據(jù)處理的在線MapReduce數(shù)據(jù)傳輸機制[J]. 魏曉輝,李聰,李洪亮,李翔,劉圓圓,李麗娜,莊園.  吉林大學學報(理學版). 2015(02)



本文編號：3485090