大規(guī)模流處理系統(tǒng)作為大規(guī)模流數(shù)據(jù)處理的重要工具,推動(dòng)了大數(shù)據(jù)流式計(jì)算技術(shù)的發(fā)展和應(yīng)用,為應(yīng)對(duì)大數(shù)據(jù)時(shí)代的挑戰(zhàn)提供了重要幫助�；谠频膹椥再Y源調(diào)度作為大規(guī)模流處理系統(tǒng)的重要組成部分,影響著系統(tǒng)的性能和制約著系統(tǒng)的應(yīng)用。因此,研究彈性資源調(diào)度對(duì)于從本質(zhì)上理解流處理系統(tǒng),提高系統(tǒng)的資源利用率、降低系統(tǒng)的能量消耗具有至關(guān)重要的意義。本文主要研究面向大規(guī)模流處理的彈性資源調(diào)度,即根據(jù)應(yīng)用輸入負(fù)載的變化,動(dòng)態(tài)地進(jìn)行資源的擴(kuò)展調(diào)整或收縮調(diào)整。資源調(diào)度的關(guān)鍵是確定資源調(diào)整的時(shí)機(jī)和數(shù)量,從而實(shí)時(shí)地提供與負(fù)載變化相匹配的資源。資源調(diào)度涉及資源分配和資源放置兩個(gè)方面。其中,資源分配是指確定虛擬機(jī)資源調(diào)整的時(shí)機(jī)和增加或減少的數(shù)量,資源放置則是實(shí)現(xiàn)分配或釋放的虛擬機(jī)資源到物理機(jī)的映射。具體地,我們將協(xié)作式負(fù)載預(yù)測(cè)模型、反饋式協(xié)作機(jī)制等與彈性資源調(diào)度相結(jié)合,針對(duì)不同的應(yīng)用性能目標(biāo),單獨(dú)地考慮資源分配或從系統(tǒng)化的角度統(tǒng)一地考慮資源分配和資源放置,進(jìn)行以下三個(gè)方面的研究:·面向大規(guī)模流數(shù)據(jù)突發(fā)性的彈性資源調(diào)度�；趹�(yīng)用上、下游操作的輸入負(fù)載之間的關(guān)聯(lián)性,構(gòu)建數(shù)據(jù)負(fù)載預(yù)測(cè)模型,設(shè)計(jì)操作間的協(xié)作機(jī)制,設(shè)計(jì)有效的彈性資源分... 

【文章來(lái)源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：141 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖１．４論文組織結(jié)構(gòu)圖??

３．３．１階躍現(xiàn)象??在ＤＡＧ中，操作的資源擴(kuò)展調(diào)整將導(dǎo)致其鄰居下游操作的輸入負(fù)載突然增??力口，一旦負(fù)載超過(guò)了處理能力，下游操作也需要進(jìn)行擴(kuò)展調(diào)整，成為新的調(diào)整操??作。此時(shí)，下游操作稱(chēng)為操作的擴(kuò)展關(guān)聯(lián)操作。由于調(diào)整延遲是不可避免的，在??處理能力與輸入負(fù)載尚未匹配之前，如果下游操作發(fā)生緩存溢出，則出現(xiàn)數(shù)據(jù)丟??失，此種現(xiàn)象稱(chēng)之為操作的階躍上升現(xiàn)象（簡(jiǎn)稱(chēng)階躍現(xiàn)象），如圖３．?２?（ａ）所示，??其中，左側(cè)的細(xì)線(xiàn)縱坐標(biāo)軸／⑴和右側(cè)的粗線(xiàn)縱坐標(biāo)軸Ｐ（／）分別表示操作在／時(shí)刻??的輸入速率和處理速率。??與擴(kuò)展調(diào)整相反，操作的資源收縮調(diào)整將導(dǎo)致其下游操作的輸入速率急劇減??少。當(dāng)下游操作的輸入緩存占用較少且資源使用率較低時(shí)，也需要進(jìn)行收縮調(diào)整。??此時(shí)，下游操作稱(chēng)為操作的收縮關(guān)聯(lián)操作。在下游操作調(diào)整期間，其處理能力大??于突發(fā)減少的輸入負(fù)載，存在資源使用浪費(fèi)的現(xiàn)象，稱(chēng)之為操作的階躍下降現(xiàn)象??

述階躍現(xiàn)象和抖動(dòng)現(xiàn)象，本章解決的彈性資源分配問(wèn)題的失量和最大化資源使用率，并在滿(mǎn)足上述兩個(gè)目標(biāo)的前提目標(biāo)函數(shù)中的定義如下：??ｉｎ（ｄ（７（ｏ，）?｜（／？Ｓ（ｏ，），Ｚ）Ｉ（〇ｉ）））Ａｍａｘ（／？ｌＳ（ｏ，．）?｜?￡）￡（〇，））八?ｍｉｎ（ＤＬ（ｏ，．）中中，表示在調(diào)整期間的數(shù)據(jù)丟失量。／？災(zāi)〇，）是資資源與分配資源的比率，最優(yōu)的情況是二１。ＪＣ（〇ｉ．；）本章假設(shè)擴(kuò)展或收縮資源調(diào)整的代價(jià)基本相同，因此，總衡量，調(diào)整次數(shù)越多，則調(diào)整代價(jià)越高。后續(xù)工作將建立同因素影響下的調(diào)整代價(jià)。??現(xiàn)上述目標(biāo)，首先需要構(gòu)建操作的數(shù)據(jù)負(fù)載預(yù)測(cè)模型，并彈性資源分配，減少或避免數(shù)據(jù)丟失；同時(shí)，為了提高資

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)流式計(jì)算框架Storm的任務(wù)遷移策略[J]. 魯亮,于炯,卞琛,劉月超,廖彬,李慧娟.  計(jì)算機(jī)研究與發(fā)展. 2018(01)
[2]應(yīng)對(duì)傾斜數(shù)據(jù)流在線(xiàn)連接方法[J]. 王春凱,孟小峰.  軟件學(xué)報(bào). 2018(03)
[3]支持大規(guī)模流數(shù)據(jù)在線(xiàn)處理的自適應(yīng)檢查點(diǎn)機(jī)制[J]. 魏曉輝,劉智亮,莊園,李洪亮,李翔.  吉林大學(xué)學(xué)報(bào)(工學(xué)版). 2017(01)
[4]一種云環(huán)境中數(shù)據(jù)流的高效多目標(biāo)調(diào)度方法[J]. 沈堯,秦小麟,鮑芝峰.  軟件學(xué)報(bào). 2017(03)
[5]分布式數(shù)據(jù)流上的高性能分發(fā)策略[J]. 房俊華,王曉桐,張蓉,周傲英.  軟件學(xué)報(bào). 2017(03)
[6]分布式流處理系統(tǒng)中基于位置感知的操作共享優(yōu)化算法[J]. 魏曉輝,劉曉斐,李洪亮,李蘭馨,李麗娜,崔浩龍,李想.  吉林大學(xué)學(xué)報(bào)(理學(xué)版). 2016(05)
[7]支持大規(guī)模流數(shù)據(jù)處理的彈性在線(xiàn)MapReduce模型及拓?fù)鋮f(xié)議[J]. 魏曉輝,李翔,李洪亮,李聰,莊園,于洪梅.  吉林大學(xué)學(xué)報(bào)(工學(xué)版). 2016(04)
[8]基于云計(jì)算的流數(shù)據(jù)集成與服務(wù)[J]. 王桂玲,韓燕波,張仲妹,朱美玲.  計(jì)算機(jī)學(xué)報(bào). 2017(01)
[9]流水行云:支持可擴(kuò)展的并行分布式流處理系統(tǒng)[J]. 張鵬,劉慶云,譚建龍,李焱,杜華明.  電子學(xué)報(bào). 2015(04)
[10]支持大規(guī)模流數(shù)據(jù)處理的在線(xiàn)MapReduce數(shù)據(jù)傳輸機(jī)制[J]. 魏曉輝,李聰,李洪亮,李翔,劉圓圓,李麗娜,莊園.  吉林大學(xué)學(xué)報(bào)(理學(xué)版). 2015(02)



本文編號(hào)：3485090