在流計(jì)算系統(tǒng)中,數(shù)據(jù)傾斜通常會(huì)導(dǎo)致負(fù)載不均衡進(jìn)而增加算子處理數(shù)據(jù)的延時(shí),嚴(yán)重影響系統(tǒng)本身的運(yùn)行效率。處理數(shù)據(jù)傾斜的方法是提出更好的分組策略,保證后續(xù)到達(dá)的數(shù)據(jù)可以均衡地分配給下游算子,同時(shí)需要狀態(tài)遷移機(jī)制的支持,保證更改分組策略后,狀態(tài)的存儲(chǔ)位置可以對(duì)應(yīng)新的分組策略。本文在Apache Flink計(jì)算平臺(tái)上,提出了一種負(fù)載均衡模型,命名為S1負(fù)載均衡模型。為實(shí)現(xiàn)該模型,本文提出了S1選擇模型。定義負(fù)載計(jì)算方式以及負(fù)載不均衡代價(jià)和遷移代價(jià)的計(jì)算方式。本文需要在多次細(xì)粒度遷移中,選擇收益最大（即代價(jià)最�。┑臓顟B(tài)優(yōu)先遷移,剩余狀態(tài)交由后續(xù)的細(xì)粒度遷移完成。S1選擇模型提供了狀態(tài)遷移的目的地和狀態(tài)優(yōu)先級(jí)排序隊(duì)列,可以看作一種特殊的分組策略自動(dòng)構(gòu)建模型。目前國(guó)內(nèi)外關(guān)于流計(jì)算系統(tǒng)負(fù)載均衡的研究中,負(fù)載均衡策略使用的狀態(tài)遷移機(jī)制都是按照一次性遷移的流程實(shí)現(xiàn)的,這種一次性狀態(tài)遷移機(jī)制暫停流計(jì)算系統(tǒng)再對(duì)所有需要遷移的狀態(tài)進(jìn)行遷移,會(huì)帶來(lái)非常高的延時(shí),可以說(shuō)是一種以顯著地降低流計(jì)算系統(tǒng)可用性為代價(jià)的負(fù)載均衡方法。因此,本文提出細(xì)粒度狀態(tài)遷移機(jī)制,將一次性遷移劃分為多次細(xì)粒度遷移,從而降低單次遷移的代價(jià),使... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Flink運(yùn)行時(shí)架構(gòu)

FlinkTaskManager和JobManager之間的關(guān)系

哈爾濱工業(yè)大學(xué)碩士學(xué)位論文152.4.3彈性伸縮有狀態(tài)的流計(jì)算作業(yè)在無(wú)狀態(tài)流中更改并行度（即更改為算子執(zhí)行工作的并行子任務(wù)的數(shù)量）非常容易，如圖2-4所示，僅需要啟動(dòng)或停止無(wú)狀態(tài)算子的并行實(shí)例，并使其與上游和下游算子斷開(kāi)連接/斷開(kāi)連接。另一方面，改變由狀態(tài)算子的并行度要涉及得多，因?yàn)檫�必須以一致有意義的方式重新分配先前的算子狀態(tài)。在Flink的無(wú)共享架構(gòu)中，所有狀態(tài)對(duì)于運(yùn)行擁有的并行算子實(shí)例的任務(wù)來(lái)說(shuō)是本地的，并且在作業(yè)運(yùn)行時(shí)并行算子實(shí)例之間沒(méi)有通信。圖2-4Flink中有狀態(tài)算子和無(wú)狀態(tài)算子的重配置Flink中已經(jīng)存在一種機(jī)制，該機(jī)制允許在任務(wù)之間以一致的方式交換算子狀態(tài)，并且保證exactly-once的語(yǔ)義，這就是Flink的檢查點(diǎn)。檢查點(diǎn)barrier會(huì)隨著事件流從源流向接收器向下游流動(dòng)，每當(dāng)算子實(shí)例接收到屏障時(shí)，算子實(shí)例都會(huì)立即將其當(dāng)前狀態(tài)做快照并存儲(chǔ)到分布式存儲(chǔ)系統(tǒng)，例如HDFS。還原時(shí)，作業(yè)的新任務(wù)可以再次從分布式存儲(chǔ)系統(tǒng)中獲取狀態(tài)數(shù)據(jù)�？梢栽跈z查點(diǎn)上搭載狀態(tài)作業(yè)的重新縮放，如圖2-4所示。首先，觸發(fā)檢查點(diǎn)并將其發(fā)送到分布式存儲(chǔ)系統(tǒng)。接下來(lái)以更改的并行度重新啟動(dòng)作業(yè)，并且可以從分布式存儲(chǔ)訪(fǎng)問(wèn)所有先前狀態(tài)的一致快照。雖然這解決了在計(jì)算機(jī)之間重新分配一致?tīng)顟B(tài)的問(wèn)題，但仍然存在一個(gè)問(wèn)題：如果再次將先前map_1和

【參考文獻(xiàn)】：
期刊論文
[1]面向大數(shù)據(jù)流式計(jì)算的任務(wù)管理技術(shù)綜述[J]. 梁毅,侯穎,陳誠(chéng),金翊.  計(jì)算機(jī)工程與科學(xué). 2017(02)
[2]復(fù)雜網(wǎng)絡(luò)中節(jié)點(diǎn)重要度的一個(gè)評(píng)估指標(biāo)[J]. 蔣豐景,陳玥琪.  西安工程大學(xué)學(xué)報(bào). 2014(01)

博士論文
[1]基于復(fù)雜網(wǎng)絡(luò)的軟件關(guān)鍵節(jié)點(diǎn)和關(guān)鍵路徑挖掘方法研究[D]. 王蕾.燕山大學(xué) 2016
[2]分布式實(shí)時(shí)系統(tǒng)任務(wù)容錯(cuò)調(diào)度優(yōu)化算法研究[D]. 何忠政.哈爾濱工程大學(xué) 2016

碩士論文
[1]面向流數(shù)據(jù)處理的動(dòng)態(tài)自適應(yīng)檢查點(diǎn)機(jī)制研究[D]. 劉智亮.吉林大學(xué) 2017



本文編號(hào)：2961442