隨著互聯(lián)網(wǎng)時(shí)代的到來(lái),數(shù)據(jù)的形式和規(guī)模都發(fā)生了天翻地覆的變化。傳統(tǒng)的數(shù)據(jù)具有靜態(tài)與格式化的特性,且數(shù)據(jù)規(guī)模較小,可以采用單機(jī)的計(jì)算節(jié)點(diǎn)執(zhí)行數(shù)據(jù)處理的任務(wù)。在處于信息化時(shí)代的今天,數(shù)據(jù)變化為規(guī)模龐大的非結(jié)構(gòu)化實(shí)時(shí)異構(gòu)數(shù)據(jù),并且常以流式數(shù)據(jù)的形式存在。流式數(shù)據(jù)具有時(shí)間屬性,傳統(tǒng)的數(shù)據(jù)處理技術(shù)會(huì)丟失流式數(shù)據(jù)計(jì)算結(jié)果的準(zhǔn)確性與價(jià)值,這導(dǎo)致新興的數(shù)據(jù)計(jì)算任務(wù)不得不摒棄傳統(tǒng)數(shù)據(jù)處理技術(shù)。以流式數(shù)據(jù)為代表的海量實(shí)時(shí)異構(gòu)數(shù)據(jù)的處理技術(shù)難題亟待解決。本文基于為用戶(hù)提供高吞吐低延時(shí)計(jì)算服務(wù)的分布式流計(jì)算平臺(tái),圍繞分布式流計(jì)算平臺(tái)中的控制節(jié)點(diǎn),關(guān)注系統(tǒng)調(diào)度算法方面和元數(shù)據(jù)管理方面的研究。主要工作如下:1)設(shè)計(jì)并實(shí)現(xiàn)了分布式流計(jì)算平臺(tái)采用的初調(diào)度、重調(diào)度、恢復(fù)調(diào)度三階段的調(diào)度算法:在任務(wù)開(kāi)始運(yùn)行時(shí)采用初調(diào)度算法分析任務(wù)的資源需求并采取負(fù)載均衡的分配方案;在系統(tǒng)和任務(wù)運(yùn)行期間采用重調(diào)度算法動(dòng)態(tài)調(diào)整任務(wù)的性能瓶頸問(wèn)題和系統(tǒng)的資源傾斜問(wèn)題;在系統(tǒng)或任務(wù)出現(xiàn)異常時(shí)采用恢復(fù)調(diào)度算法降低任務(wù)的損失,并盡快恢復(fù)任務(wù)的高性能運(yùn)行狀態(tài)。力求更好地提高資源的利用率、實(shí)現(xiàn)系統(tǒng)的負(fù)載均衡,最終使得系統(tǒng)整體的吞吐率達(dá)到最大;2)自定義... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：89 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

SparkStreaming調(diào)度算法

主、從控制節(jié)點(diǎn)，登錄管理界面，“系統(tǒng)狀態(tài)”頁(yè)面如圖6-3 所示，所有計(jì)算節(jié)點(diǎn)均處于離線狀態(tài)，系統(tǒng)的統(tǒng)計(jì)信息為空。圖 6-3 計(jì)算節(jié)點(diǎn)管理頁(yè)面啟動(dòng)五個(gè)計(jì)算節(jié)點(diǎn)，“系統(tǒng)狀態(tài)”頁(yè)面如圖 6-4 所示，用戶(hù)可以通過(guò)“系統(tǒng)狀態(tài)”頁(yè)面查看系統(tǒng)中所有計(jì)算節(jié)點(diǎn)的信息，包括 IP 地址、節(jié)點(diǎn)的狀態(tài)、內(nèi)存余量、網(wǎng)絡(luò)流量、磁盤(pán)余量、CPU 負(fù)載等信息。還可點(diǎn)擊按鈕查看計(jì)算節(jié)點(diǎn)上運(yùn)行的進(jìn)程詳情，啟動(dòng)或關(guān)閉計(jì)算節(jié)點(diǎn)。圖 6-4 計(jì)算節(jié)點(diǎn)管理頁(yè)面（續(xù)）

圖 6-3 計(jì)算節(jié)點(diǎn)管理頁(yè)面啟動(dòng)五個(gè)計(jì)算節(jié)點(diǎn)，“系統(tǒng)狀態(tài)”頁(yè)面如圖 6-4 所示，用戶(hù)可以通過(guò)“系統(tǒng)狀態(tài)”頁(yè)面查看系統(tǒng)中所有計(jì)算節(jié)點(diǎn)的信息，包括 IP 地址、節(jié)點(diǎn)的狀態(tài)、內(nèi)存余量、網(wǎng)絡(luò)流量、磁盤(pán)余量、CPU 負(fù)載等信息。還可點(diǎn)擊按鈕查看計(jì)算節(jié)點(diǎn)上運(yùn)行的進(jìn)程詳情，啟動(dòng)或關(guān)閉計(jì)算節(jié)點(diǎn)。


本文編號(hào)：3072429