發(fā)布時(shí)間：2017-11-12 10:21

  本文關(guān)鍵詞：面向磁盤駐留的類Pregel系統(tǒng)的多級(jí)容錯(cuò)處理機(jī)制

  更多相關(guān)文章： 容錯(cuò) 大規(guī)模圖 迭代計(jì)算 BSP模型 檢查點(diǎn)

【摘要】：基于BSP模型的分布式框架已經(jīng)成為大規(guī)模圖高頻迭代處理的有效工具.分布式系統(tǒng)可以通過(guò)增加集群節(jié)點(diǎn)數(shù)量的方式提供彈性的處理能力,但同時(shí)也增加了故障發(fā)生的概率,因此亟需開(kāi)發(fā)高效的容錯(cuò)處理機(jī)制.現(xiàn)有工作主要是基于檢查點(diǎn)機(jī)制展開(kāi)研究,包括數(shù)據(jù)備份和故障恢復(fù)2部分:前者沒(méi)有考慮迭代過(guò)程中參與計(jì)算的數(shù)據(jù)規(guī)模的動(dòng)態(tài)變化,而是備份所有圖數(shù)據(jù),因此引入了冗余數(shù)據(jù)的寫(xiě)開(kāi)銷;后者通常是從遠(yuǎn)程存儲(chǔ)節(jié)點(diǎn)上讀取備份數(shù)據(jù)進(jìn)行故障恢復(fù),而沒(méi)有考慮利用本地磁盤數(shù)據(jù)恢復(fù)某些場(chǎng)景下的故障,引入額外的網(wǎng)絡(luò)開(kāi)銷.因此提出了一種多級(jí)容錯(cuò)處理機(jī)制,將故障分為計(jì)算任務(wù)故障和計(jì)算節(jié)點(diǎn)故障2類,并設(shè)計(jì)了不同的備份和恢復(fù)策略.備份階段利用了某些應(yīng)用在迭代計(jì)算過(guò)程中參與計(jì)算的數(shù)據(jù)規(guī)模的動(dòng)態(tài)變化特性,設(shè)計(jì)了完全備份和寫(xiě)變化log自適應(yīng)選擇的策略,可以顯著減少冗余數(shù)據(jù)的寫(xiě)開(kāi)銷.故障恢復(fù)階段,對(duì)任務(wù)故障,利用本地磁盤上保留的圖數(shù)據(jù)和遠(yuǎn)程的消息數(shù)據(jù)完成恢復(fù);而對(duì)節(jié)點(diǎn)故障,則利用備份在遠(yuǎn)程信息進(jìn)行恢復(fù).最后,通過(guò)在真實(shí)數(shù)據(jù)集上的大量實(shí)驗(yàn),驗(yàn)證了提出的多級(jí)容錯(cuò)機(jī)制的有效性.
【作者單位】： 東北大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;中國(guó)移動(dòng)(蘇州)軟件技術(shù)有限公司;
【基金】：國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目(61433008);國(guó)家自然科學(xué)基金項(xiàng)目(61173028,61272179) 中央高�；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)基金項(xiàng)目(N100704001) 教育部-中國(guó)移動(dòng)科研基金項(xiàng)目(MCM20125021)~~
【分類號(hào)】：TP333.3
【正文快照】： This work was supported by the Key Program of the National Natural Science Foundation of China(61433008),the NationalNatural Science Foundation of China(61173028,61272179),the Fundamental Research Funds for the Central Universities(N100704001),and Chines

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 房澤平,戴增輝;單片機(jī)系統(tǒng)非正常運(yùn)行下的容錯(cuò)處理方法[J];中原工學(xué)院學(xué)報(bào);2005年04期

2 ;[J];;年期

，

本文編號(hào)：1175513