本文關鍵詞：內存計算框架局部數(shù)據(jù)優(yōu)先拉取策略　出處：《計算機研究與發(fā)展》2017年04期 　論文類型：期刊論文

  更多相關文章： 內存計算 任務分配 作業(yè)調度 分配效能熵 節(jié)點貢獻度 異構環(huán)境

【摘要】：內存計算框架的低延遲特性大幅提高了集群的計算效率,但Shuffle過程的性能瓶頸仍不可規(guī)避.寬依賴的同步操作導致大多數(shù)工作節(jié)點等待慢節(jié)點的計算結果,同步過程不僅浪費計算資源,更增加了作業(yè)延時,這一現(xiàn)象在異構集群環(huán)境下尤為突出.針對內存計算框架Shuffle操作的同步問題,建立了資源需求模型、執(zhí)行效率模型和任務分配及調度模型.給出了分配效能熵(allocation efficiency entropy,AEE)和節(jié)點貢獻度(worker contribution degree,WCD)的定義,提出了算法的優(yōu)化目標.根據(jù)模型的相關定義求解,設計了局部數(shù)據(jù)優(yōu)先拉取算法(partial data shuffled first algorithm,PDSF),通過高效節(jié)點優(yōu)先調度,提高流水線與寬依賴任務的時間重合度,減少寬依賴Shuffle過程的同步延時,優(yōu)化集群資源利用率;通過適度傾斜的任務分配,在保障慢節(jié)點計算連續(xù)性的前提下,提高分配任務量與節(jié)點計算能力的適應度,優(yōu)化作業(yè)執(zhí)行效率;通過分析算法的相關優(yōu)化原則,證明了算法的帕累托最優(yōu)性.實驗表明:PDSF算法提高了內存計算框架的作業(yè)執(zhí)行效率,并使集群資源得到有效利用.
[Abstract]:The low delay characteristic of the memory computing framework greatly improves the computing efficiency of the cluster , but the performance bottleneck of the Shuffle process can not be avoided . The synchronization problem of wide - dependent synchronization causes most work nodes to wait for the computation results of the slow nodes .

【作者單位】： 新疆大學信息科學與工程學院;新疆財經大學統(tǒng)計與信息學院;
【基金】：國家自然科學基金項目(61262088,61462079,61363083,61562086) 新疆維吾爾自治區(qū)高�？蒲杏媱�(XJEDU2016S106)~~
【分類號】：TP311.13;TP333
【正文快照】： 近年來,各行業(yè)應用數(shù)據(jù)規(guī)模呈爆炸性增長,大數(shù)據(jù)的4V特性發(fā)生不同程度的變化,表現(xiàn)出增速快、增量大、類型多樣、結構差異明顯等特征[1].傳統(tǒng)的并行計算系統(tǒng)由于其計算模型的天生缺陷,在大數(shù)據(jù)處理過程中存在I/O效率低下、并發(fā)控制困難、數(shù)據(jù)處理總體性能較低等諸多問題,難以有

【相似文獻】

相關期刊論文 前2條

1 藺廣逢;朱虹;范彩霞;張二虎;羅磊;;基于Grassmann流形的多聚類特征選擇[J];計算機工程;2012年16期

2 ;[J];;年期

，

本文編號：1386717