本文關(guān)鍵詞：內(nèi)存計(jì)算框架性能優(yōu)化關(guān)鍵技術(shù)研究　出處：《新疆大學(xué)》2017年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 內(nèi)存計(jì)算 集群性能 Spark Shuffle優(yōu)化 資源配置 效率模型

【摘要】：近年來,充分利用內(nèi)存的低延遲特性改進(jìn)系統(tǒng)性能成為并行計(jì)算新的研究方向。以Berkley研究成果Spark為代表的內(nèi)存計(jì)算框架,有效緩解了頻繁磁盤I/O性能瓶頸,解放了多核CPU配合大容量內(nèi)存硬件架構(gòu)的潛在高性能,成為工業(yè)界一致認(rèn)可的高性能并行計(jì)算系統(tǒng)。雖然內(nèi)存計(jì)算框架的性能表現(xiàn)相對于傳統(tǒng)的并行計(jì)算系統(tǒng)提高了數(shù)十倍,但與大數(shù)據(jù)時(shí)代的即時(shí)應(yīng)用需求相比,還存在不小的差距。因此,從計(jì)算模型的角度研究內(nèi)存計(jì)算框架的性能優(yōu)化方法具有一定的現(xiàn)實(shí)意義。本文對內(nèi)存計(jì)算框架性能優(yōu)化問題展開一系列的研究,旨在通過提高內(nèi)存計(jì)算集群資源利用率與計(jì)算效率,進(jìn)而達(dá)到優(yōu)化內(nèi)存計(jì)算框架整體性能的目的。本文主要研究工作包括以下幾點(diǎn):(1)系統(tǒng)歸納了內(nèi)存計(jì)算技術(shù)和應(yīng)用系統(tǒng)的研究現(xiàn)狀。首先,根據(jù)內(nèi)存計(jì)算技術(shù)的發(fā)展歷程,對內(nèi)存數(shù)據(jù)管理技術(shù)、內(nèi)存計(jì)算框架和典型的性能優(yōu)化方法進(jìn)行分類討論,并將性能優(yōu)化方法分為基于資源配置、任務(wù)調(diào)度及故障恢復(fù)三類進(jìn)行綜合比較。(2)提出了內(nèi)存計(jì)算框架自適應(yīng)緩存策略。針對內(nèi)存計(jì)算框架Spark缺乏有效緩存選擇機(jī)制的問題,提出自適應(yīng)的緩存管理策略,分析任務(wù)的DAG(Directed Acyclic Graph)結(jié)構(gòu),自動(dòng)識別重用RDD數(shù)據(jù)加載到緩存區(qū);綜合計(jì)算代價(jià)、處理數(shù)據(jù)量和使用頻率等因素計(jì)算RDD權(quán)重,作為緩存替換的主要依據(jù);通過異步清理無價(jià)值的RDD,降低作業(yè)的內(nèi)存需求;從而在整體上優(yōu)化緩存空間利用率。(3)提出內(nèi)存計(jì)算框架局部數(shù)據(jù)優(yōu)先拉取策略。針對異構(gòu)環(huán)境下Stage同步導(dǎo)致的作業(yè)延時(shí)和計(jì)算資源浪費(fèi)問題,提出局部數(shù)據(jù)優(yōu)先拉取策略,通過高效節(jié)點(diǎn)優(yōu)先調(diào)度,提高流水線與寬依賴任務(wù)的時(shí)間重合度,減少寬依賴Shuffle過程的同步延時(shí),優(yōu)化集群資源利用率;通過適度傾斜的任務(wù)分配,在保障慢節(jié)點(diǎn)計(jì)算連續(xù)性的前提下,提高分配任務(wù)量與節(jié)點(diǎn)計(jì)算能力的適應(yīng)度,優(yōu)化作業(yè)執(zhí)行效率。(4)提出了內(nèi)存計(jì)算框架并行度推斷算法。針對內(nèi)存計(jì)算框架任務(wù)并行度參數(shù)化設(shè)定可能導(dǎo)致的性能下降問題,提出內(nèi)存計(jì)算框架并行度推斷算法,通過分析任務(wù)并行度與作業(yè)執(zhí)行效率的關(guān)系,提出并行度推斷算法的問題定義;綜合輸入數(shù)據(jù)量、計(jì)算資源和附加開銷等多個(gè)參數(shù),計(jì)算出具有最大化資源利用率和最優(yōu)狀態(tài)同步的任務(wù)并行度,對作業(yè)的各個(gè)Stage進(jìn)行優(yōu)化調(diào)度,加速作業(yè)執(zhí)行并提高計(jì)算能效。(5)提出基于分配適應(yīng)度的漸進(jìn)填充分區(qū)映射算法。針對異構(gòu)環(huán)境下Shuffle過程數(shù)據(jù)分配與節(jié)點(diǎn)計(jì)算能力嚴(yán)重不符的問題,提出Shuffle過程的漸進(jìn)填充分區(qū)映射算法;建立Shuffle過程模型,分析分配數(shù)據(jù)量與原始數(shù)據(jù)分布的聯(lián)系;通過擴(kuò)展式分區(qū)和多輪漸進(jìn)填充映射,建立適應(yīng)節(jié)點(diǎn)計(jì)算能力的數(shù)據(jù)分配方案,有效縮減Shuffle過程的同步延時(shí),提高集群計(jì)算效率。(6)提出了基于回歸檢測的內(nèi)存重復(fù)數(shù)據(jù)刪除算法。為提高內(nèi)存計(jì)算框架堆外存儲區(qū)的利用率,提出一種基于滑動(dòng)塊回歸檢測的內(nèi)存重復(fù)數(shù)據(jù)刪除算法,通過未匹配數(shù)據(jù)進(jìn)行回歸檢測,對比未匹配塊的結(jié)構(gòu)變化確定刪冗操作類型,根據(jù)不同的操作類型選擇執(zhí)行折半匹配算法或二次滑動(dòng)窗口檢測算法,達(dá)到刪除未匹配塊內(nèi)重復(fù)數(shù)據(jù)的目的,提高內(nèi)存資源的使用效率。
[Abstract]:This paper presents a series of research on the performance optimization of memory computing framework , which is based on the development of memory computing technology . ( 4 ) The algorithm for calculating the parallelism of memory computing framework is put forward . In order to reduce the performance degradation caused by the parameter setting of the task parallelism in the memory computing framework , the paper proposes a new algorithm for calculating the parallelism of the memory calculation framework .

【學(xué)位授予單位】：新疆大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 羅樂;劉軼;錢德沛;;內(nèi)存計(jì)算技術(shù)研究綜述[J];軟件學(xué)報(bào);2016年08期

2 文雨;孟丹;詹劍鋒;;面向應(yīng)用服務(wù)級目標(biāo)的虛擬化資源管理[J];軟件學(xué)報(bào);2013年02期

3 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

4 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

，

本文編號：1391540