本文選題：內(nèi)存計(jì)算　切入點(diǎn)：Spark　出處：《新疆大學(xué)》2017年博士論文

【摘要】：近年來,隨著互聯(lián)網(wǎng)的飛速發(fā)展,大數(shù)據(jù)的規(guī)模日益劇增。為了應(yīng)對(duì)大數(shù)據(jù)帶來的挑戰(zhàn),能夠提高任務(wù)執(zhí)行效率的內(nèi)存計(jì)算成為關(guān)注的熱點(diǎn)。對(duì)內(nèi)存計(jì)算而言,提供高可靠性和高效的內(nèi)存存儲(chǔ)層是當(dāng)前需要解決的關(guān)鍵問題。本文通過研究內(nèi)存計(jì)算存儲(chǔ)層的容錯(cuò)和優(yōu)化問題,來提高存儲(chǔ)層可靠性和內(nèi)存有效利用率,進(jìn)而實(shí)現(xiàn)提高內(nèi)存計(jì)算整體執(zhí)行效率的目標(biāo)。本文主要研究內(nèi)容包括:(1)內(nèi)存計(jì)算概述介紹了內(nèi)存計(jì)算的概念、分類和典型應(yīng)用,歸納總結(jié)了內(nèi)存計(jì)算存儲(chǔ)層容錯(cuò)和內(nèi)存優(yōu)化方面的研究現(xiàn)狀,討論相關(guān)方法和現(xiàn)有研究。并對(duì)典型研究對(duì)象內(nèi)存計(jì)算框架Spark的概念、架構(gòu)、應(yīng)用和待優(yōu)化問題進(jìn)行闡述。(2)內(nèi)存計(jì)算環(huán)境下基于RDD關(guān)鍵度的自動(dòng)檢查點(diǎn)策略研究在容錯(cuò)機(jī)制方面,Spark通過血統(tǒng)(lineage)將任務(wù)重新計(jì)算,實(shí)現(xiàn)數(shù)據(jù)恢復(fù)。當(dāng)血統(tǒng)過長或具有寬依賴操作時(shí),計(jì)算開銷較大,所以數(shù)據(jù)恢復(fù)的開銷也會(huì)顯著增加。因此需要為Spark中執(zhí)行的任務(wù)設(shè)置檢查點(diǎn),實(shí)現(xiàn)快速恢復(fù)。然而現(xiàn)有的Spark檢查點(diǎn)機(jī)制,要求用戶或程序員根據(jù)經(jīng)驗(yàn)選擇檢查點(diǎn),具有一定的風(fēng)險(xiǎn)和隨機(jī)性,并不能很好的符合任務(wù)的特性,降低恢復(fù)開銷。本文針對(duì)上述問題,分析Spark的作業(yè)執(zhí)行機(jī)制,建立了任務(wù)執(zhí)行模型、檢查點(diǎn)模型和恢復(fù)模型,給出了彈性分布式數(shù)據(jù)集(Resilient Distributed Datasets,RDD)關(guān)鍵度的定義,提出了算法的優(yōu)化目標(biāo)。根據(jù)模型的相關(guān)定義求解,設(shè)計(jì)了基于RDD關(guān)鍵度的自動(dòng)檢查點(diǎn)策略,通過血統(tǒng)長度、操作類型復(fù)雜度和時(shí)間開銷計(jì)算關(guān)鍵度,設(shè)置適合的檢查點(diǎn),有效縮減恢復(fù)過程的延時(shí);并通過檢查點(diǎn)清理算法,清理不需要的檢查點(diǎn)。實(shí)驗(yàn)表明:我們的算法提高了檢查點(diǎn)策略的合理性,優(yōu)化了內(nèi)存計(jì)算框架的作業(yè)恢復(fù)效率。(3)內(nèi)存計(jì)算環(huán)境下的數(shù)據(jù)失效恢復(fù)算法研究在Spark中實(shí)現(xiàn)高效的失效恢復(fù)策略,不僅能夠減輕程序員的編程負(fù)擔(dān),更能有效提高群集的計(jì)算效率,應(yīng)對(duì)突發(fā)性的宕機(jī)風(fēng)險(xiǎn),增加系統(tǒng)的可用性。此外,現(xiàn)有的失效恢復(fù)算法未考慮RDD特性、集群性能和數(shù)據(jù)本地性等因素,會(huì)導(dǎo)致系統(tǒng)恢復(fù)效率較低。本文通過對(duì)內(nèi)存計(jì)算框架的任務(wù)執(zhí)行機(jī)制,建立執(zhí)行效率模型,給出了RDD執(zhí)行時(shí)間、計(jì)算代價(jià)和作業(yè)執(zhí)行時(shí)間的定義。證明這些定義與任務(wù)恢復(fù)效率的邏輯關(guān)系,為算法設(shè)計(jì)提供基礎(chǔ)模型。在對(duì)代碼語義分析,獲得作業(yè)詳細(xì)信息的基礎(chǔ)上,對(duì)失效恢復(fù)策略進(jìn)行了優(yōu)化。利用失效恢復(fù)模型和權(quán)重信息設(shè)計(jì)檢查點(diǎn)設(shè)置算法和失效恢復(fù)算法。實(shí)驗(yàn)表明,算法可以提高作業(yè)的恢復(fù)效率。(4)基于存儲(chǔ)區(qū)最小化和執(zhí)行區(qū)按需分配的內(nèi)存優(yōu)化策略研究為了提升任務(wù)執(zhí)行效率,在不影響RDD重用和任務(wù)執(zhí)行效率的情況下,應(yīng)盡量減少存儲(chǔ)區(qū)(Storage memory)所占用空間,以保留更多內(nèi)存空間給執(zhí)行區(qū)。與此同時(shí),執(zhí)行區(qū)(Execution memory)根據(jù)活動(dòng)任務(wù)的內(nèi)存需求量情況進(jìn)行分配,提高與任務(wù)的契合度。因此,本文對(duì)Spark內(nèi)存模型進(jìn)行分析,對(duì)內(nèi)存可分配量、作業(yè)執(zhí)行時(shí)間、數(shù)據(jù)傾斜度、執(zhí)行區(qū)需求量、執(zhí)行區(qū)可分配量、執(zhí)行區(qū)溢出量、任務(wù)公平度等定義,并在此基礎(chǔ)上,提出基于存儲(chǔ)區(qū)最小化和執(zhí)行區(qū)按需分配的內(nèi)存優(yōu)化算法。存儲(chǔ)區(qū)選擇更有價(jià)值的RDD作為緩存,并及時(shí)清理。執(zhí)行區(qū)根據(jù)任務(wù)輸入數(shù)據(jù)的大小決定內(nèi)存分配量。在略微修改Spark源碼的基礎(chǔ)上,該策略能夠降低存儲(chǔ)區(qū)緩存缺失率和執(zhí)行區(qū)磁盤溢出量,從而提高作業(yè)執(zhí)行效率的目的。(5)內(nèi)存計(jì)算環(huán)境下基于小文件合并的內(nèi)存優(yōu)化算法研究為了減少集群主節(jié)點(diǎn)內(nèi)存消耗和作業(yè)開銷,必須減少文件的數(shù)量,盡量使用大文件的數(shù)據(jù)。本文從小文件的方面出發(fā),考慮內(nèi)存優(yōu)化問題,提出小文件分組和合并算法,通過對(duì)多個(gè)小文件進(jìn)行一次預(yù)處理,即將多個(gè)小文件合并,以大文件作為輸入數(shù)據(jù)。在不影響迭代效率的情況下,盡可能的減少對(duì)內(nèi)存空間的占用,從而提高內(nèi)存資源的有效利用率。實(shí)驗(yàn)結(jié)果表明:算法可以提高內(nèi)存的有效利用率。(6)內(nèi)存計(jì)算環(huán)境下基于索引結(jié)構(gòu)的內(nèi)存優(yōu)化策略研究為了解決哈希存儲(chǔ)結(jié)構(gòu)帶來的讀取訪問效率低、索引開銷大的問題,本文提出了索引結(jié)構(gòu)優(yōu)化策略,該策略在不影響原系統(tǒng)性能的情況下,利用基于熵編碼的排序存儲(chǔ),在系統(tǒng)空閑時(shí)段,將哈希存儲(chǔ)中的數(shù)據(jù)根據(jù)鍵(key)進(jìn)行排序,并為其建立排序索引和查找樹。實(shí)驗(yàn)結(jié)果表明:系統(tǒng)能夠提高用戶讀取訪問效率,同時(shí)降低內(nèi)存開銷。
[Abstract]:......
【學(xué)位授予單位】：新疆大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 詹劍鋒;高婉鈴;王磊;李經(jīng)偉;魏凱;羅純杰;韓銳;田昕暉;姜春宇;;BigDataBench:開源的大數(shù)據(jù)系統(tǒng)評(píng)測基準(zhǔn)[J];計(jì)算機(jī)學(xué)報(bào);2016年01期

2 易會(huì)戰(zhàn);王鋒;左克;楊燦群;杜云飛;馬亞青;;基于內(nèi)存緩存的異步檢查點(diǎn)容錯(cuò)技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2014年06期

3 王元卓;靳小龍;程學(xué)旗;;網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J];計(jì)算機(jī)學(xué)報(bào);2013年06期

4 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

5 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲(chǔ)訪問策略的研究[J];計(jì)算機(jī)研究與發(fā)展;2012年07期

6 孔蘭菊;李慶忠;史玉良;王學(xué);;面向SaaS應(yīng)用基于鍵值對(duì)模式的多租戶索引研究[J];計(jì)算機(jī)學(xué)報(bào);2010年12期

7 慈軼為;張展;左德承;吳智博;楊孝宗;;可擴(kuò)展的多周期檢查點(diǎn)設(shè)置[J];軟件學(xué)報(bào);2010年02期

8 吳俊;;基于雙優(yōu)先級(jí)隊(duì)列的異構(gòu)分布式控制系統(tǒng)容錯(cuò)調(diào)度算法[J];東南大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年03期

9 周恩強(qiáng),盧宇彤,沈志宇;一個(gè)適合大規(guī)模集群并行計(jì)算的檢查點(diǎn)系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

，

本文編號(hào)：1695276