Spark作為基于內(nèi)存的計(jì)算框架,在保留了MapReduce計(jì)算模型的容錯(cuò)機(jī)制的同時(shí),將數(shù)據(jù)交換從磁盤級(jí)別提高到內(nèi)存級(jí)別,極大提高了大數(shù)據(jù)計(jì)算的處理效率。Spark也非常適用于機(jī)器學(xué)習(xí)領(lǐng)域多次迭代計(jì)算的場景,正是由于Spark的基于內(nèi)存的計(jì)算使得Spark框架對(duì)于內(nèi)存非常依賴,內(nèi)存的使用情況將直接影響到Spark框架的執(zhí)行速率,而Spark目前僅僅使用LRU算法來對(duì)緩存管理,當(dāng)前的優(yōu)化工作主要針對(duì)于框架的緩存策略,在部分場景下仍然存在低效的緩存替換的問題,本文針對(duì)Spark的緩存策略進(jìn)行研究,主要完成了如下工作:1.針對(duì)LRU算法沒能考慮RDD的使用情況淘汰掉部分復(fù)雜的RDD,以及在緩存替換過程中沒有考慮到替換后框架的計(jì)算代價(jià),導(dǎo)致重建RDD耗時(shí)增加問題,論文提出了一種基于計(jì)算代價(jià)模型的緩存替換策略,該策略首先建立包括計(jì)算代價(jià)在內(nèi)的權(quán)重模型,根據(jù)新的權(quán)重模型進(jìn)行緩存替換,并基于RDD計(jì)算代價(jià)模型,選擇代價(jià)最小的方案進(jìn)行緩存替換,從而進(jìn)一步減少重建RDD的時(shí)間,提高Spark的執(zhí)行效率。并將本文策略與權(quán)重替換策略和Spark原生的替換策略分別進(jìn)行實(shí)驗(yàn)對(duì)比,結(jié)果表明,本文策略在數(shù)據(jù)集較大或者迭代次數(shù)多的情況下能夠有效提高Spark框架的執(zhí)行效率。2.針對(duì)Spark框架RDD緩存數(shù)據(jù)恢復(fù)機(jī)制效率低下的問題,提出一種基于恢復(fù)點(diǎn)的RDD緩存快速恢復(fù)的策略,將Spark任務(wù)以Stage為界限,在每個(gè)Stage中分別設(shè)置起始恢復(fù)點(diǎn)和關(guān)鍵恢復(fù)點(diǎn),并將恢復(fù)點(diǎn)數(shù)據(jù)序列化,當(dāng)根據(jù)RDD血統(tǒng)重建RDD時(shí),直接從恢復(fù)點(diǎn)獲得數(shù)據(jù),縮短了RDD重建的血統(tǒng)路徑長度,加速了RDD的重建過程,并在此基礎(chǔ)上增加了恢復(fù)點(diǎn)清理算法,確保該策略在Spark運(yùn)行過程中只會(huì)占用少量的磁盤空間,節(jié)省磁盤資源。并將本文策略與Spark原生數(shù)據(jù)恢復(fù)策略進(jìn)行實(shí)驗(yàn)對(duì)比,結(jié)果表明,本文策略相比框架原生的數(shù)據(jù)恢復(fù)策略能夠加速RDD重建過程,提高Spark的運(yùn)行速率。3.對(duì)本文提出的基于計(jì)算代價(jià)模型的緩存替換策略、基于恢復(fù)點(diǎn)的RDD緩存快速恢復(fù)策略進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn)。論文工作表明,針對(duì)Spark的緩存策略進(jìn)行研究優(yōu)化,在緩存替換的過程中基于RDD計(jì)算代價(jià)選擇代價(jià)最小的方案進(jìn)行緩存替換,可以降低重建RDD的時(shí)延,并將重要RDD序列化,加速RDD的重建過程,進(jìn)一步減少RDD恢復(fù)的時(shí)間,提升Spark計(jì)算框架的性能,對(duì)Spark框架處理大數(shù)據(jù)有重要意義。
【學(xué)位單位】：重慶郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP311.13;TP333
【部分圖文】：

第 2 章 相關(guān)技術(shù)k 作為基于內(nèi)存的大數(shù)據(jù)處理框架對(duì)于內(nèi)存的使用將直接影響框此針對(duì) Spark 的緩存機(jī)制進(jìn)行研究具有重大意義，在對(duì)緩存機(jī)制握有關(guān) Spark 的技術(shù)基礎(chǔ)十分必要。本章針對(duì) Spark 計(jì)算框架中行分析闡述，為下一步對(duì)于緩存機(jī)制的優(yōu)化奠定基礎(chǔ)。rk 框架概述k 適用于多種不同的分布式平臺(tái)場景，包括批處理、迭代計(jì)算、計(jì)算等，并將不同場景下用到的組件整合在一個(gè)統(tǒng)一的框架下，系統(tǒng)即可，方便開發(fā)者后續(xù)的維護(hù)和升級(jí)。如圖 2.1 所示，包件。

圖 2. 2 RDD 數(shù)據(jù)管理模型 是只讀不可變的數(shù)據(jù)集合，只能從數(shù)據(jù)源中產(chǎn)生或者通過 Spark 算Spark 計(jì)算框架在運(yùn)行過程中會(huì)把新生成的 RDD 緩存起來，如果RDD可以直接從內(nèi)存中獲取，省去了Hadoop MapReduce中的磁盤器學(xué)習(xí)中的迭代計(jì)算，使用內(nèi)存的 Spark 框架運(yùn)行效率提升是非RDD 每經(jīng)歷一次變化就會(huì)轉(zhuǎn)化為一個(gè)新的 RDD，不同 RDD 之的相互轉(zhuǎn)化產(chǎn)生依賴關(guān)系，這些依賴關(guān)系構(gòu)成 RDD 的血統(tǒng)（Lineark 的調(diào)度順序。特別地，RDD 還使用血統(tǒng)進(jìn)行容錯(cuò)，失效的數(shù)據(jù)系重新計(jì)算來進(jìn)行恢復(fù)，不需要回滾整個(gè)程序，節(jié)約了容錯(cuò)成本D 的依賴和容錯(cuò) 之間通過 Spark 算子的操作會(huì)產(chǎn)生依賴，RDD 和它依賴的父 RDD

圖 2. 3 RDD 依賴關(guān)系圖 的操作對(duì)于 RDD 操作分為轉(zhuǎn)換（Transformation）和動(dòng)作（Action）， 首先將數(shù)據(jù)從數(shù)據(jù)源中讀取出來，創(chuàng)建初始 RDD 再經(jīng)過一系DD，最終遇到 Action 操作產(chǎn)生結(jié)果，最終將結(jié)果輸出。其中 S值的，即 Spark 是不會(huì)在 Action 調(diào)用之前立即計(jì)算，而內(nèi)部首和相關(guān)信息，直到遇到 Action 操作 Spark 會(huì)將記錄的一系列操計(jì)算數(shù)據(jù)的步驟，在一個(gè)操作執(zhí)行完畢，RDD 便轉(zhuǎn)換為新的 指定的操作一次執(zhí)行數(shù)據(jù)在一個(gè)數(shù)據(jù)塊上進(jìn)行流水線的操作，用完，而在 Hadoop MapReduce 中往往會(huì)花費(fèi)大量時(shí)間在選擇。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 丁明躍,彭嘉雄,萬發(fā)貫;多級(jí)假設(shè)檢驗(yàn)的兩級(jí)圖象匹配方法[J];電子學(xué)報(bào);1989年02期

2 莊燕濱;王尊志;肖賢建;張學(xué)武;;基于最大后驗(yàn)概率估計(jì)的壓縮感知算法[J];計(jì)算機(jī)科學(xué);2015年11期

3 楊磊;陸慧娟;嚴(yán)珂;葉敏超;;一種計(jì)算代價(jià)敏感算法分類精度的方法[J];中國計(jì)量大學(xué)學(xué)報(bào);2017年01期

4 呂洪;王瓊;;CG動(dòng)畫探析[J];現(xiàn)代裝飾(理論);2013年04期

5 徐瑞英;作門徒的代價(jià)[J];天風(fēng);2003年10期

6 鐘武;胡守仁;;OQL邏輯優(yōu)化準(zhǔn)則[J];計(jì)算機(jī)科學(xué);1998年02期

7 李炳成;基于模擬退火的二相碼選碼方法[J];電子科學(xué)學(xué)刊;1991年03期

8 薛佳楣;王永利;玄子玉;;一種RFID系統(tǒng)反跟蹤安全通信協(xié)議[J];計(jì)算機(jī)應(yīng)用與軟件;2009年06期

9 張斌;唐朝暉;朱紅求;桂衛(wèi)華;;一種新型的支持向量機(jī)約簡方法及其應(yīng)用[J];系統(tǒng)仿真學(xué)報(bào);2012年02期

10 王國才;張聰;;一種基于粗糙集的特征加權(quán)樸素貝葉斯分類器[J];重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年07期

相關(guān)會(huì)議論文 前6條

1 鐘素素;李宇辰;段莉莉;;在MD模擬的基礎(chǔ)上探究凝血酶與小分子的結(jié)合機(jī)制[A];第七屆全國計(jì)算原子與分子物理學(xué)術(shù)會(huì)議摘要集[C];2018年

2 解凱;呂妍昱;;基于隱含重起ARNOLDI過程的參數(shù)估計(jì)[A];第十四屆全國圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2008年

3 陳睿;甘志華;;基于反饋的多媒體信息監(jiān)管方法[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2011年

4 李權(quán);郭兆電;雷武濤;白俊強(qiáng);王丹;;飛行器設(shè)計(jì)中的代理模型與優(yōu)化算法[A];全面建成小康社會(huì)與中國航空發(fā)展——2013首屆中國航空科學(xué)技術(shù)大會(huì)論文集[C];2013年

5 朱松豪;梁志偉;;用半監(jiān)督學(xué)習(xí)方法實(shí)現(xiàn)圖像檢索[A];第二十九屆中國控制會(huì)議論文集[C];2010年

6 王超;秦小麟;劉亞麗;;SLMAP協(xié)議安全分析與改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

相關(guān)重要報(bào)紙文章 前1條

1 胡立彪;量化自己的責(zé)任[N];中國質(zhì)量報(bào);2008年

相關(guān)博士學(xué)位論文 前7條

1 賀文武;高效預(yù)測的核學(xué)習(xí)方法[D];中南大學(xué);2008年

2 張桂剛;海量規(guī)則并行處理研究[D];武漢大學(xué);2009年

3 武鵬;解非線性方程的高階迭代算法及其收斂性分析[D];浙江大學(xué);2008年

4 李浩淵;集裝箱碼頭物流系統(tǒng)的基于仿真的優(yōu)化方法研究[D];東北大學(xué)　;2010年

5 萬嬌娜;基于有限精度求解的非線性預(yù)測控制算法研究[D];浙江大學(xué);2011年

6 鄭小平;一種基于育種思想的全局優(yōu)化算法—原理、性能及應(yīng)用[D];大連理工大學(xué);2008年

7 王可心;大規(guī)模過程系統(tǒng)非線性優(yōu)化的簡約空間理論與算法研究[D];浙江大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 王宇陽;Spark緩存機(jī)制研究與實(shí)現(xiàn)[D];重慶郵電大學(xué);2019年

2 韓盼盼;云計(jì)算中可驗(yàn)證加密搜索方案和可驗(yàn)證數(shù)據(jù)流方案研究[D];山東大學(xué);2018年

3 張建文;線性判別分析的迭代解法及其應(yīng)用[D];中國海洋大學(xué);2014年

4 莫仲念;基于稀疏約束的電磁場逆成像算法研究[D];南昌大學(xué);2016年

5 陳政;基于光在生物組織中傳輸FEM數(shù)值求解的性能評(píng)估和優(yōu)化[D];西北大學(xué);2015年

6 劉洋;可信計(jì)算平臺(tái)下屬性證明協(xié)議的研究與應(yīng)用[D];東北大學(xué);2011年

7 王國才;樸素貝葉斯分類器的研究與應(yīng)用[D];重慶交通大學(xué);2010年

8 史家康;基于膚色分割預(yù)處理的人臉檢測方法研究[D];南京理工大學(xué);2004年

9 李衛(wèi)晶;遠(yuǎn)程用戶認(rèn)證密鑰協(xié)商協(xié)議的研究[D];北京郵電大學(xué);2015年

10 周趙斌;若干抗污染及竊聽的安全網(wǎng)絡(luò)編碼方案[D];福建師范大學(xué);2014年

本文編號(hào)：2811438