天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

當前位置:主頁 > 科技論文 > 軟件論文 >

MapReduce任務調(diào)度和洗牌調(diào)度問題的研究

發(fā)布時間:2025-01-07 07:17
  MapReduce是數(shù)據(jù)中心中一種流行的數(shù)據(jù)并行處理框架,其通過將作業(yè)拆分成多個任務并交給多個節(jié)點處理,以較低成本和較高效率完成海量數(shù)據(jù)的處理。MapReduce將作業(yè)拆分成映射(map)任務和歸約(reduce)任務,并將作業(yè)處理流程分為映射(map)階段,洗牌(shuffle)階段和歸約(reduce)階段;其中,歸約任務與映射任務之間的數(shù)據(jù)傳輸階段被稱為洗牌階段。在運行映射任務和歸約任務之前,任務所在節(jié)點會從數(shù)據(jù)所在節(jié)點獲取任務運行所需的數(shù)據(jù)。因此,合理地將映射任務和歸約任務部署到合適的計算節(jié)點能減少網(wǎng)絡流量,以提高MapReduce性能。同時,洗牌階段占據(jù)整個作業(yè)運行時間的很大一部分,因此合理地調(diào)度洗牌數(shù)據(jù)能夠減少洗牌階段的調(diào)度長度,從而改善MapReduce性能。本文針對MapReduce任務獲取所需的網(wǎng)絡流量和洗牌數(shù)據(jù)傳輸調(diào)度長度,分別研究了任務調(diào)度問題和洗牌數(shù)據(jù)傳輸調(diào)度問題,主要研究內(nèi)容如下:(1)MapReduce框架中任務調(diào)度問題。在任務調(diào)度問題中,如何確定任務調(diào)度位置從而最小化網(wǎng)絡流量是決定算法性能的關鍵。目前的調(diào)度算法僅單獨針對映射任務或歸約任務進行調(diào)度優(yōu)化,而未綜...

【文章頁數(shù)】:61 頁

【學位級別】:碩士

【部分圖文】:

圖3.1不同映射任務數(shù)量下的(a)網(wǎng)絡流量(b)NTRP

圖3.1不同映射任務數(shù)量下的(a)網(wǎng)絡流量(b)NTRP

數(shù)據(jù)副本系數(shù)為3,其中一個副本隨機分布在節(jié)點上,其余副本位置按照MapReduce默認規(guī)則分布在其他節(jié)點上,每個任務執(zhí)行所需要的處理能力隨機生成。在對比BOLAS算法時,由于BOLAS算法只調(diào)度映射任務,因此該算法調(diào)度歸約任務的部分使用MapReduce的默認調(diào)度....


圖3.2不同歸約任務數(shù)量下的(a)網(wǎng)絡流量(b)NTRP

圖3.2不同歸約任務數(shù)量下的(a)網(wǎng)絡流量(b)NTRP

第三章MapReduce框架中映射任務和歸約任務的聯(lián)合調(diào)度問題這是因為算法RAJS在進行調(diào)度時,同時考慮了映射任務調(diào)度和歸約任務調(diào),而RTS算法僅僅針對歸約任務調(diào)度,因此隨著映射任務數(shù)量的增加,RAJS算法提高的越來越明顯。相比之下,隨著數(shù)據(jù)量的增加,RAJS算法的....


圖3.3不同網(wǎng)絡拓撲節(jié)點下的(a)網(wǎng)絡流量(b)NTRP

圖3.3不同網(wǎng)絡拓撲節(jié)點下的(a)網(wǎng)絡流量(b)NTRP

合肥工業(yè)大學學術碩士研究生學位論文這是因為RTS針對歸約任務調(diào)度進行優(yōu)化,隨著歸約任務數(shù)量增加,RTS算法的性能有著顯著提高,但是由于RAJS同時還考慮了映射任務調(diào)度,因此最后RAJS算法相比BOLAS算法能提高19.5%左右。(3)節(jié)點數(shù)量的影響本組實驗通過改....


圖4.1不同數(shù)據(jù)量下的調(diào)度長度Fig4.1Makespanunderdifferentnumberofdatawiththesizesofdatarandomlygeneratedin

圖4.1不同數(shù)據(jù)量下的調(diào)度長度Fig4.1Makespanunderdifferentnumberofdatawiththesizesofdatarandomlygeneratedin

圖4.1不同數(shù)據(jù)量下的調(diào)度長度Makespanunderdifferentnumberofdatawiththesizesofdatarandom1-10MBand1-100MB圖4.2不同數(shù)據(jù)量下的網(wǎng)絡利用率



本文編號:4024691

資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/4024691.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權申明:資料由用戶faa4e***提供,本站僅收錄摘要或目錄,作者需要刪除請E-mail郵箱bigeng88@qq.com