MapReduce是數(shù)據(jù)中心中一種流行的數(shù)據(jù)并行處理框架,其通過將作業(yè)拆分成多個任務并交給多個節(jié)點處理,以較低成本和較高效率完成海量數(shù)據(jù)的處理。MapReduce將作業(yè)拆分成映射(map)任務和歸約(reduce)任務,并將作業(yè)處理流程分為映射(map)階段,洗牌(shuffle)階段和歸約(reduce)階段;其中,歸約任務與映射任務之間的數(shù)據(jù)傳輸階段被稱為洗牌階段。在運行映射任務和歸約任務之前,任務所在節(jié)點會從數(shù)據(jù)所在節(jié)點獲取任務運行所需的數(shù)據(jù)。因此,合理地將映射任務和歸約任務部署到合適的計算節(jié)點能減少網(wǎng)絡流量,以提高MapReduce性能。同時,洗牌階段占據(jù)整個作業(yè)運行時間的很大一部分,因此合理地調(diào)度洗牌數(shù)據(jù)能夠減少洗牌階段的調(diào)度長度,從而改善MapReduce性能。本文針對MapReduce任務獲取所需的網(wǎng)絡流量和洗牌數(shù)據(jù)傳輸調(diào)度長度,分別研究了任務調(diào)度問題和洗牌數(shù)據(jù)傳輸調(diào)度問題,主要研究內(nèi)容如下:(1)MapReduce框架中任務調(diào)度問題。在任務調(diào)度問題中,如何確定任務調(diào)度位置從而最小化網(wǎng)絡流量是決定算法性能的關鍵。目前的調(diào)度算法僅單獨針對映射任務或歸約任務進行調(diào)度優(yōu)化,而未綜...

【文章頁數(shù)】：61 頁

【學位級別】：碩士

【部分圖文】：

圖3.1不同映射任務數(shù)量下的（a）網(wǎng)絡流量（b）NTRP

數(shù)據(jù)副本系數(shù)為3，其中一個副本隨機分布在節(jié)點上，其余副本位置按照MapReduce默認規(guī)則分布在其他節(jié)點上，每個任務執(zhí)行所需要的處理能力隨機生成。在對比BOLAS算法時，由于BOLAS算法只調(diào)度映射任務，因此該算法調(diào)度歸約任務的部分使用MapReduce的默認調(diào)度....

圖3.2不同歸約任務數(shù)量下的（a）網(wǎng)絡流量（b）NTRP

第三章MapReduce框架中映射任務和歸約任務的聯(lián)合調(diào)度問題這是因為算法RAJS在進行調(diào)度時，同時考慮了映射任務調(diào)度和歸約任務調(diào)，而RTS算法僅僅針對歸約任務調(diào)度，因此隨著映射任務數(shù)量的增加，RAJS算法提高的越來越明顯。相比之下，隨著數(shù)據(jù)量的增加，RAJS算法的....

圖3.3不同網(wǎng)絡拓撲節(jié)點下的（a）網(wǎng)絡流量（b）NTRP

合肥工業(yè)大學學術碩士研究生學位論文這是因為RTS針對歸約任務調(diào)度進行優(yōu)化，隨著歸約任務數(shù)量增加，RTS算法的性能有著顯著提高，但是由于RAJS同時還考慮了映射任務調(diào)度，因此最后RAJS算法相比BOLAS算法能提高19.5%左右。（3）節(jié)點數(shù)量的影響本組實驗通過改....

圖4.1不同數(shù)據(jù)量下的調(diào)度長度Fig4.1Makespanunderdifferentnumberofdatawiththesizesofdatarandomlygeneratedin

圖4.1不同數(shù)據(jù)量下的調(diào)度長度Makespanunderdifferentnumberofdatawiththesizesofdatarandom1-10MBand1-100MB圖4.2不同數(shù)據(jù)量下的網(wǎng)絡利用率

本文編號：4024691