本文關(guān)鍵詞：面向高性能計(jì)算平臺(tái)的Hadoop框架研究及優(yōu)化

  更多相關(guān)文章： Map Reduce 高性能計(jì)算 多層存儲(chǔ)架構(gòu) Hadoop

【摘要】：隨著信息化時(shí)代的發(fā)展,各種各樣的數(shù)據(jù)隨之而來,數(shù)據(jù)結(jié)構(gòu)多樣化以及數(shù)據(jù)規(guī)模對(duì)相關(guān)技術(shù)提出了巨大挑戰(zhàn)。對(duì)于處理大數(shù)據(jù)的許多應(yīng)用,MapReduce編程框架的優(yōu)勢(shì)很明顯,在谷歌、阿里巴巴等國內(nèi)外著名互聯(lián)網(wǎng)公司得到很好的應(yīng)用。目前高性能計(jì)算機(jī)的性能不斷提高,在生物、天體物理學(xué)等領(lǐng)域得到廣泛應(yīng)用。因此,能否充分利用現(xiàn)有的高性能計(jì)算平臺(tái)并在其上高效部署和使用MapReduce編程框架成為了人們關(guān)注的熱點(diǎn)研究問題。本文在高性能計(jì)算機(jī)上成功部署MapReduce編程框架的基礎(chǔ)上,分析其在I/O過程以及任務(wù)調(diào)度中存在的問題,對(duì)存在的問題深入剖析,并提出優(yōu)化方法。本文的研究工作主要包括以下幾個(gè)方面。(1)研究了面向高性能計(jì)算平臺(tái)的Hadoop框架涉及的理論和技術(shù),對(duì)MapReduce編程模型以及主要I/O過程進(jìn)行深入的分析。MapReduce編程模型直接部署在高性能計(jì)算機(jī)上,會(huì)產(chǎn)生兼容性、數(shù)據(jù)本地化優(yōu)勢(shì)減少和I/O競(jìng)爭(zhēng)加劇等問題。目前該課題研究主要集中在對(duì)中間數(shù)據(jù)網(wǎng)絡(luò)傳輸和存儲(chǔ)方式的優(yōu)化,取得了一定的效果。本文結(jié)合目前研究成果,對(duì)任務(wù)調(diào)度和存儲(chǔ)資源管理等方面進(jìn)行進(jìn)一步優(yōu)化。(2)對(duì)于面向?qū)ο蟠鎯?chǔ)系統(tǒng)高性能計(jì)算機(jī)的Hadoop平臺(tái),提出一種基于節(jié)點(diǎn)網(wǎng)絡(luò)內(nèi)存的shuffle過程優(yōu)化策略,并設(shè)計(jì)了任務(wù)調(diào)度和文件系統(tǒng)兩個(gè)層次的實(shí)現(xiàn)方法。同時(shí)針對(duì)共享文件系統(tǒng)處理中間數(shù)據(jù)和臨時(shí)數(shù)據(jù)的I/O效率問題,提出了一種基于均衡調(diào)度的高性能計(jì)算平臺(tái)的Hadoop框架I/O優(yōu)化方法。通過分析各存儲(chǔ)節(jié)點(diǎn)的I/O負(fù)載信息,實(shí)時(shí)選擇存儲(chǔ)目標(biāo),從而實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的動(dòng)態(tài)負(fù)載均衡。(3)對(duì)于面向多層存儲(chǔ)架構(gòu)高性能計(jì)算機(jī)的Hadoop平臺(tái),提出了一種I/O加速節(jié)點(diǎn)多分組的任務(wù)調(diào)度方法,利用節(jié)點(diǎn)對(duì)應(yīng)不同reduce任務(wù)中間結(jié)果量優(yōu)化調(diào)度策略。對(duì)于多作業(yè)的情況,提出了基于存儲(chǔ)服務(wù)隔離的I/O服務(wù)質(zhì)量維護(hù)方法,為高優(yōu)先級(jí)的作業(yè)提供獨(dú)立存儲(chǔ)服務(wù),保證存儲(chǔ)服務(wù)質(zhì)量。(4)在對(duì)象存儲(chǔ)系統(tǒng)高性能計(jì)算機(jī)和多層存儲(chǔ)架構(gòu)高性能計(jì)算機(jī)的模擬實(shí)驗(yàn)環(huán)境中分別對(duì)上述幾類優(yōu)化方法進(jìn)行實(shí)驗(yàn)驗(yàn)證。通過與現(xiàn)有方法進(jìn)行對(duì)比,驗(yàn)證優(yōu)化方法的效果,并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行深入分析。
【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP38

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李春艷;張學(xué)杰;;基于高性能計(jì)算的開源云平臺(tái)性能評(píng)估[J];計(jì)算機(jī)應(yīng)用;2013年12期

2 亓開元;韓燕波;趙卓峰;房俊;;支持高并發(fā)數(shù)據(jù)流處理的MapReduce中間結(jié)果緩存[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

3 黃，

本文編號(hào)：1207929