【摘要】：如今的互聯(lián)網(wǎng)是一個數(shù)據(jù)爆炸的時代,人們的工作、生活、娛樂都與網(wǎng)絡緊緊聯(lián)系在一起,使得網(wǎng)絡上數(shù)據(jù)規(guī)模急劇增加,應用類型極大豐富。那些看似空洞混亂的數(shù)據(jù),其中其實蘊藏著巨大的商機,作為企業(yè)或組織,未來的成功在很大程度上取決于它是否能從數(shù)據(jù)中提取出價值。隨之而來的問題是單機的數(shù)據(jù)處理能力無法滿足當今海量數(shù)據(jù)應用的處理要求,基于大規(guī)模計算機集群的分布式計算成為未來數(shù)據(jù)處理性能提升的主要途徑。 Hadoop因其可靠的穩(wěn)定性、高效的分布式并行處理能力、易擴展和開源的性質(zhì),在短短3年里就成為主流的開源云計算平臺。但是Hadoop發(fā)展時間畢竟還比較短,在很多地方仍然不夠完善,有改進的必要。本文對Hadoop的核心技術之一MapReduce計算模型進行了深入的分析研究,針對MapReduce在對Map輸出的中間臨時數(shù)據(jù)的管理和控制上的不足,做了一些優(yōu)化和改進工作,旨在解決程序運行中由于中間數(shù)據(jù)量的超大規(guī)模和數(shù)據(jù)分布的不均衡而產(chǎn)生的性能瓶頸,提升程序運行性能,優(yōu)化資源的合理利用。 Hadoop因其可靠的穩(wěn)定性、高效的分布式并行處理能力、易擴展和開源的性質(zhì),在短短3年里就成為主流的開源云計算平臺。但是Hadoop發(fā)展時間畢竟還比較短,在很多地方仍然不夠完善,有改進的必要。本文對Hadoop的核心技術之一MapReduce計算模型進行了深入的分析研究,針對MapReduce在對Map輸出的中間臨時數(shù)據(jù)的管理和控制上的不足,做了一些優(yōu)化和改進工作,旨在解決程序運行中由于中間數(shù)據(jù)量的超大規(guī)模和數(shù)據(jù)分布的不均衡而產(chǎn)生的性能瓶頸,提升程序運行性能,優(yōu)化資源的合理利用。
【圖文】：

創(chuàng)建多個新列表保存M叩處理的結(jié)果}’71。Map處理結(jié)束后，系統(tǒng)對生成的列表進行洗牌(shuffle)和排序(sort)，之后再作為Reduce的輸入進行規(guī)約操作，即對一個列表中的兀素根據(jù)鍵值進行指走的合少i其流程見圖2一3。一~-一丫一一一一一~~-一妙，

本文編號：2605563