【摘要】：如今的互聯網是一個數據爆炸的時代,人們的工作、生活、娛樂都與網絡緊緊聯系在一起,使得網絡上數據規(guī)模急劇增加,應用類型極大豐富。那些看似空洞混亂的數據,其中其實蘊藏著巨大的商機,作為企業(yè)或組織,未來的成功在很大程度上取決于它是否能從數據中提取出價值。隨之而來的問題是單機的數據處理能力無法滿足當今海量數據應用的處理要求,基于大規(guī)模計算機集群的分布式計算成為未來數據處理性能提升的主要途徑。 Hadoop因其可靠的穩(wěn)定性、高效的分布式并行處理能力、易擴展和開源的性質,在短短3年里就成為主流的開源云計算平臺。但是Hadoop發(fā)展時間畢竟還比較短,在很多地方仍然不夠完善,有改進的必要。本文對Hadoop的核心技術之一MapReduce計算模型進行了深入的分析研究,針對MapReduce在對Map輸出的中間臨時數據的管理和控制上的不足,做了一些優(yōu)化和改進工作,旨在解決程序運行中由于中間數據量的超大規(guī)模和數據分布的不均衡而產生的性能瓶頸,提升程序運行性能,優(yōu)化資源的合理利用。 Hadoop因其可靠的穩(wěn)定性、高效的分布式并行處理能力、易擴展和開源的性質,在短短3年里就成為主流的開源云計算平臺。但是Hadoop發(fā)展時間畢竟還比較短,在很多地方仍然不夠完善,有改進的必要。本文對Hadoop的核心技術之一MapReduce計算模型進行了深入的分析研究,針對MapReduce在對Map輸出的中間臨時數據的管理和控制上的不足,做了一些優(yōu)化和改進工作,旨在解決程序運行中由于中間數據量的超大規(guī)模和數據分布的不均衡而產生的性能瓶頸,提升程序運行性能,優(yōu)化資源的合理利用。
【圖文】：

創(chuàng)建多個新列表保存M叩處理的結果}’71。Map處理結束后，系統(tǒng)對生成的列表進行洗牌(shuffle)和排序(sort)，之后再作為Reduce的輸入進行規(guī)約操作，即對一個列表中的兀素根據鍵值進行指走的合少i其流程見圖2一3。一~-一丫一一一一一~~-一妙，

本文編號：2605563