本文關鍵詞：一種Mapreduce作業(yè)內存精確預測方法

  更多相關文章： 垃圾回收 Java虛擬機 mapreduce 資源管理

【摘要】：針對準確預測mapreduce作業(yè)內存資源需求困難的問題,根據(jù)Java虛擬機(JVM)的分代(JVM將堆內存劃分為年輕代和年長代)內存管理特點,該文提出一種分代內存預測方法。建立年輕代大小與垃圾回收時間的模型,將尋找合理年輕代大小的問題轉換為一個受約束的非線性優(yōu)化問題,并設計搜索算法求解該優(yōu)化問題。建立mapreduce作業(yè)的map任務和reduce任務性能與內存的關系模型,求解最佳性能的內存需求,從而獲得map任務和reduce任務的年長代內存大小。實驗結果表明,本文提出的方法能準確預測作業(yè)的內存需求;與默認配置相比,能提供平均6倍的性能提升。
【作者單位】： 四川大學網絡空間安全研究院;
【基金】：國家科技支撐計劃(2012BAH18B05)
【分類號】：TP302
【正文快照】： Apache Hadoop[1](包含HDFS和mapreduce兩個核心組件,本文只考慮mapreduce,因此在沒有特殊說明情況下Hadoop和mapreduce等價使用)是谷歌公司提出的mapreduce編程模式的開源版本,得到了學術界、工業(yè)界的大力支持。隨著mapreduce應用規(guī)模不斷擴大,為Hadoop集群分配合理的資源以

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 羅松林;內存常見故障及排除[J];電腦知識與技術;2001年21期

2 羅松林;內存小小,問題多多——內存常見故障及排除[J];電子計算機與外部設備;2001年07期

3 鄭秋生;擴展內存規(guī)范及擴展內存的使用[J];鄭州紡織工學院學報;1994年02期

4 王涌;如何完成內存的擴展[J];電子與電腦;1995年09期

5 夏玉紅;;談談計算機的內存管理[J];瀘天化科技;1998年01期

6 李登峰;;擴展內存與擴充內存的區(qū)別[J];家電檢修技術;1999年07期

7 葉永茂;內存常見問題對策[J];電子科技;2000年02期

8 bob;常見內存故障的排除[J];電腦技術;2001年01期

9 黃晰;擴展內存的使用與系統(tǒng)優(yōu)化[J];天津通信技術;1994年01期

10 劉江國;擴充擴展內存和上部內存的管理原理與使用方法[J];計算機應用;1995年05期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 丁銳;張亞君;陳維;;基于多級緩存的內存管理方案[A];浙江省電子學會2011學術年會論文集[C];2011年

2 呂方;胡士文;連瑞琦;;面向鏈表式內存管理的編譯優(yōu)化方法[A];第十五屆計算機工程與工藝年會暨第一屆微處理器技術論壇論文集（A輯）[C];2011年

3 于超;蔣破荒;;SAP ERP內存管理研究[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 Lansy工作室;你還要加條新內存嗎[N];中國電腦教育報;2002年

2 ;內存，，我該用多大？[N];電腦報;2003年

3 李冰;快馬加鞭[N];中國電腦教育報;2003年

4 廣西 沉睡者;當容量與性能不可兼得[N];電腦報;2003年

5 李軍;啟動從這里開始[N];中國電腦教育報;2002年

6 王志軍;在Windows 2003中安全釋放內存[N];中國電腦教育報;2004年

7 ;釋放Win2003內存[N];中國計算機報;2005年

8 楊志勇;用WinRAM-Booster優(yōu)化“消化不良”的內存[N];中國電腦教育報;2002年

9 鵬鵬;不要忽視內存碎片[N];中國計算機報;2003年

10 伍班權;內存容量與性能誰重要[N];中國計算機報;2003年

中國碩士學位論文全文數(shù)據(jù)庫 前6條

1 李明星;基于內存反射技術的實時網絡接口卡研制[D];哈爾濱工業(yè)大學;2010年

2 吳俊杰;基于OSP平臺的內存管理研究及實現(xiàn)[D];武漢理工大學;2013年

3 姜力波;Linux內存管理分析與研究[D];電子科技大學;2011年

4 劉詩源;多核操作系統(tǒng)中基于頁著色的內存管理技術的研究[D];東北大學;2011年

5 張居瀚;基于NoC架構的分布式共享內存管理系統(tǒng)的實現(xiàn)和驗證[D];復旦大學;2014年

6 劉瑋;多核操作系統(tǒng)中共享內存管理技術的研究[D];東北大學;2010年

本文編號：1300952