發(fā)布時(shí)間：2017-12-17 17:21

  本文關(guān)鍵詞：一種Mapreduce作業(yè)內(nèi)存精確預(yù)測(cè)方法

  更多相關(guān)文章： 垃圾回收 Java虛擬機(jī) mapreduce 資源管理

【摘要】：針對(duì)準(zhǔn)確預(yù)測(cè)mapreduce作業(yè)內(nèi)存資源需求困難的問(wèn)題,根據(jù)Java虛擬機(jī)(JVM)的分代(JVM將堆內(nèi)存劃分為年輕代和年長(zhǎng)代)內(nèi)存管理特點(diǎn),該文提出一種分代內(nèi)存預(yù)測(cè)方法。建立年輕代大小與垃圾回收時(shí)間的模型,將尋找合理年輕代大小的問(wèn)題轉(zhuǎn)換為一個(gè)受約束的非線性優(yōu)化問(wèn)題,并設(shè)計(jì)搜索算法求解該優(yōu)化問(wèn)題。建立mapreduce作業(yè)的map任務(wù)和reduce任務(wù)性能與內(nèi)存的關(guān)系模型,求解最佳性能的內(nèi)存需求,從而獲得map任務(wù)和reduce任務(wù)的年長(zhǎng)代內(nèi)存大小。實(shí)驗(yàn)結(jié)果表明,本文提出的方法能準(zhǔn)確預(yù)測(cè)作業(yè)的內(nèi)存需求;與默認(rèn)配置相比,能提供平均6倍的性能提升。
【作者單位】： 四川大學(xué)網(wǎng)絡(luò)空間安全研究院;
【基金】：國(guó)家科技支撐計(jì)劃(2012BAH18B05)
【分類號(hào)】：TP302
【正文快照】： Apache Hadoop[1](包含HDFS和mapreduce兩個(gè)核心組件,本文只考慮mapreduce,因此在沒(méi)有特殊說(shuō)明情況下Hadoop和mapreduce等價(jià)使用)是谷歌公司提出的mapreduce編程模式的開(kāi)源版本,得到了學(xué)術(shù)界、工業(yè)界的大力支持。隨著mapreduce應(yīng)用規(guī)模不斷擴(kuò)大,為Hadoop集群分配合理的資源以

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 羅松林;內(nèi)存常見(jiàn)故障及排除[J];電腦知識(shí)與技術(shù);2001年21期

2 羅松林;內(nèi)存小小,問(wèn)題多多——內(nèi)存常見(jiàn)故障及排除[J];電子計(jì)算機(jī)與外部設(shè)備;2001年07期

3 鄭秋生;擴(kuò)展內(nèi)存規(guī)范及擴(kuò)展內(nèi)存的使用[J];鄭州紡織工學(xué)院學(xué)報(bào);1994年02期

4 王涌;如何完成內(nèi)存的擴(kuò)展[J];電子與電腦;1995年09期

5 夏玉紅;;談?wù)動(dòng)?jì)算機(jī)的內(nèi)存管理[J];瀘天化科技;1998年01期

6 李登峰;;擴(kuò)展內(nèi)存與擴(kuò)充內(nèi)存的區(qū)別[J];家電檢修技術(shù);1999年07期

7 葉永茂;內(nèi)存常見(jiàn)問(wèn)題對(duì)策[J];電子科技;2000年02期

8 bob;常見(jiàn)內(nèi)存故障的排除[J];電腦技術(shù);2001年01期

9 黃晰;擴(kuò)展內(nèi)存的使用與系統(tǒng)優(yōu)化[J];天津通信技術(shù);1994年01期

10 劉江國(guó);擴(kuò)充擴(kuò)展內(nèi)存和上部?jī)?nèi)存的管理原理與使用方法[J];計(jì)算機(jī)應(yīng)用;1995年05期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前3條

1 丁銳;張亞君;陳維;;基于多級(jí)緩存的內(nèi)存管理方案[A];浙江省電子學(xué)會(huì)2011學(xué)術(shù)年會(huì)論文集[C];2011年

2 呂方;胡士文;連瑞琦;;面向鏈表式內(nèi)存管理的編譯優(yōu)化方法[A];第十五屆計(jì)算機(jī)工程與工藝年會(huì)暨第一屆微處理器技術(shù)論壇論文集（A輯）[C];2011年

3 于超;蔣破荒;;SAP ERP內(nèi)存管理研究[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 Lansy工作室;你還要加條新內(nèi)存嗎[N];中國(guó)電腦教育報(bào);2002年

2 ;內(nèi)存，，我該用多大？[N];電腦報(bào);2003年

3 李冰;快馬加鞭[N];中國(guó)電腦教育報(bào);2003年

4 廣西 沉睡者;當(dāng)容量與性能不可兼得[N];電腦報(bào);2003年

5 李軍;啟動(dòng)從這里開(kāi)始[N];中國(guó)電腦教育報(bào);2002年

6 王志軍;在Windows 2003中安全釋放內(nèi)存[N];中國(guó)電腦教育報(bào);2004年

7 ;釋放Win2003內(nèi)存[N];中國(guó)計(jì)算機(jī)報(bào);2005年

8 楊志勇;用WinRAM-Booster優(yōu)化“消化不良”的內(nèi)存[N];中國(guó)電腦教育報(bào);2002年

9 鵬鵬;不要忽視內(nèi)存碎片[N];中國(guó)計(jì)算機(jī)報(bào);2003年

10 伍班權(quán);內(nèi)存容量與性能誰(shuí)重要[N];中國(guó)計(jì)算機(jī)報(bào);2003年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前6條

1 李明星;基于內(nèi)存反射技術(shù)的實(shí)時(shí)網(wǎng)絡(luò)接口卡研制[D];哈爾濱工業(yè)大學(xué);2010年

2 吳俊杰;基于OSP平臺(tái)的內(nèi)存管理研究及實(shí)現(xiàn)[D];武漢理工大學(xué);2013年

3 姜力波;Linux內(nèi)存管理分析與研究[D];電子科技大學(xué);2011年

4 劉詩(shī)源;多核操作系統(tǒng)中基于頁(yè)著色的內(nèi)存管理技術(shù)的研究[D];東北大學(xué);2011年

5 張居瀚;基于NoC架構(gòu)的分布式共享內(nèi)存管理系統(tǒng)的實(shí)現(xiàn)和驗(yàn)證[D];復(fù)旦大學(xué);2014年

6 劉瑋;多核操作系統(tǒng)中共享內(nèi)存管理技術(shù)的研究[D];東北大學(xué);2010年

本文編號(hào)：1300952