本文關(guān)鍵詞：基于機器學(xué)習(xí)的MapReduce資源調(diào)度算法

  更多相關(guān)文章： MapReduce 重疊階段 自適應(yīng)性 機器學(xué)習(xí) 貝葉斯分類器

【摘要】：針對MapReduce中允許map和shuffle階段重疊的優(yōu)化模型需要自適應(yīng)性的問題,提出了基于此模型的機器學(xué)習(xí)的資源調(diào)度算法,利用貝葉斯分類器依據(jù)作業(yè)對系統(tǒng)資源的需求和系統(tǒng)環(huán)境的匹配程度對作業(yè)進行調(diào)度,并不斷更新分類器,使其具有自適應(yīng)性,考慮了map和shuffle的重疊階段。通過模擬實驗驗證,改進后的算法能夠提高MapReduce系統(tǒng)的性能,獲得更好的平均響應(yīng)時間。
【作者單位】： 南京工業(yè)大學(xué)電子與信息工程學(xué)院;東南大學(xué)信息科學(xué)與工程學(xué)院;
【關(guān)鍵詞】： MapReduce 重疊階段 自適應(yīng)性 機器學(xué)習(xí) 貝葉斯分類器
【基金】：江蘇省自然科學(xué)基金資助項目(BK2011060,BK2010240)
【分類號】：TP181
【正文快照】： 0引言MapReduce是由Google公司提出的并行計算模型,結(jié)合分布式文件系統(tǒng),可以方便地通過增加計算節(jié)點和存儲節(jié)點來擴展系統(tǒng)的計算和存儲性能,被廣泛使用在大規(guī)模的計算機集群下并行計算的開發(fā)模型中,如Google的MapReduce[1]、微軟的Dryad[2]和Hadoop[3]。MapReduce框架由多種相

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 張明玉,倪志偉;基于機器學(xué)習(xí)的智能決策支持系統(tǒng)[J];淮南師范學(xué)院學(xué)報;2005年03期

2 楊凌霄;武建平;;機器學(xué)習(xí)方法在人臉檢測中的應(yīng)用[J];計算機與數(shù)字工程;2008年03期

3 ;第十一屆中國機器學(xué)習(xí)會議[J];智能系統(tǒng)學(xué)報;2008年02期

4 ;第14屆中國機器學(xué)習(xí)會議[J];智能系統(tǒng)學(xué)報;2012年06期

5 費宗銘;呂建;王志堅;陳道蓄;徐家福;;機器學(xué)習(xí)[J];計算機科學(xué);1991年01期

6 趙沁平;魏華;王軍玲;;機器學(xué)習(xí)技術(shù)與機器學(xué)習(xí)系統(tǒng)[J];計算機科學(xué);1993年05期

7 姚敏;機器學(xué)習(xí)及其發(fā)展方向[J];計算機時代;1994年04期

8 ;第31屆機器學(xué)習(xí)國際會議(英文)[J];智能系統(tǒng)學(xué)報;2014年01期

9 黃海濱;機器學(xué)習(xí)及其主要策略[J];河池師范高等�？茖W(xué)校學(xué)報(自然科學(xué)版);2000年04期

10 佘玉梅;一種協(xié)調(diào)機器學(xué)習(xí)方法研究[J];云南民族學(xué)院學(xué)報(自然科學(xué)版);2000年03期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 王玨;;歸納機器學(xué)習(xí)[A];2001年中國智能自動化會議論文集（上冊）[C];2001年

2 王昊;李銀波;紀(jì)志梁;;利用機器學(xué)習(xí)方法預(yù)測嚴(yán)重藥物不良反應(yīng)-呼吸困難[A];中國化學(xué)會第28屆學(xué)術(shù)年會第13分會場摘要集[C];2012年

3 吳滄浦;;智能系統(tǒng)與機器學(xué)習(xí)的新領(lǐng)域[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學(xué)術(shù)年會文集[C];2000年

4 周晴杰;徐立鴻;吳啟迪;;機器學(xué)習(xí)串級結(jié)構(gòu)的初步探討[A];1998年中國控制會議論文集[C];1998年

5 李剛;郭崇慧;林鴻飛;楊志豪;唐煥文;;基于詞典法和機器學(xué)習(xí)法相結(jié)合的蛋白質(zhì)名識別[A];大連理工大學(xué)生物醫(yī)學(xué)工程學(xué)術(shù)論文集（第2卷）[C];2005年

6 徐禮勝;李乃民;王寬全;張冬雨;耿斌;姜曉睿;陳超海;羅貴存;;機器學(xué)習(xí)在中醫(yī)計算機診斷識別系統(tǒng)中的應(yīng)用思考[A];第一屆全國中西醫(yī)結(jié)合診斷學(xué)術(shù)會議論文選集[C];2006年

7 蔡健平;林世平;;基于機器學(xué)習(xí)的詞語和句子極性分析[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

8 黃金鐵;李景銀;周建常;;對高爐爐況評價模型參數(shù)的機器學(xué)習(xí)——一個三類線性模式分類器的實現(xiàn)[A];1995中國控制與決策學(xué)術(shù)年會論文集[C];1995年

9 程國建;蔡磊;潘華賢;;核向量機在大規(guī)模機器學(xué)習(xí)中的應(yīng)用[A];第十一屆中國青年信息與管理學(xué)者大會論文集[C];2009年

10 張鈸;張鈴;;統(tǒng)計學(xué)習(xí)理論及其應(yīng)用[A];2001年中國智能自動化會議論文集（上冊）[C];2001年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 黎驪/文 [美] Tom M.Mitchell 著;機器學(xué)習(xí)與智能化社會[N];中國郵政報;2003年

2 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;機器學(xué)習(xí)已成為大數(shù)據(jù)基石[N];網(wǎng)絡(luò)世界;2014年

3 本報記者 房琳琳;合久必分：分布式“機器學(xué)習(xí)”應(yīng)運而生[N];科技日報;2014年

4 雨辰;機器學(xué)習(xí)類圖書為什么火爆[N];中華讀書報;2014年

5 百度公司技術(shù)副總監(jiān) 多媒體部負責(zé)人 余凱;深度學(xué)習(xí)與多媒體搜索技術(shù)演進[N];中國信息化周報;2013年

6 本報記者 余建斌;機器學(xué)習(xí)與互聯(lián)網(wǎng)搜索[N];人民日報;2011年

7 本報記者 張曄邋通訊員 李瑋;周志華：永不墨守成規(guī)[N];科技日報;2008年

8 記者　 彭德倩;機器學(xué)習(xí)精度提升近6個百分點[N];解放日報;2006年

9 本報記者 閔杰;大數(shù)據(jù)熱 高端人才缺[N];中國電子報;2013年

10 沈建苗 編譯;如何成為大數(shù)據(jù)科學(xué)家[N];計算機世界;2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 董春茹;機器學(xué)習(xí)中的權(quán)重學(xué)習(xí)與差分演化[D];華南理工大學(xué);2015年

2 趙玉鵬;機器學(xué)習(xí)的哲學(xué)探索[D];大連理工大學(xué);2010年

3 胡巍;面向格結(jié)構(gòu)的機器學(xué)習(xí)[D];上海交通大學(xué);2009年

4 張義榮;基于機器學(xué)習(xí)的入侵檢測技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

5 錢線;快速精確的結(jié)構(gòu)化機器學(xué)習(xí)方法研究[D];復(fù)旦大學(xué);2010年

6 梁錫軍;稀疏優(yōu)化在機器學(xué)習(xí)中的若干應(yīng)用[D];大連理工大學(xué);2013年

7 蔣剛;核機器學(xué)習(xí)方法若干問題研究[D];西南交通大學(xué);2006年

8 陳慧靈;面向智能決策問題的機器學(xué)習(xí)方法研究[D];吉林大學(xué);2012年

9 周偉達;核機器學(xué)習(xí)方法研究[D];西安電子科技大學(xué);2003年

10 熊毅;基于機器學(xué)習(xí)的蛋白質(zhì)結(jié)合位點特征化和預(yù)測方法研究[D];武漢大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 毛海斌;基于半監(jiān)督機器學(xué)習(xí)的情感分類領(lǐng)域適應(yīng)問題研究[D];南京理工大學(xué);2015年

2 安軍輝;基于微博數(shù)據(jù)的微博用戶性別判斷研究[D];華中師范大學(xué);2015年

3 陳召陽;基于機器學(xué)習(xí)的改性麥槽吸附重金屬構(gòu)效關(guān)系模型研究[D];江西理工大學(xué);2014年

4 王成;基于半監(jiān)督機器學(xué)習(xí)的文本情感分析技術(shù)[D];南京理工大學(xué);2015年

5 孫科;基于Spark的機器學(xué)習(xí)應(yīng)用框架研究與實現(xiàn)[D];上海交通大學(xué);2015年

6 劉江龍;基于機器學(xué)習(xí)的射頻指紋定位方法研究[D];電子科技大學(xué);2015年

7 胡永鋼;序列聯(lián)配的算法比較與機器學(xué)習(xí)在其中的應(yīng)用研究[D];江南大學(xué);2005年

8 郭海鋒;基于機器學(xué)習(xí)的動態(tài)儀價模型研究[D];延邊大學(xué);2005年

9 劉華煜;基于支持向量機的機器學(xué)習(xí)研究[D];大慶石油學(xué)院;2005年

10 翟煦;基于機器學(xué)習(xí)的情景詞庫構(gòu)建與實現(xiàn)[D];華南理工大學(xué);2013年

，

本文編號：871360