【摘要】：機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)的多數(shù)模型均需要通過(guò)迭代計(jì)算以求解其最優(yōu)參數(shù),而MapReduce模型在迭代計(jì)算中的缺陷不足導(dǎo)致其在迭代計(jì)算中無(wú)法得到廣泛應(yīng)用。為解決上述矛盾,基于MapReduce模型提出并實(shí)現(xiàn)了一種可用于模型參數(shù)求解的并行迭代模型MRI。MRI模型在保持Map以及Reduce階段的基礎(chǔ)上,新增了Iterate階段以及相關(guān)通信協(xié)議,實(shí)現(xiàn)了迭代過(guò)程中模型參數(shù)的更新、分發(fā)與迭代控制;通過(guò)對(duì)MapReduce狀態(tài)機(jī)進(jìn)行增強(qiáng),實(shí)現(xiàn)了節(jié)點(diǎn)任務(wù)的重用,避免了迭代過(guò)程中節(jié)點(diǎn)任務(wù)重復(fù)創(chuàng)建、初始化以及回收帶來(lái)的性能開(kāi)銷;在任務(wù)節(jié)點(diǎn)實(shí)現(xiàn)了數(shù)據(jù)緩存,保障了數(shù)據(jù)的本地性,并在Map節(jié)點(diǎn)增加了基于內(nèi)存的塊緩存機(jī)制,進(jìn)一步提高訓(xùn)練集加載效率,以提高整體迭代效率�；谔荻认陆邓惴ǖ膶�(shí)驗(yàn)結(jié)果表明:MRI模型在并行迭代計(jì)算方面性能優(yōu)于MapReduce模型。
[Abstract]:Most models in the field of machine learning need iterative computation to solve their optimal parameters. However, the deficiency of MapReduce model in iterative computation makes it unable to be widely used in iterative computation. In order to solve the above problems, a parallel iterative model, MRI.MRI model, which can be used to solve the model parameters, is proposed and implemented based on the MapReduce model. On the basis of maintaining the Map and Reduce phases, the Iterate phase and the related communication protocols are added. The model parameters are updated, distributed and controlled in the iterative process, and the node tasks are reused by enhancing the MapReduce state machine, avoiding the repeated creation of the node tasks in the iterative process. The performance overhead brought by initialization and collection is realized in the task node to ensure the local data, and the memory-based block cache mechanism is added to the Map node to further improve the loading efficiency of the training set. In order to improve the overall iteration efficiency. The experimental results based on gradient descent algorithm show that the performance of MapReduce model is superior to that of MapReduce model in parallel iterative computation.
【作者單位】： 內(nèi)蒙古工業(yè)大學(xué)信息工程學(xué)院;
【基金】：國(guó)家自然科學(xué)基金(61540004) 內(nèi)蒙古自治區(qū)自然科學(xué)基金(2014MS0608)
【分類號(hào)】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張明玉,倪志偉;基于機(jī)器學(xué)習(xí)的智能決策支持系統(tǒng)[J];淮南師范學(xué)院學(xué)報(bào);2005年03期

2 楊凌霄;武建平;;機(jī)器學(xué)習(xí)方法在人臉檢測(cè)中的應(yīng)用[J];計(jì)算機(jī)與數(shù)字工程;2008年03期

3 ;第十一屆中國(guó)機(jī)器學(xué)習(xí)會(huì)議[J];智能系統(tǒng)學(xué)報(bào);2008年02期

4 ;第14屆中國(guó)機(jī)器學(xué)習(xí)會(huì)議[J];智能系統(tǒng)學(xué)報(bào);2012年06期

5 費(fèi)宗銘;呂建;王志堅(jiān);陳道蓄;徐家福;;機(jī)器學(xué)習(xí)[J];計(jì)算機(jī)科學(xué);1991年01期

6 趙沁平;魏華;王軍玲;;機(jī)器學(xué)習(xí)技術(shù)與機(jī)器學(xué)習(xí)系統(tǒng)[J];計(jì)算機(jī)科學(xué);1993年05期

7 姚敏;機(jī)器學(xué)習(xí)及其發(fā)展方向[J];計(jì)算機(jī)時(shí)代;1994年04期

8 ;第31屆機(jī)器學(xué)習(xí)國(guó)際會(huì)議(英文)[J];智能系統(tǒng)學(xué)報(bào);2014年01期

9 黃海濱;機(jī)器學(xué)習(xí)及其主要策略[J];河池師范高等�？茖W(xué)校學(xué)報(bào)(自然科學(xué)版);2000年04期

10 佘玉梅;一種協(xié)調(diào)機(jī)器學(xué)習(xí)方法研究[J];云南民族學(xué)院學(xué)報(bào)(自然科學(xué)版);2000年03期

相關(guān)會(huì)議論文 前10條

1 王玨;;歸納機(jī)器學(xué)習(xí)[A];2001年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2001年

2 王昊;李銀波;紀(jì)志梁;;利用機(jī)器學(xué)習(xí)方法預(yù)測(cè)嚴(yán)重藥物不良反應(yīng)-呼吸困難[A];中國(guó)化學(xué)會(huì)第28屆學(xué)術(shù)年會(huì)第13分會(huì)場(chǎng)摘要集[C];2012年

3 吳滄浦;;智能系統(tǒng)與機(jī)器學(xué)習(xí)的新領(lǐng)域[A];西部大開(kāi)發(fā) 科教先行與可持續(xù)發(fā)展——中國(guó)科協(xié)2000年學(xué)術(shù)年會(huì)文集[C];2000年

4 周晴杰;徐立鴻;吳啟迪;;機(jī)器學(xué)習(xí)串級(jí)結(jié)構(gòu)的初步探討[A];1998年中國(guó)控制會(huì)議論文集[C];1998年

5 李剛;郭崇慧;林鴻飛;楊志豪;唐煥文;;基于詞典法和機(jī)器學(xué)習(xí)法相結(jié)合的蛋白質(zhì)名識(shí)別[A];大連理工大學(xué)生物醫(yī)學(xué)工程學(xué)術(shù)論文集（第2卷）[C];2005年

6 徐禮勝;李乃民;王寬全;張冬雨;耿斌;姜曉睿;陳超海;羅貴存;;機(jī)器學(xué)習(xí)在中醫(yī)計(jì)算機(jī)診斷識(shí)別系統(tǒng)中的應(yīng)用思考[A];第一屆全國(guó)中西醫(yī)結(jié)合診斷學(xué)術(shù)會(huì)議論文選集[C];2006年

7 蔡健平;林世平;;基于機(jī)器學(xué)習(xí)的詞語(yǔ)和句子極性分析[A];第三屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

8 黃金鐵;李景銀;周建常;;對(duì)高爐爐況評(píng)價(jià)模型參數(shù)的機(jī)器學(xué)習(xí)——一個(gè)三類線性模式分類器的實(shí)現(xiàn)[A];1995中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1995年

9 程國(guó)建;蔡磊;潘華賢;;核向量機(jī)在大規(guī)模機(jī)器學(xué)習(xí)中的應(yīng)用[A];第十一屆中國(guó)青年信息與管理學(xué)者大會(huì)論文集[C];2009年

10 張鈸;張鈴;;統(tǒng)計(jì)學(xué)習(xí)理論及其應(yīng)用[A];2001年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2001年

相關(guān)重要報(bào)紙文章 前10條

1 黎驪/文 [美] Tom M.Mitchell 著;機(jī)器學(xué)習(xí)與智能化社會(huì)[N];中國(guó)郵政報(bào);2003年

2 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;機(jī)器學(xué)習(xí)已成為大數(shù)據(jù)基石[N];網(wǎng)絡(luò)世界;2014年

3 本報(bào)記者 房琳琳;合久必分：分布式“機(jī)器學(xué)習(xí)”應(yīng)運(yùn)而生[N];科技日?qǐng)?bào);2014年

4 雨辰;機(jī)器學(xué)習(xí)類圖書為什么火爆[N];中華讀書報(bào);2014年

5 百度公司技術(shù)副總監(jiān) 多媒體部負(fù)責(zé)人 余凱;深度學(xué)習(xí)與多媒體搜索技術(shù)演進(jìn)[N];中國(guó)信息化周報(bào);2013年

6 本報(bào)記者 余建斌;機(jī)器學(xué)習(xí)與互聯(lián)網(wǎng)搜索[N];人民日?qǐng)?bào);2011年

7 本報(bào)記者 張曄邋通訊員 李瑋;周志華：永不墨守成規(guī)[N];科技日?qǐng)?bào);2008年

8 記者　 彭德倩;機(jī)器學(xué)習(xí)精度提升近6個(gè)百分點(diǎn)[N];解放日?qǐng)?bào);2006年

9 本報(bào)記者 閔杰;大數(shù)據(jù)熱 高端人才缺[N];中國(guó)電子報(bào);2013年

10 沈建苗 編譯;如何成為大數(shù)據(jù)科學(xué)家[N];計(jì)算機(jī)世界;2013年

相關(guān)博士學(xué)位論文 前10條

1 董春茹;機(jī)器學(xué)習(xí)中的權(quán)重學(xué)習(xí)與差分演化[D];華南理工大學(xué);2015年

2 姚明臣;機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的若干問(wèn)題研究[D];大連理工大學(xué);2016年

3 趙玉鵬;機(jī)器學(xué)習(xí)的哲學(xué)探索[D];大連理工大學(xué);2010年

4 胡巍;面向格結(jié)構(gòu)的機(jī)器學(xué)習(xí)[D];上海交通大學(xué);2009年

5 張義榮;基于機(jī)器學(xué)習(xí)的入侵檢測(cè)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

6 錢線;快速精確的結(jié)構(gòu)化機(jī)器學(xué)習(xí)方法研究[D];復(fù)旦大學(xué);2010年

7 梁錫軍;稀疏優(yōu)化在機(jī)器學(xué)習(xí)中的若干應(yīng)用[D];大連理工大學(xué);2013年

8 蔣剛;核機(jī)器學(xué)習(xí)方法若干問(wèn)題研究[D];西南交通大學(xué);2006年

9 陳慧靈;面向智能決策問(wèn)題的機(jī)器學(xué)習(xí)方法研究[D];吉林大學(xué);2012年

10 周偉達(dá);核機(jī)器學(xué)習(xí)方法研究[D];西安電子科技大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 毛海斌;基于半監(jiān)督機(jī)器學(xué)習(xí)的情感分類領(lǐng)域適應(yīng)問(wèn)題研究[D];南京理工大學(xué);2015年

2 安軍輝;基于微博數(shù)據(jù)的微博用戶性別判斷研究[D];華中師范大學(xué);2015年

3 陳召陽(yáng);基于機(jī)器學(xué)習(xí)的改性麥槽吸附重金屬構(gòu)效關(guān)系模型研究[D];江西理工大學(xué);2014年

4 王成;基于半監(jiān)督機(jī)器學(xué)習(xí)的文本情感分析技術(shù)[D];南京理工大學(xué);2015年

5 孫科;基于Spark的機(jī)器學(xué)習(xí)應(yīng)用框架研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

6 劉江龍;基于機(jī)器學(xué)習(xí)的射頻指紋定位方法研究[D];電子科技大學(xué);2015年

7 張蕾;基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)輿情采集技術(shù)研究與設(shè)計(jì)[D];電子科技大學(xué);2014年

8 施宇;基于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的木馬檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

9 施應(yīng)敏;基于機(jī)器學(xué)習(xí)的Femtocell信道頻譜與功率資源分配算法的研究[D];南京郵電大學(xué);2015年

10 張柯;基于機(jī)器學(xué)習(xí)的錯(cuò)誤定位方法研究[D];南京航空航天大學(xué);2015年

，

本文編號(hào)：2159089