本文關(guān)鍵詞：增量式迭代計(jì)算模型研究與實(shí)現(xiàn)

  更多相關(guān)文章： 云計(jì)算 大數(shù)據(jù) MapReduce 迭代計(jì)算 增量迭代

【摘要】：不動(dòng)點(diǎn)迭代廣泛存在于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法中,這些算法已應(yīng)用到諸如社會(huì)網(wǎng)絡(luò)分析、高性能計(jì)算、推薦系統(tǒng)、搜索引擎、模式識(shí)別等諸多領(lǐng)域中.在云計(jì)算環(huán)境中,利用MapReduce編程模型所帶來(lái)的便利,通過(guò)普通的PC集群運(yùn)行相應(yīng)的迭代算法,可以提高迭代算法的執(zhí)行效率.但由于數(shù)據(jù)的快速變化,每當(dāng)數(shù)據(jù)發(fā)生改變,整個(gè)迭代算法也需要重新運(yùn)行,這將會(huì)導(dǎo)致大量的運(yùn)算資源浪費(fèi)和性能損失.文中研究基于原始迭代結(jié)果和新增數(shù)據(jù)的增量迭代計(jì)算DELTA(Delta data based incrEmentaL iTerAtive computing),并提出DELTA模型以解決上述問題.文中理論證明了DELTA模型的正確性,闡述了其適用范圍,并列舉了PageRank、K-means和Descendant Query算法在DELTA模型中的運(yùn)用.文中還擴(kuò)展HaLoop為ΔHaLoop框架,使其支持增量式的迭代計(jì)算.通過(guò)一系列的測(cè)試用例,對(duì)DELTA模型功能、性能進(jìn)行了分析和討論,實(shí)驗(yàn)結(jié)果表明DELTA模型在獲得準(zhǔn)確的迭代結(jié)果的基礎(chǔ)上性能優(yōu)勢(shì)明顯.文中提出的DELTA模型能夠適應(yīng)多數(shù)迭代算法,對(duì)云計(jì)算環(huán)境下的迭代計(jì)算的應(yīng)用和優(yōu)化起到推動(dòng)作用.
【作者單位】： 東北大學(xué)軟件學(xué)院;東北大學(xué)計(jì)算中心;東北大學(xué)信息科學(xué)與工程學(xué)院;
【關(guān)鍵詞】： 云計(jì)算 大數(shù)據(jù) MapReduce 迭代計(jì)算 增量迭代
【基金】：國(guó)家自然科學(xué)基金(61433008,61202088,61272179,61173028) 教育部博士點(diǎn)基金(20130042120006);教育部-中國(guó)移動(dòng)科研基金項(xiàng)目(MCM20125021) 中國(guó)博士后科學(xué)基金面上基金(2013M540232) 中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金(N130417001) 遼寧省博士啟動(dòng)基金(201403314)資助
【分類號(hào)】：TP311.13
【正文快照】： 士點(diǎn)基金(20130042120006)、教育部-中國(guó)移動(dòng)科研基金項(xiàng)目(MCM20125021)、中國(guó)博士后科學(xué)基金面上基金(2013M540232)、中央高�；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金(N130417001)和遼寧省博士啟動(dòng)基金(201403314)資助.宋杰,男,1980年生,博士,副教授,中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)高級(jí)會(huì)員,主要研究方

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王秀,葉東毅;基于分布約簡(jiǎn)的獲取規(guī)則的增量式方法[J];福州大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年01期

2 林俊偉;葉東毅;;基于鄰域辨識(shí)矩陣的屬性約簡(jiǎn)增量式算法[J];計(jì)算機(jī)應(yīng)用;2009年S1期

3 李斌,馬戈,孫志揮;項(xiàng)目集發(fā)生變化的關(guān)聯(lián)規(guī)則增量式更新算法[J];計(jì)算機(jī)應(yīng)用;2004年12期

4 劉韶濤;余金山;王寧生;;一種迭代增量式的程序構(gòu)建方法[J];遼寧工程技術(shù)大學(xué)學(xué)報(bào);2005年06期

5 王軍琴;;基于三菱FX_(2N)的增量式PID控制器設(shè)計(jì)[J];現(xiàn)代電子技術(shù);2010年12期

6 董學(xué)勤;劉希璐;;基于增量式PID的改進(jìn)算法[J];浙江工商職業(yè)技術(shù)學(xué)院學(xué)報(bào);2012年03期

7 黃文芝 ,倪國(guó)元;基于模糊相似系數(shù)的增量式聚類算法[J];微型機(jī)與應(yīng)用;2004年10期

8 羅維;;詞語(yǔ)對(duì)齊的快速增量式訓(xùn)練方法研究[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年01期

9 宋和平;胡成全;王力風(fēng);侯二娜;;新型雙溫度反饋增量式PID控制器的設(shè)計(jì)[J];自動(dòng)化與儀表;2012年04期

10 劉宗田;屬性最小約簡(jiǎn)的增量式算法[J];電子學(xué)報(bào);1999年11期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前6條

1 單莘;;一種網(wǎng)絡(luò)告警的增量式情景規(guī)則挖掘方法[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 王鑫;袁曉潔;李楠;;Native XML數(shù)據(jù)庫(kù)的增量式驗(yàn)證[A];第二十三屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2006年

3 程建軍;陳曉云;馬志新;;程序設(shè)計(jì)語(yǔ)言課程的增量式教學(xué)法改革與實(shí)踐[A];2005全國(guó)計(jì)算機(jī)程序設(shè)計(jì)類課程教學(xué)研討會(huì)論文集[C];2005年

4 陳恩紅;張振亞;王煦法;;基于神經(jīng)網(wǎng)絡(luò)的增量式數(shù)據(jù)索引機(jī)制研究[A];2001年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2001年

5 欒江;唐常杰;黃曉冬;陰小雄;廖勇;;一種增量式支持向量機(jī)文本分類模型[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

6 董云云;王中華;馮志全;程金;;吊車-雙擺系統(tǒng)的增量式滑模控制[A];第二十七屆中國(guó)控制會(huì)議論文集[C];2008年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前1條

1 中國(guó)社會(huì)科學(xué)院金融研究所研究員 易憲容;地方增量式金融改革亟待有序規(guī)范[N];上海證券報(bào);2012年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 朱真峰;快速增量式分類算法研究[D];復(fù)旦大學(xué);2010年

2 王毅;注塑模改模知識(shí)的增量式發(fā)現(xiàn)研究[D];廣東工業(yè)大學(xué);2014年

3 陳春雷;面向GPGPU的并行增量式聚類算法研究[D];西北工業(yè)大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 荊楠;服務(wù)網(wǎng)絡(luò)的構(gòu)建與面向增量式需求的動(dòng)態(tài)定制方法[D];哈爾濱工業(yè)大學(xué);2015年

2 倪國(guó)元;基于模糊聚類的增量式挖掘算法研究[D];華中科技大學(xué);2004年

3 張晶;增量式關(guān)聯(lián)規(guī)則挖掘算法研究及其在飛行品質(zhì)監(jiān)控中的應(yīng)用[D];中國(guó)民航大學(xué);2008年

4 陳楠;基于粗集理論的增量式屬性約簡(jiǎn)研究[D];長(zhǎng)春理工大學(xué);2005年

5 張長(zhǎng)城;基于增量式低秩學(xué)習(xí)的視頻目標(biāo)跟蹤[D];大連理工大學(xué);2014年

6 何志剛;多約束增量式布局[D];武漢理工大學(xué);2011年

7 陳飛龍;基于偏序關(guān)系的快速增量式概念格構(gòu)建算法[D];西安電子科技大學(xué);2011年

8 孫巖;增量式貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)研究[D];杭州電子科技大學(xué);2011年

9 郝允允;增量式數(shù)據(jù)競(jìng)爭(zhēng)檢測(cè)[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

10 賴桃桃;增量式屬性約簡(jiǎn)更新算法研究[D];廈門大學(xué);2009年

，

本文編號(hào)：525182