本文關(guān)鍵詞：基于MapReduce的內(nèi)存并行Join算法研究

  更多相關(guān)文章： 內(nèi)存連接 數(shù)據(jù)封裝 MapReduce

【摘要】：傳統(tǒng)的并行Join算法缺少必要的容錯能力,且數(shù)據(jù)劃分不均往往導(dǎo)致單個線程的阻塞成為整個任務(wù)執(zhí)行的瓶頸。針對以上問題,分析內(nèi)存連接的各個階段對Join算法性能的影響,提出一種可利用MapReduce的動態(tài)機(jī)制,避免了傳統(tǒng)并行連接算法的數(shù)據(jù)任務(wù)分派不均和容錯問題。算法使用MapReduce編程框架,并通過封裝分塊標(biāo)記減少M(fèi)apReduce Join執(zhí)行過程中標(biāo)記和排序的計算開銷,使算法性能顯著提高。實(shí)驗(yàn)結(jié)果表明,該算法在共享內(nèi)存體系結(jié)構(gòu)下,性能上相比已有算法有顯著改進(jìn)。
【作者單位】： 中國科學(xué)技術(shù)大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院;安徽省高性能計算重點(diǎn)實(shí)驗(yàn)室;
【關(guān)鍵詞】： 內(nèi)存連接 數(shù)據(jù)封裝 MapReduce
【分類號】：TP338.6
【正文快照】： 0引言當(dāng)前,隨著大數(shù)據(jù)時代的來臨,MapReduce由于其具有良好的可擴(kuò)展性和容錯性,已經(jīng)被廣泛應(yīng)用于面向數(shù)據(jù)處理的應(yīng)用中。MapReduce最初是由谷歌工程師Dean等人在2004年推出[1],其最初的設(shè)計目的是處理公司大規(guī)模的網(wǎng)絡(luò)日志數(shù)據(jù)訪問。MapReduce編程模式通過提供一種簡單的編程

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄒汪平;;一種基于網(wǎng)絡(luò)安全控制的蜂群算法應(yīng)用研究[J];吉林師范大學(xué)學(xué)報(自然科學(xué)版);2013年04期

2 李向偉;曹博;;時間參數(shù)在HITS算法中的應(yīng)用及改進(jìn)[J];蘭州工業(yè)高等�？茖W(xué)校學(xué)報;2006年02期

3 吳濤;彭篤學(xué);;一種改進(jìn)的直線段裁剪算法[J];湛江師范學(xué)院學(xué)報;2008年03期

4 張瑞子;南琳;胡琨元;田景賀;;基于EPC Class-1 Gen-2標(biāo)準(zhǔn)的防沖突算法與改進(jìn)[J];計算機(jī)工程;2009年02期

5 黃超;周寧;倪佑生;;基于蟻群算法的攻擊圖分析[J];計算機(jī)工程;2009年18期

6 秦永彬;許道云;;警示傳播算法的原理分析及算法改進(jìn)[J];計算機(jī)工程與應(yīng)用;2010年19期

7 郭毅可;韓銳;;云計算中的彈性算法:概要和展望[J];上海大學(xué)學(xué)報(自然科學(xué)版);2013年01期

8 牛玉靜;唐棣;;雙步圓的反走樣生成算法[J];計算機(jī)工程與應(yīng)用;2010年23期

9 肖璞;;XML索引更新算法的改進(jìn)[J];南京工程學(xué)院學(xué)報(自然科學(xué)版);2010年03期

10 周駿;陳鳴;張佳明;;兩類頻繁項(xiàng)算法在網(wǎng)絡(luò)流上的適用性評估[J];計算機(jī)工程;2011年16期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 黃紀(jì)武;毛澤華;李松濤;張錦雄;;SPMD并行查找算法的MPI實(shí)現(xiàn)[A];廣西計算機(jī)學(xué)會——2004年學(xué)術(shù)年會論文集[C];2004年

2 黃紀(jì)武;毛澤華;李松濤;張錦雄;;SPMD并行查找算法的MPI實(shí)現(xiàn)[A];廣西計算機(jī)學(xué)會2004年學(xué)術(shù)年會論文集[C];2004年

3 符麗錦;覃華;鄧海;孫欣;;一種改進(jìn)的Apriori算法的研究[A];廣西計算機(jī)學(xué)會2012年學(xué)術(shù)年會論文集[C];2012年

4 王東鋒;王軍民;陳英武;;模糊定性仿真理論研究與算法實(shí)現(xiàn)[A];'2000系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會論文集[C];2000年

5 趙唯;;晶粒度評級的改進(jìn)算法[A];中國圖象圖形科學(xué)技術(shù)新進(jìn)展——第九屆全國圖象圖形科技大會論文集[C];1998年

6 劉啟文;;可擴(kuò)展的圖形學(xué)算法演示系統(tǒng)的研究[A];’2004計算機(jī)應(yīng)用技術(shù)交流會議論文集[C];2004年

7 佘智;蔣泰;朱延生;;基于Type C協(xié)議的防沖突改進(jìn)算法[A];廣西計算機(jī)學(xué)會25周年紀(jì)念會暨2011年學(xué)術(shù)年會論文集[C];2011年

8 朱紹文;趙培;朱秋云;;基于pSPADE并行挖掘序列算法的研究[A];2003年中國智能自動化會議論文集（下冊）[C];2003年

9 楊霞;;新的基于啟發(fā)式蟻群算法的QoS路由算法[A];廣西計算機(jī)學(xué)會2009年年會論文集[C];2009年

10 陳黎飛;姜青山;董槐林;;基于圖形輪廓的快速聚類算法[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 鐘永騰;基于近場MUSIC算法的復(fù)合材料結(jié)構(gòu)健康監(jiān)測研究[D];南京航空航天大學(xué);2014年

2 劉燕;入侵雜草優(yōu)化算法在陣列天線綜合中的應(yīng)用[D];西安電子科技大學(xué);2015年

3 苗義烽;突發(fā)事件下的列車運(yùn)行調(diào)度模型與算法研究[D];中國鐵道科學(xué)研究院;2015年

4 楊玉婷;頭腦風(fēng)暴優(yōu)化算法與基于視頻的非接觸式運(yùn)動定量分析方法研究[D];浙江大學(xué);2015年

5 單美靜;求解非線性實(shí)代數(shù)系統(tǒng)的混合算法研究[D];華東師范大學(xué);2008年

6 邱劍鋒;人工蜂群算法的改進(jìn)方法與收斂性理論的研究[D];安徽大學(xué);2014年

7 潘磊;若干社區(qū)發(fā)現(xiàn)算法研究[D];南京大學(xué);2014年

8 陳俊波;頻繁閉合項(xiàng)集挖掘算法及應(yīng)用研究[D];浙江大學(xué);2009年

9 陸楠;關(guān)聯(lián)規(guī)則的挖掘及其算法的研究[D];吉林大學(xué);2007年

10 范洪博;快速精確字符串匹配算法研究[D];哈爾濱工程大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 安世勇;命題邏輯中隨機(jī)3-SAT問題算法研究[D];西南交通大學(xué);2015年

2 畢曉慶;油氣探礦權(quán)競爭性出讓系統(tǒng)設(shè)計與實(shí)現(xiàn)[D];中國地質(zhì)大學(xué)(北京);2015年

3 王明明;鐵路大機(jī)與線路固定設(shè)施間距檢測算法研究[D];西南交通大學(xué);2015年

4 李靜;基于視頻圖像序列的運(yùn)動目標(biāo)檢測與跟蹤算法研究[D];寧夏大學(xué);2015年

5 劉貝玲;基于天地圖的租房平臺開發(fā)及其關(guān)鍵技術(shù)研究[D];西南交通大學(xué);2015年

6 曹海鋒;IDS中串匹配臭算法并行優(yōu)化研究[D];西安建筑科技大學(xué);2015年

7 周攀;基于蟻群算法的山區(qū)高速鐵路隧道火災(zāi)應(yīng)急疏散最優(yōu)路徑研究[D];西南交通大學(xué);2015年

8 張路奇;基于改進(jìn)蟻群算法的WSN路由協(xié)議的研究[D];中國地質(zhì)大學(xué)(北京);2015年

9 王曉晨;入侵雜草優(yōu)化算法的應(yīng)用與改進(jìn)[D];長安大學(xué);2015年

10 信琴琴;手勢控制和識別算法研究[D];閩南師范大學(xué);2015年

，

本文編號：999120