發(fā)布時(shí)間：2018-06-21 11:03

  本文選題：連接 + 多表�。� 參考：《中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào)》2015年10期

【摘要】：MapReduce是一個(gè)并行分布式計(jì)算模型,已經(jīng)被廣泛應(yīng)用于處理兩個(gè)或多個(gè)大型表的連接操作.現(xiàn)有的基于MapReduce的多表連接算法,在處理鏈?zhǔn)竭B接時(shí),不能處理多個(gè)大表的連接,或者需要順序運(yùn)行較多的MapReduce任務(wù),效率較低.為此提出了一種基于MapReduce的多表連接算法——PipelineJoin,高效地實(shí)現(xiàn)任意多個(gè)大表的鏈?zhǔn)竭B接.PipelineJoin采用流水線模型和調(diào)度器來(lái)實(shí)現(xiàn)MapReduce任務(wù)的流水線式執(zhí)行,從而有效提高多表連接的效率,同時(shí)可以較好地克服鏈?zhǔn)蕉啾磉B接算法的缺陷.最后,在不同規(guī)模的數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明PipelineJoin算法與原有鏈?zhǔn)蕉啾磉B接算法相比,可以有效減少連接所需的時(shí)間.
[Abstract]:MapReduce is a parallel distributed computing model, which has been widely used to handle join operations of two or more large tables. The existing multi-table join algorithms based on MapReduce can not handle the join of multiple large tables or need to run more MapReduce tasks sequentially. In this paper, a MapReduce based multi-table join algorithm, PipelineJoin-based, is proposed to efficiently realize the chain connection of any number of large tables. PipelineJoin uses the pipeline model and scheduler to implement the pipelined execution of MapReduce tasks, thus effectively improving the efficiency of multi-table join. At the same time, it can overcome the defect of chain multi-list join algorithm. Finally, a large number of experiments are carried out on different data sets. The experimental results show that PipelineJoin algorithm can effectively reduce the connection time compared with the original chained multi-table join algorithm.
【作者單位】： 廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院;廈門大學(xué)軟件學(xué)院;
【基金】：國(guó)家自然科學(xué)基金(61303004,1202012) 國(guó)家科技支撐計(jì)劃(863)(2015BAH16F00/F01/F02)資助
【分類號(hào)】：TP338.8

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉波;;“算法設(shè)計(jì)與分析”教學(xué)探討[J];高等理科教育;2007年04期

2 肖小克;陳莉;;《算法設(shè)計(jì)與分析》實(shí)踐教學(xué)探討[J];福建電腦;2009年10期

3 穆瑞輝;;計(jì)算機(jī)算法設(shè)計(jì)研究與思考[J];數(shù)字技術(shù)與應(yīng)用;2012年12期

4 潘博;;構(gòu)建“算法設(shè)計(jì)與分析”趣味課堂[J];科教文匯(下旬刊);2013年06期

5 王希常,楊志強(qiáng);一類考場(chǎng)編排算法的設(shè)計(jì)[J];山東師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年04期

6 龍騰芳,高金文;“分而治之”方法在算法設(shè)計(jì)中的應(yīng)用[J];渤海大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年01期

7 呂國(guó)英;;《算法設(shè)計(jì)與分析》教材建設(shè)的實(shí)施[J];計(jì)算機(jī)教育;2007年19期

8 徐子珊;;“算法設(shè)計(jì)與分析”教學(xué)中理論與技術(shù)的平衡[J];計(jì)算機(jī)教育;2008年10期

9 鄭紅;邵志清;符海波;;“算法設(shè)計(jì)與分析”課程教學(xué)改革初探[J];計(jì)算機(jī)教育;2008年14期

10 高尚;;“算法設(shè)計(jì)與分析”課程改革初探[J];計(jì)算機(jī)教育;2008年14期

相關(guān)會(huì)議論文 前10條

1 雷詠梅;;橢圓曲線密碼體制的算法設(shè)計(jì)與實(shí)現(xiàn)[A];西部大開(kāi)發(fā) 科教先行與可持續(xù)發(fā)展——中國(guó)科協(xié)2000年學(xué)術(shù)年會(huì)文集[C];2000年

2 楊盤洪;朱軍祥;趙建安;楊靜;;機(jī)動(dòng)目標(biāo)跟蹤的模糊變結(jié)構(gòu)交互多模算法[A];2007'中國(guó)儀器儀表與測(cè)控技術(shù)交流大會(huì)論文集（二）[C];2007年

3 徐子珊;;《算法設(shè)計(jì)與分析》課程中的工程教育[A];2005年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

4 王輝;劉治昌;;用一種新算法設(shè)計(jì)的安全系統(tǒng)[A];2007年中國(guó)智能自動(dòng)化會(huì)議論文集[C];2007年

5 舒輝;柳清峰;杜祝平;周蓓;;實(shí)踐教學(xué)模式在本科專業(yè)課程教學(xué)中的應(yīng)用[A];中國(guó)電子教育學(xué)會(huì)高教分會(huì)2010年論文集[C];2010年

6 彭小宏;陽(yáng)東升;劉忠;;基于聚類算法的組織協(xié)作網(wǎng)設(shè)計(jì)[A];2006中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

7 李皓;羅熊;;云存儲(chǔ)部署優(yōu)化的進(jìn)化算法設(shè)計(jì)[A];2013年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（第三分冊(cè)）[C];2013年

8 羅長(zhǎng)政;李熙瑩;王鎮(zhèn)波;羅東華;;一種大流量交叉路口的背景提取與更新算法[A];第十五屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2010年

9 楊利;李霖;昌月樓;陽(yáng)國(guó)貴;;對(duì)稱位向量及啟發(fā)式并行散列連接算法[A];數(shù)據(jù)庫(kù)研究與進(jìn)展95——第十三屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1995年

10 張晉;;嵌入式電腦鼠運(yùn)行算法的研究[A];全國(guó)第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國(guó)第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

相關(guān)重要報(bào)紙文章 前1條

1 ;算法設(shè)計(jì)的策略[N];電腦報(bào);2003年

相關(guān)博士學(xué)位論文 前10條

1 谷偉哲;齊次光滑算法及其應(yīng)用[D];天津大學(xué);2010年

2 龍海俠;進(jìn)化算法及其在生物信息中的應(yīng)用[D];江南大學(xué);2010年

3 譚躍;具有混沌局部搜索策略的粒子群優(yōu)化算法研究[D];中南大學(xué);2013年

4 尤海峰;求解隱式目標(biāo)優(yōu)化問(wèn)題的交互式進(jìn)化算法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

5 張常淳;基于MapReduce的大數(shù)據(jù)連接算法的設(shè)計(jì)與優(yōu)化[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

6 郭崇慧;地區(qū)中長(zhǎng)期發(fā)展規(guī)劃若干定量模型、算法及應(yīng)用研究[D];大連理工大學(xué);2002年

7 蔣蔚;粒子濾波改進(jìn)算法研究與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2010年

8 孫賀;算法設(shè)計(jì)中的若干前沿問(wèn)題[D];復(fù)旦大學(xué);2009年

9 陳寧濤;基于二分技術(shù)的高效算法設(shè)計(jì)及其應(yīng)用[D];華中科技大學(xué);2006年

10 婁曉文;無(wú)符號(hào)基因組切割再粘貼重組問(wèn)題的算法研究[D];山東大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 李欣園;基于選擇偏好的組合聚類算法研究與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2015年

2 楊瀟;界約束非線性最小二乘問(wèn)題的無(wú)導(dǎo)數(shù)算法[D];上海交通大學(xué);2015年

3 王曉璐;基于Zynq的LS-SVM算法加速器設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2015年

4 樓磊磊;醫(yī)療保險(xiǎn)數(shù)據(jù)異常行為檢測(cè)算法和系統(tǒng)[D];浙江大學(xué);2015年

5 陳艷瓊;若干算法設(shè)計(jì)模式的研究與應(yīng)用[D];江西師范大學(xué);2008年

6 賀國(guó)華;交互變鄰域微分進(jìn)化群搜索優(yōu)化算法[D];太原科技大學(xué);2011年

7 房娟艷;混合群搜索優(yōu)化算法及其應(yīng)用研究[D];太原科技大學(xué);2010年

8 劉文錦;雙收縮人工植物算法[D];太原科技大學(xué);2012年

9 張園;遞推技術(shù)在算法設(shè)計(jì)中的應(yīng)用研究[D];江西師范大學(xué);2012年

10 李旭明;基于小世界模型的社會(huì)情感優(yōu)化算法及應(yīng)用研究[D];太原科技大學(xué);2012年

，

本文編號(hào)：2048385