【摘要】：連接聚集查詢是大規(guī)模數(shù)據(jù)分析的核心操作算子之一,多核處理器為大規(guī)模數(shù)據(jù)的連接聚集查詢操作提供了優(yōu)化空間但同時也存在很大挑戰(zhàn).主要針對多核處理器集群環(huán)境,研究MapReduce框架下大規(guī)模數(shù)據(jù)連接聚集查詢的優(yōu)化算法.首先,基于傳統(tǒng)MapReduce框架設(shè)計并實現(xiàn)了Map端的單線程連接聚集查詢算法,基于實驗分析指出MapReduce和多核處理器融合提升性能的必要性;其次,針對處理器的多核架構(gòu),設(shè)計并實現(xiàn)了Map端的多線程連接聚集查詢算法,找出了MapReduce和多核處理器融合的性能瓶頸;進(jìn)而,提出了Map端對輸入分片無競爭讀取的多線程連接聚集查詢算法,該算法讓MapReduce充分利用了多核處理器的性能優(yōu)勢.實驗結(jié)果表明,提出的算法在大規(guī)模數(shù)據(jù)的連接聚集查詢處理上充分發(fā)揮了硬件優(yōu)勢,具有較好的時間性能和可擴(kuò)展性.
[Abstract]:Join aggregation query is one of the core operators in large-scale data analysis. Multi-core processors provide optimization space for large scale data join aggregation query operation, but there are also great challenges at the same time. Aiming at multi-core processor cluster environment, the optimization algorithm of large scale data join aggregation query under MapReduce framework is studied. Firstly, a single thread join aggregation query algorithm based on traditional MapReduce framework is designed and implemented. Based on experimental analysis, the necessity of MapReduce and multi-core processor fusion to improve performance is pointed out. This paper designs and implements a multi-thread join aggregation query algorithm in Map, finds out the performance bottleneck of MapReduce and multi-core processor fusion, and then proposes a multi-thread join aggregation query algorithm based on Map. This algorithm allows MapReduce to take full advantage of the performance advantages of multi-core processors. The experimental results show that the proposed algorithm can give full play to the hardware advantages and has good time performance and extensibility in large-scale data join aggregation query processing.
【作者單位】： 桂林電子科技大學(xué)廣西可信軟件重點實驗室;桂林電子科技大學(xué)廣西自動檢測技術(shù)與儀器重點實驗室;
【基金】：國家自然科學(xué)基金項目(61462017;61363005) 廣西自然科學(xué)基金項目(2014GXNSFAA118353;2014GXNSFAA118390;2014GXNSFDA118036) 廣西高校科研資助項目(2013YB083) 廣西自動檢測技術(shù)與儀器重點實驗室基金項目(YQ15110;YQ14109) 桂林電子科技大學(xué)研究生創(chuàng)新資助項目(GDYCSZ201465) 廣西高等學(xué)校高水平創(chuàng)新團(tuán)隊及卓越學(xué)者計劃
【分類號】：TP332

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 陳勇旭;陳夢杰;劉雪冰;宋杰;;基于MapReduce的連接聚集查詢算法研究[J];計算機研究與發(fā)展;2013年S1期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張浩;蘭峰;;多核處理器基本原理及其在汽車領(lǐng)域中應(yīng)用的展望[J];汽車科技;2007年03期

2 何軍;王飆;;多核處理器的結(jié)構(gòu)設(shè)計研究[J];計算機工程;2007年16期

3 肖紅;;基于多核處理器系統(tǒng)開發(fā)中的幾個問題[J];廣東廣播電視大學(xué)學(xué)報;2007年04期

4 張健浪;;三大于二,多核CPU之田忌賽馬[J];新電腦;2008年06期

5 都思丹;;前言:嵌入式多核處理器系統(tǒng)及視頻信號處理技術(shù)研究進(jìn)展[J];南京大學(xué)學(xué)報(自然科學(xué)版);2009年01期

6 黃國睿;張平;魏廣博;;多核處理器的關(guān)鍵技術(shù)及其發(fā)展趨勢[J];計算機工程與設(shè)計;2009年10期

7 張戈;胡偉武;黃琨;曾洪博;王君;;片上多核處理器的結(jié)構(gòu)級功耗建模與優(yōu)化技術(shù)研究[J];自然科學(xué)進(jìn)展;2009年12期

8 萬志濤;章恒;張若淵;;基于多核處理器的深度包檢測的實現(xiàn)和性能評估[J];電信科學(xué);2009年S2期

9 李晉惠;寇立濤;喬永興;;用軟件來提高多核處理器性能的方法分析[J];工業(yè)儀表與自動化裝置;2010年01期

10 嚴(yán)婕;;針對多媒體應(yīng)用的多核處理器核間通信優(yōu)化[J];計算機應(yīng)用與軟件;2010年08期

相關(guān)會議論文 前10條

1 郭建軍;戴葵;王志英;;一種多核處理器存儲層次性能評估模型[A];第八屆全國信息隱藏與多媒體安全學(xué)術(shù)大會湖南省計算機學(xué)會第十一屆學(xué)術(shù)年會論文集[C];2009年

2 彭林;張小強;劉德峰;謝倫國;田祖?zhèn)?;一種挖掘多核處理器存儲級并行的算法[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

3 劉杰;馬彥;葉維;高劍剛;;多核處理器存儲體系分析[A];第十五屆計算機工程與工藝年會暨第一屆微處理器技術(shù)論壇論文集（A輯）[C];2011年

4 潘送軍;胡瑜;李曉維;;多核處理器瞬態(tài)故障敏感性分析[A];第五屆中國測試學(xué)術(shù)會議論文集[C];2008年

5 方娟;張紅波;;多核處理器預(yù)取策略的研究[A];2010年全國開放式分布與并行計算機學(xué)術(shù)會議論文集[C];2010年

6 何軍;王飆;;通用多核處理器發(fā)展現(xiàn)狀和趨勢研究[A];第十五屆計算機工程與工藝年會暨第一屆微處理器技術(shù)論壇論文集（A輯）[C];2011年

7 桂亞東;;高效能計算機技術(shù)展望[A];慶祝中國力學(xué)學(xué)會成立50周年暨中國力學(xué)學(xué)會學(xué)術(shù)大會’2007論文摘要集（下）[C];2007年

8 萬志濤;;基于多核處理器的面向時延敏感服務(wù)的云基礎(chǔ)架構(gòu)[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2011年年會論文集（上冊）[C];2011年

9 陳遠(yuǎn)知;;多核處理器的里程碑——TILE64[A];全國第三屆信號和智能信息處理與應(yīng)用學(xué)術(shù)交流會�？痆C];2009年

10 張煒;馮權(quán)友;曾超;竇文華;;一種基于光互連技術(shù)的存儲墻問題解決方案[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

相關(guān)重要報紙文章 前10條

1 記者 曹繼軍 顏維琦;我國多核處理器研究實現(xiàn)新突破[N];光明日報;2012年

2 李梅　編譯;多核處理器新年井噴[N];計算機世界;2007年

3 英特爾產(chǎn)品與平臺市場部門數(shù)字家庭市場經(jīng)理 莊淳杰;多核將大行其道[N];計算機世界;2007年

4 本報記者 陳斌;多核處理器的未來路徑[N];計算機世界;2008年

5 ;多核：技術(shù)無懸念應(yīng)用待拓展[N];計算機世界;2008年

6 Hillstone首席軟件架構(gòu)師 王鐘;多核是更好的選擇[N];網(wǎng)絡(luò)世界;2009年

7 宋家雨;服務(wù)器銷量會減半嗎？[N];網(wǎng)絡(luò)世界;2007年

8 蔣楠;美國 青少年變身“多核處理器”[N];中國計算機報;2006年

9 清華大學(xué)計算機系 教授 鄭緯民;“多核”成為關(guān)鍵詞[N];計算機世界;2007年

10 中航工業(yè)計算所 牛文生;計算機技術(shù)的一些新進(jìn)展[N];中國航空報;2011年

相關(guān)博士學(xué)位論文 前10條

1 王淼;面向多核處理器的并行編譯及優(yōu)化關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2010年

2 魏海濤;面向多核處理器的數(shù)據(jù)流程序編譯關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

3 呂海;多核處理器芯片計算平臺中并行程序性能優(yōu)化的研究[D];北京工業(yè)大學(xué);2012年

4 李建華;片上多核處理器緩存子系統(tǒng)優(yōu)化的研究[D];中國科學(xué)技術(shù)大學(xué);2013年

5 杜建軍;共享高速緩存多核處理器的關(guān)鍵技術(shù)研究[D];重慶大學(xué);2011年

6 陳銳忠;非對稱多核處理器的若干調(diào)度問題研究[D];華南理工大學(xué);2013年

7 鄧林;單芯片多核處理器存儲優(yōu)化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

8 呂正;多核處理器存儲系統(tǒng)的驗證方法研究[D];西北大學(xué);2013年

9 張宇昂;三維多核處理器存儲關(guān)鍵技術(shù)研究[D];南京大學(xué);2015年

10 賴明澈;同步數(shù)據(jù)觸發(fā)多核處理器體系結(jié)構(gòu)關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2008年

，

本文編號：2199890