發(fā)布時(shí)間：2017-12-24 10:30

  本文關(guān)鍵詞：基線與增量數(shù)據(jù)分離架構(gòu)下的分布式連接算法　出處：《計(jì)算機(jī)學(xué)報(bào)》2016年10期 　論文類型：期刊論文

  更多相關(guān)文章： 分布式連接 增量數(shù)據(jù) 并行處理 排序歸并連接

【摘要】：在大數(shù)據(jù)背景下,數(shù)據(jù)庫(kù)系統(tǒng)表連接操作的效率急需優(yōu)化,尤其對(duì)于基線與增量數(shù)據(jù)分離的數(shù)據(jù)庫(kù)系統(tǒng)來(lái)說(shuō),其連接操作更是成為其性能的主要瓶頸.為了有效提升事務(wù)處理的性能,在基線與增量數(shù)據(jù)分離的數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)中,通常將基線數(shù)據(jù)存儲(chǔ)于磁盤(pán)中,增量數(shù)據(jù)存儲(chǔ)于內(nèi)存中,進(jìn)而獲得較高的事務(wù)處理吞吐量和可擴(kuò)展性.Hbase、BigTable、OceanBase等系統(tǒng)是典型的基線與增量數(shù)據(jù)分離的數(shù)據(jù)庫(kù)管理系統(tǒng),但是他們的表連接效率較低,其主要原因包括:每次表連接前必須先合并基線數(shù)據(jù)和增量數(shù)據(jù);數(shù)據(jù)存儲(chǔ)模式更為復(fù)雜,導(dǎo)致過(guò)大的網(wǎng)絡(luò)開(kāi)銷.該文提出了一種基線與增量數(shù)據(jù)分離架構(gòu)下的排序歸并連接優(yōu)化算法.該算法對(duì)連接屬性做范圍切分,在多個(gè)節(jié)點(diǎn)上并行做排序歸并連接.該算法無(wú)需在連接前合并基線數(shù)據(jù)和增量數(shù)據(jù),進(jìn)而實(shí)現(xiàn)對(duì)基線和增量數(shù)據(jù)并行處理,同時(shí)也避免了大量非連接結(jié)果集數(shù)據(jù)的基線與增量合并操作.并在開(kāi)源的數(shù)據(jù)庫(kù)OceanBase上實(shí)現(xiàn)了該算法,通過(guò)一系列實(shí)驗(yàn)證明,該算法可以極大提高OceanBase數(shù)據(jù)庫(kù)的表連接處理性能.
【作者單位】： 華東師范大學(xué)數(shù)據(jù)科學(xué)與工程研究院 上海高可信計(jì)算重點(diǎn)實(shí)驗(yàn)室;
【基金】：國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目(61332006)資助
【分類號(hào)】：TP311.13
【正文快照】： 1引言 隨著大數(shù)據(jù)時(shí)代的到來(lái),如何更好地管理和利用大數(shù)據(jù)已經(jīng)成為普遍關(guān)注的話題.在2008年,《Nature》推出了Big Data�？�(1);2011年2月,《Science》也接著推出�？�:Dealing with Data(2).美國(guó)奧巴馬政府在2012年提出了“大數(shù)據(jù)研究和發(fā)展倡議”,共投資了2億美元,正式開(kāi)始“

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧愛(ài)華;;大數(shù)據(jù)時(shí)代來(lái)臨 你準(zhǔn)備好了嗎?[J];科技潮;2012年09期

2 劉中宇;劉海良;;大數(shù)據(jù)時(shí)代高校云資源應(yīng)用[J];現(xiàn)代教育技術(shù);2013年07期

3 陶雪嬌;胡曉峰;劉洋;;大數(shù)據(jù)研究綜述[J];系統(tǒng)仿真學(xué)報(bào);2013年S1期

4 ;大數(shù)據(jù)[J];財(cái)務(wù)與會(huì)計(jì)(理財(cái)版);2013年07期

5 孫志偉;;大數(shù)據(jù)時(shí)代中小企業(yè)的應(yīng)對(duì)策略[J];未來(lái)與發(fā)展;2013年10期

6 宋慧欣;;大數(shù)據(jù)時(shí)代的自動(dòng)化機(jī)遇[J];自動(dòng)化博覽;2013年10期

7 ;大數(shù)據(jù)的崛起:趨勢(shì)、機(jī)遇與挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2013年24期

8 謝然;;大數(shù)據(jù)引領(lǐng)智能交通 且行且珍惜[J];互聯(lián)網(wǎng)周刊;2014年08期

9 嚴(yán)霄鳳;張德馨;;大數(shù)據(jù)研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年04期

10 趙敬;;大數(shù)據(jù)在日本的發(fā)展及應(yīng)用[J];聲屏世界;2013年11期

相關(guān)會(huì)議論文 前3條

1 李田;郭利;馮鵬;;某型導(dǎo)彈單元設(shè)備自動(dòng)檢測(cè)系統(tǒng)軟件設(shè)計(jì)[A];全國(guó)第十五屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2003年

2 高世光;鄧蘇;王長(zhǎng)纓;;關(guān)于ADO+引導(dǎo)數(shù)據(jù)種類的演變的研究[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

3 顏涯;邵佩英;;GIS與MIS系統(tǒng)集成技術(shù)在城市規(guī)劃中的應(yīng)用[A];第十七屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2000年

相關(guān)重要報(bào)紙文章 前10條

1 中國(guó)科學(xué)技術(shù)發(fā)展戰(zhàn)略研究院 許曄;大數(shù)據(jù)時(shí)代來(lái)襲 中國(guó)宜加緊布局[N];經(jīng)濟(jì)參考報(bào);2013年

2 ;精簡(jiǎn)企業(yè)數(shù)據(jù)是時(shí)候了[N];計(jì)算機(jī)世界;2008年

3 撫蘇;眾望所歸，大數(shù)據(jù)時(shí)代來(lái)臨[N];電腦報(bào);2013年

4 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)的價(jià)值實(shí)現(xiàn)之旅[N];網(wǎng)絡(luò)世界;2013年

5 本報(bào)記者 霍娜;政府?dāng)?shù)據(jù)開(kāi)放要掂量[N];中國(guó)計(jì)算機(jī)報(bào);2014年

6 ;多元技術(shù)擎起數(shù)據(jù)應(yīng)用新天空[N];網(wǎng)絡(luò)世界;2008年

7 《網(wǎng)絡(luò)世界》記者 高楊;大數(shù)據(jù)開(kāi)啟智能生活[N];網(wǎng)絡(luò)世界;2013年

8 中國(guó)國(guó)防科技信息中心 陳豫 真溱 李法勇 曹寬增 湯珊紅 童欣 曾錚 蔡超 馬紅妹 趙睿濤;大數(shù)據(jù)影響科技信息工作未來(lái)的大背景[N];中國(guó)航空?qǐng)?bào);2012年

9 Paul F. Uhlir Peter Schroder;開(kāi)放科技數(shù)據(jù)助力全球科研[N];計(jì)算機(jī)世界;2006年

10 郭濤;數(shù)據(jù)遷移 保證醫(yī)療數(shù)據(jù)安全可用[N];中國(guó)計(jì)算機(jī)報(bào);2003年

相關(guān)博士學(xué)位論文 前3條

1 張新;區(qū)域性防災(zāi)減災(zāi)信息服務(wù)體系研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2006年

2 李智慧;基于可視化的三維放射治療計(jì)算機(jī)模擬系統(tǒng)的研究[D];四川大學(xué);2002年

3 袁培森;基于LSH的Web數(shù)據(jù)相似性查詢研究[D];復(fù)旦大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 鄧先明;基于西安市礦產(chǎn)資源規(guī)劃關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)質(zhì)量控制研究[D];長(zhǎng)安大學(xué);2015年

2 宣冬琦;上海銀行的客戶關(guān)系管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

3 王文佳;基于普適環(huán)境的FP-growth算法研究[D];中國(guó)石油大學(xué)(華東);2014年

4 汪文祥;考古遺址發(fā)掘數(shù)據(jù)分析研究與應(yīng)用[D];浙江大學(xué);2016年

5 楊太萌;基于大數(shù)據(jù)的城市防汛決策支持系統(tǒng)研究[D];浙江大學(xué);2016年

6 魏麟鈞;大數(shù)據(jù)與偵查方法論之創(chuàng)新[D];江西財(cái)經(jīng)大學(xué);2015年

7 陸鵬;基于Neo4j的大數(shù)據(jù)組織檢索研究與應(yīng)用[D];東南大學(xué);2015年

8 張凱;數(shù)據(jù)挖掘技術(shù)在醫(yī)療費(fèi)用數(shù)據(jù)中的應(yīng)用研究[D];北京郵電大學(xué);2015年

9 霍美娜;基于Hadoop海量數(shù)據(jù)分析的反腐云計(jì)算設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

10 蘆倩;基于ArcGIS Engine的水文生態(tài)數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京林業(yè)大學(xué);2011年

，

本文編號(hào)：1328027