本文關(guān)鍵詞：基線與增量數(shù)據(jù)分離架構(gòu)下的分布式連接算法　出處：《計(jì)算機(jī)學(xué)報》2016年10期 　論文類型：期刊論文

  更多相關(guān)文章： 分布式連接 增量數(shù)據(jù) 并行處理 排序歸并連接

【摘要】：在大數(shù)據(jù)背景下,數(shù)據(jù)庫系統(tǒng)表連接操作的效率急需優(yōu)化,尤其對于基線與增量數(shù)據(jù)分離的數(shù)據(jù)庫系統(tǒng)來說,其連接操作更是成為其性能的主要瓶頸.為了有效提升事務(wù)處理的性能,在基線與增量數(shù)據(jù)分離的數(shù)據(jù)庫系統(tǒng)架構(gòu)中,通常將基線數(shù)據(jù)存儲于磁盤中,增量數(shù)據(jù)存儲于內(nèi)存中,進(jìn)而獲得較高的事務(wù)處理吞吐量和可擴(kuò)展性.Hbase、BigTable、OceanBase等系統(tǒng)是典型的基線與增量數(shù)據(jù)分離的數(shù)據(jù)庫管理系統(tǒng),但是他們的表連接效率較低,其主要原因包括:每次表連接前必須先合并基線數(shù)據(jù)和增量數(shù)據(jù);數(shù)據(jù)存儲模式更為復(fù)雜,導(dǎo)致過大的網(wǎng)絡(luò)開銷.該文提出了一種基線與增量數(shù)據(jù)分離架構(gòu)下的排序歸并連接優(yōu)化算法.該算法對連接屬性做范圍切分,在多個節(jié)點(diǎn)上并行做排序歸并連接.該算法無需在連接前合并基線數(shù)據(jù)和增量數(shù)據(jù),進(jìn)而實(shí)現(xiàn)對基線和增量數(shù)據(jù)并行處理,同時也避免了大量非連接結(jié)果集數(shù)據(jù)的基線與增量合并操作.并在開源的數(shù)據(jù)庫OceanBase上實(shí)現(xiàn)了該算法,通過一系列實(shí)驗(yàn)證明,該算法可以極大提高OceanBase數(shù)據(jù)庫的表連接處理性能.
【作者單位】： 華東師范大學(xué)數(shù)據(jù)科學(xué)與工程研究院 上海高可信計(jì)算重點(diǎn)實(shí)驗(yàn)室;
【基金】：國家自然科學(xué)基金重點(diǎn)項(xiàng)目(61332006)資助
【分類號】：TP311.13
【正文快照】： 1引言 隨著大數(shù)據(jù)時代的到來,如何更好地管理和利用大數(shù)據(jù)已經(jīng)成為普遍關(guān)注的話題.在2008年,《Nature》推出了Big Data�？�(1);2011年2月,《Science》也接著推出專刊:Dealing with Data(2).美國奧巴馬政府在2012年提出了“大數(shù)據(jù)研究和發(fā)展倡議”,共投資了2億美元,正式開始“

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧愛華;;大數(shù)據(jù)時代來臨 你準(zhǔn)備好了嗎?[J];科技潮;2012年09期

2 劉中宇;劉海良;;大數(shù)據(jù)時代高校云資源應(yīng)用[J];現(xiàn)代教育技術(shù);2013年07期

3 陶雪嬌;胡曉峰;劉洋;;大數(shù)據(jù)研究綜述[J];系統(tǒng)仿真學(xué)報;2013年S1期

4 ;大數(shù)據(jù)[J];財(cái)務(wù)與會計(jì)(理財(cái)版);2013年07期

5 孫志偉;;大數(shù)據(jù)時代中小企業(yè)的應(yīng)對策略[J];未來與發(fā)展;2013年10期

6 宋慧欣;;大數(shù)據(jù)時代的自動化機(jī)遇[J];自動化博覽;2013年10期

7 ;大數(shù)據(jù)的崛起:趨勢、機(jī)遇與挑戰(zhàn)[J];互聯(lián)網(wǎng)周刊;2013年24期

8 謝然;;大數(shù)據(jù)引領(lǐng)智能交通 且行且珍惜[J];互聯(lián)網(wǎng)周刊;2014年08期

9 嚴(yán)霄鳳;張德馨;;大數(shù)據(jù)研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年04期

10 趙敬;;大數(shù)據(jù)在日本的發(fā)展及應(yīng)用[J];聲屏世界;2013年11期

相關(guān)會議論文 前3條

1 李田;郭利;馮鵬;;某型導(dǎo)彈單元設(shè)備自動檢測系統(tǒng)軟件設(shè)計(jì)[A];全國第十五屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用學(xué)術(shù)會議論文集[C];2003年

2 高世光;鄧蘇;王長纓;;關(guān)于ADO+引導(dǎo)數(shù)據(jù)種類的演變的研究[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2001年

3 顏涯;邵佩英;;GIS與MIS系統(tǒng)集成技術(shù)在城市規(guī)劃中的應(yīng)用[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2000年

相關(guān)重要報紙文章 前10條

1 中國科學(xué)技術(shù)發(fā)展戰(zhàn)略研究院 許曄;大數(shù)據(jù)時代來襲 中國宜加緊布局[N];經(jīng)濟(jì)參考報;2013年

2 ;精簡企業(yè)數(shù)據(jù)是時候了[N];計(jì)算機(jī)世界;2008年

3 撫蘇;眾望所歸，大數(shù)據(jù)時代來臨[N];電腦報;2013年

4 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)的價值實(shí)現(xiàn)之旅[N];網(wǎng)絡(luò)世界;2013年

5 本報記者 霍娜;政府?dāng)?shù)據(jù)開放要掂量[N];中國計(jì)算機(jī)報;2014年

6 ;多元技術(shù)擎起數(shù)據(jù)應(yīng)用新天空[N];網(wǎng)絡(luò)世界;2008年

7 《網(wǎng)絡(luò)世界》記者 高楊;大數(shù)據(jù)開啟智能生活[N];網(wǎng)絡(luò)世界;2013年

8 中國國防科技信息中心 陳豫 真溱 李法勇 曹寬增 湯珊紅 童欣 曾錚 蔡超 馬紅妹 趙睿濤;大數(shù)據(jù)影響科技信息工作未來的大背景[N];中國航空報;2012年

9 Paul F. Uhlir Peter Schroder;開放科技數(shù)據(jù)助力全球科研[N];計(jì)算機(jī)世界;2006年

10 郭濤;數(shù)據(jù)遷移 保證醫(yī)療數(shù)據(jù)安全可用[N];中國計(jì)算機(jī)報;2003年

相關(guān)博士學(xué)位論文 前3條

1 張新;區(qū)域性防災(zāi)減災(zāi)信息服務(wù)體系研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2006年

2 李智慧;基于可視化的三維放射治療計(jì)算機(jī)模擬系統(tǒng)的研究[D];四川大學(xué);2002年

3 袁培森;基于LSH的Web數(shù)據(jù)相似性查詢研究[D];復(fù)旦大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 鄧先明;基于西安市礦產(chǎn)資源規(guī)劃關(guān)系數(shù)據(jù)庫的數(shù)據(jù)質(zhì)量控制研究[D];長安大學(xué);2015年

2 宣冬琦;上海銀行的客戶關(guān)系管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

3 王文佳;基于普適環(huán)境的FP-growth算法研究[D];中國石油大學(xué)(華東);2014年

4 汪文祥;考古遺址發(fā)掘數(shù)據(jù)分析研究與應(yīng)用[D];浙江大學(xué);2016年

5 楊太萌;基于大數(shù)據(jù)的城市防汛決策支持系統(tǒng)研究[D];浙江大學(xué);2016年

6 魏麟鈞;大數(shù)據(jù)與偵查方法論之創(chuàng)新[D];江西財(cái)經(jīng)大學(xué);2015年

7 陸鵬;基于Neo4j的大數(shù)據(jù)組織檢索研究與應(yīng)用[D];東南大學(xué);2015年

8 張凱;數(shù)據(jù)挖掘技術(shù)在醫(yī)療費(fèi)用數(shù)據(jù)中的應(yīng)用研究[D];北京郵電大學(xué);2015年

9 霍美娜;基于Hadoop海量數(shù)據(jù)分析的反腐云計(jì)算設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

10 蘆倩;基于ArcGIS Engine的水文生態(tài)數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京林業(yè)大學(xué);2011年

，

本文編號：1328027