本文關(guān)鍵詞：分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)的查詢處理與優(yōu)化，，由筆耕文化傳播整理發(fā)布。

【摘要】：回顧數(shù)據(jù)庫系統(tǒng)在過去四十余年的發(fā)展歷史可以發(fā)現(xiàn),數(shù)據(jù)庫系統(tǒng)的演變總是被實(shí)際應(yīng)用中不斷增長的數(shù)據(jù)存儲和數(shù)據(jù)操縱需求所驅(qū)動,而數(shù)據(jù)庫系統(tǒng)架構(gòu)的革新總是受到不斷發(fā)展和進(jìn)步的計(jì)算機(jī)硬件的巨大影響。如今,智能網(wǎng)絡(luò)、智能交通等實(shí)際應(yīng)用無時無刻不在收集著大量的數(shù)據(jù),并向數(shù)據(jù)庫系統(tǒng)尋求幫助,以對這些海量數(shù)據(jù)進(jìn)行實(shí)時分析。傳統(tǒng)的磁盤數(shù)據(jù)庫系統(tǒng)主要由于受限于緩慢的磁盤I/O,不能在大規(guī)模數(shù)據(jù)上實(shí)現(xiàn)有效的實(shí)時數(shù)據(jù)分析。近年來,伴隨著硬件制造技術(shù)的發(fā)展,擁有大容量內(nèi)存和強(qiáng)大多處理器的服務(wù)器價格不斷降低,對于很多實(shí)際應(yīng)用而言,無論是從技術(shù)的角度還是從經(jīng)濟(jì)的角度,都可以考慮將數(shù)據(jù)裝載到內(nèi)存之中,以大幅度地提升數(shù)據(jù)查詢性能。因此,在過去的十年中,全球涌現(xiàn)出MonetDb, Vectorwise, SAP HANA, HyPer等許多內(nèi)存數(shù)據(jù)庫系統(tǒng),內(nèi)存數(shù)據(jù)處理也迅速成為學(xué)術(shù)界的研究熱點(diǎn)。盡管大量的研究工作都致力于提高集中式內(nèi)存數(shù)據(jù)庫系統(tǒng)的性能,但不容忽視的問題是：集中式內(nèi)存數(shù)據(jù)庫的性能受限于單臺計(jì)算機(jī)有限的內(nèi)存容量和處理器個數(shù),難以滿足日益增長的數(shù)據(jù)分析需求。與集中式內(nèi)存數(shù)據(jù)庫相比,分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)運(yùn)行在享有豐富內(nèi)存空間和計(jì)算資源的集群之上,具有在大規(guī)模數(shù)據(jù)上進(jìn)行實(shí)時分析的潛力。但與此同時,由于分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)所運(yùn)行的硬件環(huán)境與傳統(tǒng)的數(shù)據(jù)庫有本質(zhì)區(qū)別,傳統(tǒng)數(shù)據(jù)庫技術(shù)并不能充分發(fā)揮集群中的硬件優(yōu)勢,導(dǎo)致低于預(yù)期的性能表現(xiàn)。因此,本文致力于研究分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)中的查詢處理技術(shù),旨在通過充分利用集群中的各種硬件資源來提高分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)的查詢性能。本文的主要工作和主要貢獻(xiàn)概括如下：1.通過對分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)中查詢處理性能的理論分析,指出了系統(tǒng)的性能瓶頸,明確了本文的優(yōu)化策略。本文通過理論分析得到了查詢代價模型,該模型指出分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)中查詢處理的性能瓶頸具有多樣性和多變性。進(jìn)一步講,某個查詢的性能瓶頸既可能是節(jié)點(diǎn)之間的網(wǎng)絡(luò)數(shù)據(jù)通信,也可能是某個節(jié)點(diǎn)上的內(nèi)存數(shù)據(jù)處理,還可能是節(jié)點(diǎn)之間不均衡的計(jì)算資源分配。查詢處理的性能瓶頸取決于節(jié)點(diǎn)的負(fù)載情況,受到數(shù)據(jù)分布、硬件特征和算法實(shí)現(xiàn)等諸多因素的影響。受到上述結(jié)論啟發(fā),我們通過降低網(wǎng)絡(luò)數(shù)據(jù)傳輸代價、提高單機(jī)內(nèi)存數(shù)據(jù)處理性能和優(yōu)化計(jì)算資源分配這三部分工作來提升分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)的查詢處理性能。2.分別對查詢編譯和查詢執(zhí)行進(jìn)行了優(yōu)化,有效地降低了查詢處理過程中的網(wǎng)絡(luò)數(shù)據(jù)傳輸代價。相對較慢的網(wǎng)路數(shù)據(jù)傳輸和高效的內(nèi)存數(shù)據(jù)處理之間巨大的性能差距導(dǎo)致網(wǎng)絡(luò)數(shù)據(jù)傳輸成為分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)中主要的性能瓶頸。為解決這一問題,我們提出了MNDT算法。該算法在將邏輯查詢計(jì)劃轉(zhuǎn)化為物理查詢計(jì)劃的過程中,盡可能地降低所生成的物理查詢計(jì)劃的網(wǎng)絡(luò)數(shù)據(jù)傳輸量。此外,我們還設(shè)計(jì)一種新穎的數(shù)據(jù)交換算子,實(shí)現(xiàn)了節(jié)點(diǎn)之間高性能、可擴(kuò)展、負(fù)載均衡的網(wǎng)絡(luò)數(shù)據(jù)傳輸,進(jìn)一步降低了查詢過程中的網(wǎng)絡(luò)數(shù)據(jù)傳輸代價。3.探討了在新硬件架構(gòu)下進(jìn)行內(nèi)存數(shù)據(jù)查詢處理的主要性能瓶頸,并提出了NUMA感知的聚集算法。本文探討內(nèi)存數(shù)據(jù)處理中的性能瓶頸以及相應(yīng)的解決策略,并對內(nèi)存聚集運(yùn)算進(jìn)行了實(shí)例分析。經(jīng)過深入的分析,我們發(fā)現(xiàn)Cache容量失效、Cache一致性失效和加鎖代價是限制內(nèi)存聚集運(yùn)算性能的主要因素。因此,本文提出了NUMA感知的高性能、可擴(kuò)展的聚集運(yùn)算算法。該算法首先在遵循NUMA處理器硬件特性的前提下,將輸入數(shù)據(jù)劃分為若干個分區(qū),以提高數(shù)據(jù)的局部性；然后通過巧妙的調(diào)度策略來進(jìn)行聚集運(yùn)算,有效避免了Cache一致性失效并大幅度降低了加鎖開銷。4.提出了彈性流水線框架,解決了分布式查詢計(jì)算中的計(jì)算資源分配問題。在分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)中,查詢處理過程中計(jì)算資源分配是否合理,在最小化查詢響應(yīng)時間、提高硬件資源的利用率中起到至關(guān)重要的作用。然而,由于每個節(jié)點(diǎn)在查詢過程中的負(fù)載情況難以預(yù)測且波動幅度很大,以及傳統(tǒng)的迭代器模型中并行度不可動態(tài)調(diào)整的本質(zhì),采用傳統(tǒng)的迭代器模型難以實(shí)現(xiàn)最優(yōu)的并行度分配。為了解決這一問題,本文提出了彈性流水線技術(shù),該技術(shù)包含彈性迭代器模型和動態(tài)調(diào)度器。彈性迭代器模型是對傳統(tǒng)迭代器模型的升級,添加了動態(tài)多核執(zhí)行的特性。動態(tài)調(diào)度器在查詢處理過程中實(shí)時監(jiān)督各個節(jié)點(diǎn)的負(fù)載情況,并對并行度進(jìn)行動態(tài)的調(diào)整,以實(shí)現(xiàn)負(fù)載均衡和硬件資源利用率的最大化。彈性流水線框架的意義在于,它賦予執(zhí)行引擎對查詢處理的并行度進(jìn)行動態(tài)調(diào)整的能力,實(shí)現(xiàn)并行度與查詢編譯的隔離,避免查詢編譯時由信息缺失和不充分所引起的不恰當(dāng)?shù)牟⑿卸确峙�。綜上所述,本文對分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)中查詢處理的性能瓶頸進(jìn)行了系統(tǒng)的分析,并從系統(tǒng)架構(gòu)、算法和系統(tǒng)實(shí)現(xiàn)的角度上探討了系統(tǒng)的各種優(yōu)化策略。本文的研究工作是建立在對已有理論、技術(shù)和方法詳盡的調(diào)研之上而完成的。通過在標(biāo)準(zhǔn)測試集和真實(shí)數(shù)據(jù)集上大量的實(shí)驗(yàn),我們驗(yàn)證了提出方法和框架的正確性和有效性。
【關(guān)鍵詞】：分布式內(nèi)存數(shù)據(jù)庫系統(tǒng) 查詢處理 查詢優(yōu)化 調(diào)度 NUMA架構(gòu)
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP311.13
【目錄】：

• 摘要6-8
• ABSTRACT8-16
• 第一章 引言16-22
• 1.1 研究背景16-18
• 1.1.1 數(shù)據(jù)分析需求劇增16
• 1.1.2 計(jì)算機(jī)硬件的發(fā)展16-17
• 1.1.3 分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)17-18
• 1.2 研究內(nèi)容和面臨的挑戰(zhàn)18-19
• 1.3 本文的主要貢獻(xiàn)19-20
• 1.4 章節(jié)安排20-22
• 第二章 背景知識及研究現(xiàn)狀22-46
• 2.1 硬件特性22-26
• 2.1.1 存儲介質(zhì)的層次22-23
• 2.1.2 處理器23-25
• 2.1.3 網(wǎng)絡(luò)設(shè)備25-26
• 2.2 系統(tǒng)概述26-29
• 2.2.1 硬件環(huán)境26-27
• 2.2.2 系統(tǒng)架構(gòu)27-29
• 2.2.3 系統(tǒng)假設(shè)及限制29
• 2.3 查詢處理性能分析29-38
• 2.3.1 查詢計(jì)劃29-35
• 2.3.2 查詢代價模型35-37
• 2.3.3 本文的優(yōu)化策略37-38
• 2.4 相關(guān)工作38-44
• 2.4.1 內(nèi)存查詢處理技術(shù)38-42
• 2.4.2 分布式查詢處理技術(shù)42-44
• 2.5 本章小結(jié)44-46
• 第三章 網(wǎng)絡(luò)數(shù)據(jù)傳輸優(yōu)化46-64
• 3.1 查詢編譯階段優(yōu)化46-51
• 3.1.1 問題定義46
• 3.1.2 數(shù)據(jù)流及物理計(jì)劃生成46-48
• 3.1.3 最小網(wǎng)絡(luò)數(shù)據(jù)傳輸量算法48-51
• 3.2 數(shù)據(jù)交換算子優(yōu)化51-57
• 3.2.1 問題定義51-52
• 3.2.2 流水線式的數(shù)據(jù)傳輸52-53
• 3.2.3 使用發(fā)送緩沖53-54
• 3.2.4 主動發(fā)送數(shù)據(jù)54
• 3.2.5 發(fā)送緩沖區(qū)多樣化策略54-55
• 3.2.6 合并算子狀態(tài)感知55-56
• 3.2.7 負(fù)載均衡策略56-57
• 3.3 實(shí)驗(yàn)及分析57-62
• 3.3.1 實(shí)驗(yàn)環(huán)境57-58
• 3.3.2 實(shí)驗(yàn)結(jié)果及分析58-62
• 3.4 本章小結(jié)62-64
• 第四章 內(nèi)存查詢處理優(yōu)化64-96
• 4.1 問題定義64
• 4.2 性能瓶頸分析64-71
• 4.2.1 Cache利用率64-68
• 4.2.2 代碼執(zhí)行效率68-70
• 4.2.3 多核可擴(kuò)展性70-71
• 4.3 聚集算子優(yōu)化71-84
• 4.3.1 問題定義71
• 4.3.2 在新硬件架構(gòu)下的性能瓶頸71-75
• 4.3.3 NUMA感知的基數(shù)劃分75-79
• 4.3.4 高效的聚集算法79-82
• 4.3.5 理論分析82-84
• 4.4 實(shí)驗(yàn)與分析84-94
• 4.4.1 實(shí)驗(yàn)環(huán)境84-85
• 4.4.2 實(shí)驗(yàn)結(jié)果與分析85-94
• 4.5 本章小結(jié)94-96
• 第五章 并行度調(diào)度96-126
• 5.1 問題描述96-98
• 5.2 框架概述98-101
• 5.2.1 期望的系統(tǒng)特性99
• 5.2.2 相關(guān)工作99-100
• 5.2.3 彈性流水線100-101
• 5.3 彈性迭代器模型101-107
• 5.3.1 設(shè)計(jì)理念101-102
• 5.3.2 彈性算子102-105
• 5.3.3 實(shí)現(xiàn)策略105-106
• 5.3.4 性能提高106-107
• 5.4 并行度的動態(tài)調(diào)整107-113
• 5.4.1 執(zhí)行分片分類108-110
• 5.4.2 并行度分配優(yōu)化110-113
• 5.4.3 吞吐量預(yù)測113
• 5.5 實(shí)驗(yàn)與分析113-123
• 5.5.1 實(shí)驗(yàn)環(huán)境113-115
• 5.5.2 實(shí)驗(yàn)結(jié)果與分析115-123
• 5.6 本章小結(jié)123-126
• 第六章 總結(jié)與展望126-130
• 參考文獻(xiàn)130-136
• 攻讀博士學(xué)位期間發(fā)表論文136-138
• 致謝138

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄭麗莉;分析與優(yōu)化基于網(wǎng)絡(luò)的數(shù)據(jù)庫系統(tǒng)[J];中國科技信息;2005年13期

2 唐守軍;;基于數(shù)值統(tǒng)計(jì)方法進(jìn)行數(shù)據(jù)庫系統(tǒng)性能調(diào)優(yōu)[J];中山大學(xué)學(xué)報(bào)論叢;2007年01期

3 ;具有國際先進(jìn)水平的“專家數(shù)據(jù)庫系統(tǒng)”研制成功[J];中國科技產(chǎn)業(yè);1994年02期

4 馮繼民;數(shù)據(jù)庫系統(tǒng)發(fā)展的分類與現(xiàn)存的問題[J];管理科學(xué)文摘;1995年08期

5 李雄飛，趙永哲，張燕伶，殷巍;數(shù)據(jù)庫系統(tǒng)與高級語言通訊[J];計(jì)算機(jī)應(yīng)用研究;1996年03期

6 項(xiàng)永兵;利用數(shù)據(jù)庫系統(tǒng)軟件處理日期型數(shù)據(jù)的技巧[J];中國衛(wèi)生統(tǒng)計(jì);1996年01期

7 鄭士貴;數(shù)據(jù)庫系統(tǒng)的選擇問題[J];管理科學(xué)文摘;1997年08期

8 黃傳峰,張蕾,韓建坤;數(shù)據(jù)庫系統(tǒng)的安全[J];棗莊師專學(xué)報(bào);1997年03期

9 鐘曉班;數(shù)據(jù)臺:簡化的數(shù)據(jù)庫系統(tǒng)[J];管理科學(xué)文摘;1998年10期

10 夏忠實(shí);數(shù)據(jù)庫系統(tǒng)解決2000年問題的四種方法[J];農(nóng)村電氣化;1999年10期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 萬智俊;杜凱;楊樹強(qiáng);王懷民;;海量數(shù)據(jù)庫系統(tǒng)中快速恢復(fù)機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報(bào)告篇）[C];2006年

2 應(yīng)顯勛;郭萍;劉平;;裁剪功能在“9210”數(shù)據(jù)庫系統(tǒng)中的作用[A];數(shù)據(jù)庫技術(shù)在氣象領(lǐng)域的應(yīng)用學(xué)術(shù)會議論文集[C];2001年

3 孫向軍;范宏偉;劉凱龍;;目標(biāo)背景數(shù)據(jù)庫系統(tǒng)的應(yīng)用研究[A];2007系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2007年

4 黃小兵;陳鋒;胡光強(qiáng);康寧;段舉;劉東菊;洪星;李濤;肖宇翔;秦海鷗;王晶;劉松;董偉;楊煥明;;1%人類基因組數(shù)據(jù)庫系統(tǒng)[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2002年

5 王堅(jiān)強(qiáng);趙柴厚;;C／S環(huán)境下數(shù)據(jù)庫系統(tǒng)的安全管理[A];第七屆計(jì)算機(jī)模擬與信息技術(shù)學(xué)術(shù)會議論文集[C];1999年

6 趙莉莉;王引斌;;淺談數(shù)據(jù)庫系統(tǒng)的發(fā)展[A];山西省科技情報(bào)學(xué)會2004年學(xué)術(shù)年會論文集[C];2005年

7 謝微;朱福成;黃迎;沈天翔;姚建華;;化學(xué)數(shù)據(jù)庫系統(tǒng)構(gòu)建[A];中國化學(xué)會第26屆學(xué)術(shù)年會化學(xué)信息學(xué)與化學(xué)計(jì)量學(xué)分會場論文集[C];2008年

8 張平;;“數(shù)據(jù)庫系統(tǒng)課程設(shè)計(jì)”教學(xué)改革研究[A];中國電子教育學(xué)會高教分會2010年論文集[C];2010年

9 馬智亮;曹秋良;山田健太郎;;鋼橋焊接節(jié)點(diǎn)疲勞試驗(yàn)數(shù)據(jù)庫系統(tǒng)的研制[A];中國土木工程學(xué)會計(jì)算機(jī)應(yīng)用學(xué)會第六屆年會土木工程計(jì)算機(jī)應(yīng)用文集[C];1995年

10 劉玲玲;;集成式數(shù)據(jù)庫系統(tǒng)在土地資源管理中的應(yīng)用[A];2006年中國土地學(xué)會學(xué)術(shù)年會論文集[C];2006年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 田麗麗;“979”對國內(nèi)數(shù)據(jù)庫系統(tǒng)提出新要求[N];中國圖書商報(bào);2007年

2 ;淺談數(shù)據(jù)庫系統(tǒng)[N];電腦報(bào);2004年

3 曲德輝;中期協(xié)行業(yè)信息數(shù)據(jù)庫系統(tǒng)管理規(guī)則征求意見[N];期貨日報(bào);2007年

4 本報(bào)記者楊永彥;貴州宏觀數(shù)據(jù)庫系統(tǒng)初步測試受肯定[N];中國信息報(bào);2009年

5 特約通訊員 程永亮 陳超;數(shù)據(jù)庫,讓政工指揮如虎添翼[N];解放軍報(bào);2011年

6 王世雷　劉兵;我市氣象資料數(shù)據(jù)庫系統(tǒng)投入使用[N];張家界日報(bào);2008年

7 郭炎;加快開發(fā)戰(zhàn)場數(shù)據(jù)庫系統(tǒng)[N];解放軍報(bào);2008年

8 柳閻;英信息系統(tǒng)合法性再引爭議[N];法制日報(bào);2009年

9 實(shí)習(xí)生 趙靜邋記者 黃雪英;自貢館藏文物數(shù)據(jù)庫系統(tǒng)建立[N];自貢日報(bào);2008年

10 記者 楊洋;陜西省應(yīng)急商品數(shù)據(jù)庫系統(tǒng)考核連續(xù)8個月保持第一[N];現(xiàn)代物流報(bào);2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 王立;分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)的查詢處理與優(yōu)化[D];華東師范大學(xué);2015年

2 胡天磊;自治數(shù)據(jù)庫系統(tǒng)的理論與方法研究[D];浙江大學(xué);2006年

3 崔賓閣;安全數(shù)據(jù)庫系統(tǒng)隱通道分析及相關(guān)技術(shù)研究[D];哈爾濱工程大學(xué);2006年

4 陳建英;基于數(shù)字有機(jī)體數(shù)據(jù)庫系統(tǒng)的搜索定位研究[D];電子科技大學(xué);2011年

5 陳沖;超細(xì)群核數(shù)據(jù)庫系統(tǒng)的開發(fā)及應(yīng)用研究[D];中國科學(xué)技術(shù)大學(xué);2014年

6 盧科;閃存數(shù)據(jù)庫系統(tǒng)存儲管理及可裁剪性研究[D];中國科學(xué)技術(shù)大學(xué);2012年

7 解季萍;基于Web的稀土化合物數(shù)據(jù)庫系統(tǒng)研究和開發(fā)[D];昆明理工大學(xué);2007年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李英杰;安徽省農(nóng)業(yè)環(huán)保數(shù)據(jù)庫系統(tǒng)建立[D];安徽農(nóng)業(yè)大學(xué);2010年

2 陳靜;支持協(xié)同設(shè)計(jì)的工程數(shù)據(jù)庫系統(tǒng)研究[D];西南交通大學(xué);2002年

3 于常輝;事務(wù)級攻擊隔離數(shù)據(jù)庫系統(tǒng)的方案設(shè)計(jì)[D];山東大學(xué);2006年

4 馮永忠;西北地區(qū)農(nóng)業(yè)、資源、環(huán)境、生態(tài)數(shù)據(jù)庫系統(tǒng)[D];西北農(nóng)林科技大學(xué);2003年

5 鄭雄文;磨削加工智能化數(shù)據(jù)庫系統(tǒng)的研究[D];廈門大學(xué);2009年

6 布文峰;通訊企業(yè)大型數(shù)據(jù)庫系統(tǒng)的構(gòu)建[D];北京郵電大學(xué);2012年

7 王逍;數(shù)據(jù)庫系統(tǒng)對實(shí)際管理應(yīng)用的研究[D];吉林大學(xué);2013年

8 SOMSACK SENGSOUK（宋賽）;瑯勃拉邦省衛(wèi)生部食品藥品部門檢查數(shù)據(jù)庫系統(tǒng)[D];昆明理工大學(xué);2013年

9 張小雪;昆明市宏觀經(jīng)濟(jì)綜合統(tǒng)計(jì)數(shù)據(jù)庫系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2013年

10 孫雷;重型切削數(shù)據(jù)庫系統(tǒng)的研究[D];哈爾濱理工大學(xué);2014年

  本文關(guān)鍵詞：分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)的查詢處理與優(yōu)化，由筆耕文化傳播整理發(fā)布。

本文編號：282695