基于多核處理器的內存數據庫查詢執(zhí)行優(yōu)化研究
發(fā)布時間:2021-04-26 18:56
隨著信息技術的快速發(fā)展,各類數據呈爆炸式的增長,數據庫系統(tǒng)成為近年來計算機領域的熱點研究方向。目前對于數據庫系統(tǒng)的研究主要包括:查詢執(zhí)行、查詢優(yōu)化以及數據存儲。查詢執(zhí)行是數據庫系統(tǒng)的核心部分,包含各種數據庫的基本操作,有重要的研究意義。隨著半導體技術的發(fā)展,單核處理器的性能提升空間十分有限,多核處理器的快速發(fā)展,已經成為處理器市場的主流。除此之外,存儲器的容量也越來越大,價格越來越便宜,數據庫系統(tǒng)中全部數據或者大部分數據放入內存已成為可能。內存數據庫的興起,使研究人員將研究的重點放到了提升數據庫算法的運算效率以及提升內存存取效率上,而不再關注硬盤的存取效率。盡管近年來在多核內存數據庫查詢執(zhí)行優(yōu)化技術領域的研究不斷取得新的進展,但在利用多核處理器并行資源對一些數據庫基本操作進行優(yōu)化方面,存在有待提高和完善之處。結合目前數據庫查詢執(zhí)行領域的研究成果,針對一些數據庫基本操作存在的不足,本文利用多核處理器的并行資源對內存數據庫中哈希劃分算法、自適應索引算法、哈希連接算法進行了優(yōu)化,其主要工作概括如下:(1)本文總結了多核處理器中解決線程之間沖突的常用方法,這些方法包括:加鎖策略、獨立空間策略、...
【文章來源】:西安電子科技大學陜西省 211工程院校 教育部直屬院校
【文章頁數】:118 頁
【學位級別】:博士
【文章目錄】:
摘要
ABSTRACT
縮略語對照表
第一章 緒論
1.1 研究背景和意義
1.1.1 多核處理器的背景和發(fā)展前景
1.1.2 內存數據庫的背景
1.2 本文研究思路
1.3 相關研究現狀
1.3.1 劃分技術的研究現狀
1.3.2 并行排序技術的研究現狀
1.3.3 索引技術的研究現狀
1.3.4 哈希連接技術的研究現狀
1.4 主要工作和章節(jié)安排
1.4.1 論文主要工作
1.4.2 論文章節(jié)安排
第二章 基礎理論和相關技術
2.1 多核處理器的相關理論
2.2 并行計算相關理論
第三章 多核處理器中并行哈希劃分算法優(yōu)化研究
3.1 解決線程之間沖突的方法
3.2 并行哈希劃分算法優(yōu)化
3.2.1 軟件合并寫優(yōu)化
3.2.2 繞過緩存優(yōu)化
3.2.3 存儲結構優(yōu)化
3.2.4 多步劃分與負載均衡優(yōu)化
3.3 實驗結果與分析
3.3.1 實驗平臺與數據集
3.3.2 單步劃分實驗與分析
3.3.3 軟件合并寫優(yōu)化實驗結果與分析
3.3.4 繞過緩存優(yōu)化實驗結果與分析
3.3.5 多步劃分實驗結果與分析
3.3.6 數據傾斜實驗結果與分析
3.4 本章小結
第四章 多核處理器中自適應索引算法優(yōu)化研究
4.1 自適應索引算法
4.1.1 Database Cracking算法
4.1.2 提升算法收斂速度的優(yōu)化
4.1.3 提升算法魯棒性的優(yōu)化
4.1.4 本章實驗平臺與數據集
4.2 一種自適應選擇優(yōu)化策略的方法
4.2.1 劃分位置的影響
4.2.2 選擇率的影響
4.2.3 根據數據塊查詢次數改進Buffered-swapping Cracking算法
4.2.4 實驗結果與分析
4.3 多核并行Adaptive Merging算法
4.3.1 索引初始化
4.3.2 查詢語句執(zhí)行
4.3.3 實驗結果與分析
4.4 多核處理器中并行自適應索引算法優(yōu)化研究
4.4.1 多核并行Database Cracking算法
4.4.2 改進的Partition Merge算法
4.4.3 改進的多核并行自適應索引算法
4.4.4 實驗結果與分析
4.5 本章小結
第五章 基于多核MapReduce模型的并行哈希連接優(yōu)化
5.1 多核MapReduce計算模型
5.1.1 MapReduce計算模型
5.1.2 基于共享內存的多核MapReduce模型
5.2 基于多核MapReduce模型的并行哈希連接
5.2.1 哈希連接
5.2.2 基于多核MapReduce模型的非劃分哈希連接
5.2.3 基于多核MapReduce模型的劃分哈希連接
5.3 一種改進的Cuckoo哈希表
5.3.1 Cuckoo哈希表
5.3.2 改進的Cuckoo哈希表
5.3.3 并發(fā)控制
5.3.4 優(yōu)化策略
5.3.5 實驗結果與分析
5.4 哈希連接的相關優(yōu)化
5.4.1 SIMD指令的使用
5.4.2 利用MapReduce模型優(yōu)化多步劃分
5.4.3 負載均衡優(yōu)化
5.5 實驗結果與分析
5.5.1 實驗數據集
5.5.2 非劃分哈希連接實驗結果及分析
5.5.3 劃分哈希連接實驗結果及分析
5.5.4 劃分數量的影響及分析
5.5.5 不同數據集的影響及分析
5.5.6 不同傾斜度的影響及分析
5.6 本章小結
第六章 總結與展望
6.1 論文工作總結
6.2 未來研究展望
參考文獻
致謝
作者簡介
【參考文獻】:
期刊論文
[1]MapReduce并行編程模型研究綜述[J]. 李建江,崔健,王聃,嚴林,黃義雙. 電子學報. 2011(11)
[2]列存儲數據庫關鍵技術綜述[J]. 李超,張明博,邢春曉,胡勁松. 計算機科學. 2010(12)
[3]基于現代通用處理器的數據庫優(yōu)化綜述[J]. 鄧亞丹,景寧,熊偉. 計算機科學. 2009(08)
[4]云計算:系統(tǒng)實例與研究現狀[J]. 陳康,鄭緯民. 軟件學報. 2009(05)
[5]內存數據庫關鍵技術研究[J]. 王珊,肖艷芹,劉大為,覃雄派. 計算機應用. 2007(10)
[6]基于語義和邏輯的分布查詢優(yōu)化[J]. 石樹剛,鄭振楣,袁明. 計算機研究與發(fā)展. 1991(11)
博士論文
[1]基于GPU的內存數據庫索引技術研究[D]. 劉勇.華南理工大學 2013
[2]面向共享Cache多核處理器的數據庫查詢執(zhí)行優(yōu)化技術研究[D]. 鄧亞丹.國防科學技術大學 2009
本文編號:3161939
【文章來源】:西安電子科技大學陜西省 211工程院校 教育部直屬院校
【文章頁數】:118 頁
【學位級別】:博士
【文章目錄】:
摘要
ABSTRACT
縮略語對照表
第一章 緒論
1.1 研究背景和意義
1.1.1 多核處理器的背景和發(fā)展前景
1.1.2 內存數據庫的背景
1.2 本文研究思路
1.3 相關研究現狀
1.3.1 劃分技術的研究現狀
1.3.2 并行排序技術的研究現狀
1.3.3 索引技術的研究現狀
1.3.4 哈希連接技術的研究現狀
1.4 主要工作和章節(jié)安排
1.4.1 論文主要工作
1.4.2 論文章節(jié)安排
第二章 基礎理論和相關技術
2.1 多核處理器的相關理論
2.2 并行計算相關理論
第三章 多核處理器中并行哈希劃分算法優(yōu)化研究
3.1 解決線程之間沖突的方法
3.2 并行哈希劃分算法優(yōu)化
3.2.1 軟件合并寫優(yōu)化
3.2.2 繞過緩存優(yōu)化
3.2.3 存儲結構優(yōu)化
3.2.4 多步劃分與負載均衡優(yōu)化
3.3 實驗結果與分析
3.3.1 實驗平臺與數據集
3.3.2 單步劃分實驗與分析
3.3.3 軟件合并寫優(yōu)化實驗結果與分析
3.3.4 繞過緩存優(yōu)化實驗結果與分析
3.3.5 多步劃分實驗結果與分析
3.3.6 數據傾斜實驗結果與分析
3.4 本章小結
第四章 多核處理器中自適應索引算法優(yōu)化研究
4.1 自適應索引算法
4.1.1 Database Cracking算法
4.1.2 提升算法收斂速度的優(yōu)化
4.1.3 提升算法魯棒性的優(yōu)化
4.1.4 本章實驗平臺與數據集
4.2 一種自適應選擇優(yōu)化策略的方法
4.2.1 劃分位置的影響
4.2.2 選擇率的影響
4.2.3 根據數據塊查詢次數改進Buffered-swapping Cracking算法
4.2.4 實驗結果與分析
4.3 多核并行Adaptive Merging算法
4.3.1 索引初始化
4.3.2 查詢語句執(zhí)行
4.3.3 實驗結果與分析
4.4 多核處理器中并行自適應索引算法優(yōu)化研究
4.4.1 多核并行Database Cracking算法
4.4.2 改進的Partition Merge算法
4.4.3 改進的多核并行自適應索引算法
4.4.4 實驗結果與分析
4.5 本章小結
第五章 基于多核MapReduce模型的并行哈希連接優(yōu)化
5.1 多核MapReduce計算模型
5.1.1 MapReduce計算模型
5.1.2 基于共享內存的多核MapReduce模型
5.2 基于多核MapReduce模型的并行哈希連接
5.2.1 哈希連接
5.2.2 基于多核MapReduce模型的非劃分哈希連接
5.2.3 基于多核MapReduce模型的劃分哈希連接
5.3 一種改進的Cuckoo哈希表
5.3.1 Cuckoo哈希表
5.3.2 改進的Cuckoo哈希表
5.3.3 并發(fā)控制
5.3.4 優(yōu)化策略
5.3.5 實驗結果與分析
5.4 哈希連接的相關優(yōu)化
5.4.1 SIMD指令的使用
5.4.2 利用MapReduce模型優(yōu)化多步劃分
5.4.3 負載均衡優(yōu)化
5.5 實驗結果與分析
5.5.1 實驗數據集
5.5.2 非劃分哈希連接實驗結果及分析
5.5.3 劃分哈希連接實驗結果及分析
5.5.4 劃分數量的影響及分析
5.5.5 不同數據集的影響及分析
5.5.6 不同傾斜度的影響及分析
5.6 本章小結
第六章 總結與展望
6.1 論文工作總結
6.2 未來研究展望
參考文獻
致謝
作者簡介
【參考文獻】:
期刊論文
[1]MapReduce并行編程模型研究綜述[J]. 李建江,崔健,王聃,嚴林,黃義雙. 電子學報. 2011(11)
[2]列存儲數據庫關鍵技術綜述[J]. 李超,張明博,邢春曉,胡勁松. 計算機科學. 2010(12)
[3]基于現代通用處理器的數據庫優(yōu)化綜述[J]. 鄧亞丹,景寧,熊偉. 計算機科學. 2009(08)
[4]云計算:系統(tǒng)實例與研究現狀[J]. 陳康,鄭緯民. 軟件學報. 2009(05)
[5]內存數據庫關鍵技術研究[J]. 王珊,肖艷芹,劉大為,覃雄派. 計算機應用. 2007(10)
[6]基于語義和邏輯的分布查詢優(yōu)化[J]. 石樹剛,鄭振楣,袁明. 計算機研究與發(fā)展. 1991(11)
博士論文
[1]基于GPU的內存數據庫索引技術研究[D]. 劉勇.華南理工大學 2013
[2]面向共享Cache多核處理器的數據庫查詢執(zhí)行優(yōu)化技術研究[D]. 鄧亞丹.國防科學技術大學 2009
本文編號:3161939
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3161939.html