發(fā)布時間：2022-01-15 05:13

　　隨著社會經(jīng)濟文化的高速發(fā)展,數(shù)據(jù)分析處理技術(shù)越來越重要。然而在數(shù)據(jù)量極劇增長的今天,傳統(tǒng)數(shù)據(jù)庫在分析速度、可拓展性上顯得愈發(fā)力不從心,隨著內(nèi)存價格的降低以及分布式系統(tǒng)理論的完善,分布式內(nèi)存數(shù)據(jù)庫應(yīng)運而生。在突破磁盤IO性能瓶頸及傳統(tǒng)行式數(shù)據(jù)存儲模型后,分布式內(nèi)存數(shù)據(jù)庫在海量數(shù)據(jù)處理方面取得巨大的進步。然而分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)仍然存在著三個問題,一是在計算節(jié)點到數(shù)據(jù)存儲節(jié)點的數(shù)據(jù)傳輸過程中網(wǎng)絡(luò)開銷過大。二是存儲系統(tǒng)在數(shù)據(jù)查詢過程中,需要承擔(dān)數(shù)據(jù)預(yù)篩選任務(wù),而CPU計算并行度不高,計算速度慢,無法對海量數(shù)據(jù)進行快速篩選。三是由于分布式數(shù)據(jù)存儲節(jié)點容易出現(xiàn)數(shù)據(jù)熱點問題,需要及時對存儲系統(tǒng)進行負(fù)載均衡。針對這些問題,本文在實驗室現(xiàn)有分布式數(shù)據(jù)庫Goldfish的基礎(chǔ)上,采用RDMA網(wǎng)絡(luò)技術(shù)、GPU加速技術(shù)構(gòu)建基于內(nèi)存的分布式存儲系統(tǒng)以提高整體數(shù)據(jù)庫的查詢效率,并對系統(tǒng)負(fù)載均衡進行了研究。本文主要完成了以下幾個方面的工作:1)針對分布式內(nèi)存數(shù)據(jù)庫網(wǎng)絡(luò)IO的瓶頸問題,深入分析現(xiàn)有的TCP/IP和Infiniband網(wǎng)絡(luò)架構(gòu),構(gòu)建了一套基于RDMA的網(wǎng)絡(luò)通信框架。同時針對RDMA網(wǎng)絡(luò)硬件覆蓋率較低的... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：107 頁

【學(xué)位級別】：碩士

【部分圖文】：

SAPHANA系統(tǒng)架構(gòu)

第二章相關(guān)技術(shù)及理論基礎(chǔ)19HiveHive是由facebook實現(xiàn)的數(shù)據(jù)倉庫解決方案，構(gòu)建在Hadoop基礎(chǔ)上，將存儲在HDFS中的數(shù)據(jù)文件組織成傳統(tǒng)數(shù)據(jù)庫的方式。Hive的架構(gòu)如圖2-12所示，主要由五個構(gòu)件組成。驅(qū)動模塊負(fù)則一條HiveQL在整個系統(tǒng)中執(zhí)行的生命周期管理；查詢編譯器負(fù)責(zé)生成任務(wù)執(zhí)行的DAG圖，即將HiveQL語句通過編譯轉(zhuǎn)化為MapReduce任務(wù)的執(zhí)行計劃；元數(shù)據(jù)管理模塊負(fù)責(zé)存儲整個系統(tǒng)中數(shù)據(jù)表相關(guān)的元數(shù)據(jù)信息，例如表名、列名、分區(qū)屬性等信息；執(zhí)行引擎根據(jù)編譯器生成的DAG計劃中的任務(wù)節(jié)點依次來執(zhí)行MapReduce任務(wù)，完成整個HiveQL語句的執(zhí)行。Hive服務(wù)器負(fù)責(zé)向外提供服務(wù)，提供了三種訪問接口：thrift、JDBC、ODBC。圖2-12Hive系統(tǒng)架構(gòu)圖Hive的查詢流程如圖2-13所示。首先客戶端與Hive服務(wù)器建立連接，并發(fā)起查詢請求。驅(qū)動層將HiveQL語句交給查詢編譯器，并通過元數(shù)據(jù)信息進行類型語義分析后生成邏輯計劃，然后使用基于規(guī)則的優(yōu)化器對其進行物理優(yōu)化，生成物理執(zhí)行計劃。由執(zhí)行層來負(fù)責(zé)按照DAG執(zhí)行數(shù)據(jù)處理任務(wù)。

第二章相關(guān)技術(shù)及理論基礎(chǔ)21在新的數(shù)據(jù)輸入過程中，SAPHANA需要對三種數(shù)據(jù)結(jié)構(gòu)進行合并。當(dāng)全局壓縮字典中不包含新數(shù)據(jù)時，就需要對壓縮字典進行重構(gòu)，并更新存儲數(shù)據(jù)的下標(biāo)。當(dāng)數(shù)據(jù)過多時，將會導(dǎo)致數(shù)據(jù)字典頻繁被重構(gòu)，致使系統(tǒng)性能下降。PolarDB本節(jié)將對現(xiàn)有基于RDMA網(wǎng)絡(luò)的分布式數(shù)據(jù)庫PolarDB進行介紹：PolarDB是阿里云數(shù)據(jù)庫團隊開發(fā)的一個分布式數(shù)據(jù)庫系統(tǒng)，PolarDB的設(shè)計遵循以下四個原則：1、存儲計算分離，2、基于RDMA的零拷貝策略，3、parellelraft，支持亂序提交。4、大量使用新硬件。PolarDB中RDMA分布式數(shù)據(jù)庫采用解耦合的共享存儲，通過RDMA網(wǎng)絡(luò)形成分布式共享存儲，可以實現(xiàn)一寫多讀共享存儲的模式。圖2-14PolarDB數(shù)據(jù)庫系統(tǒng)架構(gòu)圖上圖2-14展示了polarDB數(shù)據(jù)庫系統(tǒng)的整體架構(gòu)圖，PolarDB將計算和存儲分為兩層。在計算層中，有多個計算節(jié)點構(gòu)成非對等一個計算集群，由一個主計算節(jié)點來負(fù)責(zé)讀寫操作，而其他從節(jié)點為只讀節(jié)點，只負(fù)責(zé)處理讀請求。在下次存儲節(jié)點中，所有數(shù)據(jù)存儲節(jié)點通過改進的raft協(xié)議[27]來維護數(shù)據(jù)的一致性。在計算層與存儲層之間，polarDB使用RDMA網(wǎng)絡(luò)進行連接，保證為計算節(jié)點提供低延遲，高吞吐的數(shù)據(jù)服務(wù)。

【參考文獻】：
期刊論文
[1]改進的Raft一致性算法及其研究[J]. 陳陸,黃樹成,徐克輝.  江蘇科技大學(xué)學(xué)報(自然科學(xué)版). 2018(04)
[2]一種基于哈希索引的內(nèi)存表模型[J]. 楊燕明,魯志軍,陳煜,孫權(quán),楊宏斌.  計算機應(yīng)用與軟件. 2012(01)
[3]基于EPOLL的單進程事件驅(qū)動通信服務(wù)器設(shè)計與分析[J]. 段翰聰,盧顯良,宋杰.  計算機應(yīng)用. 2004(10)



本文編號：3589969