在數(shù)據(jù)庫系統(tǒng)的設(shè)計中,數(shù)據(jù)表的存儲結(jié)構(gòu)在理論上決定了數(shù)據(jù)訪問過程的復(fù)雜度,因此對數(shù)據(jù)表存儲結(jié)構(gòu)的選擇是由系統(tǒng)所面向的工作負載決定的。如對于高寫入負載,基于LSM存儲結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)較傳統(tǒng)數(shù)據(jù)庫有更強的性能表現(xiàn),而對于分析型負載,基于列式存儲的數(shù)據(jù)庫系統(tǒng)可以在更短時間完成大型查詢。但是在混合負載中,數(shù)據(jù)表的不同水平分區(qū)上需要處理的負載不同,并且同一分區(qū)上需要處理的負載可能發(fā)生變化,這也導(dǎo)致了不同數(shù)據(jù)表分區(qū)下的最優(yōu)存儲結(jié)構(gòu)在持續(xù)變化。過去使用靜態(tài)存儲結(jié)構(gòu)或者由人工方法調(diào)整存儲結(jié)構(gòu)的方法不能夠?qū)崿F(xiàn)對存儲結(jié)構(gòu)的充分使用,因此本文提出了一個基于學(xué)習(xí)代價的存儲結(jié)構(gòu)自動選擇系統(tǒng)。該系統(tǒng)解決了對多引擎數(shù)據(jù)庫下存儲引擎的選擇問題,以及針對工作負載的數(shù)據(jù)布局選擇問題。除此之外,本文還提出了基于機器學(xué)習(xí)的,用于跨存儲引擎進行代價比較的代價模型,并提出了用于建立該代價模型的數(shù)據(jù)庫性能測試流程。實驗結(jié)果表明,基于學(xué)習(xí)的代價模型可以對跨存儲引擎的操作性能給出較為準確的估計。在使用TPC-H公開測試集上,事務(wù)型數(shù)據(jù)分區(qū)和分析型數(shù)據(jù)分區(qū)中自動選擇得到的存儲結(jié)構(gòu)較靜態(tài)存儲結(jié)構(gòu)總體查詢時間降低了約35%。因此在分析型負載... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【部分圖文】：

數(shù)據(jù)庫物理設(shè)計的搜索架構(gòu)[23]6

第2章S-CUBE系統(tǒng)架構(gòu)設(shè)計-11-進行未來預(yù)測。調(diào)優(yōu)模塊：該模塊執(zhí)行優(yōu)化操作的生成、評估和推薦。這里優(yōu)化操作可以是選擇新的物理設(shè)計，也可以是對配置旋鈕進行調(diào)整。該模塊設(shè)計思想與前述研究相似，分為枚舉、評估、選擇、執(zhí)行四個階段。組織模塊：該模塊為控制中心，控制數(shù)據(jù)庫系統(tǒng)核實進行負載預(yù)測、核實進行調(diào)優(yōu)，并監(jiān)控自治數(shù)據(jù)庫中相關(guān)操作的調(diào)用情況。最新的自治數(shù)據(jù)庫框架與本節(jié)提到的上一個框架相比，增加了負載預(yù)測的模塊和核心控制的模塊。主要思想是為數(shù)據(jù)庫提供負載預(yù)測功能，優(yōu)化操作不再基于當(dāng)前負載進行推薦，而是基于未來負載進行推薦，提高了自主數(shù)據(jù)庫框架的靈敏性，優(yōu)化操作可以更早提供給DBA和數(shù)據(jù)庫。工作負載的預(yù)測不是本文的重點，提出的系統(tǒng)主要針對存儲引擎和數(shù)據(jù)布局的推薦算法，因此框架主要沿襲剪枝-生成-評估的設(shè)計思路。2.2S-CUBE系統(tǒng)模塊介紹本文依照先前自治數(shù)據(jù)庫的設(shè)計思想，設(shè)計了存儲結(jié)構(gòu)推薦系統(tǒng)，用于解決在HTAP工作負載中遇到的問題。系統(tǒng)的框架如圖2-2所示。圖2-2基于學(xué)習(xí)代價的存儲結(jié)構(gòu)自動選擇系統(tǒng)架構(gòu)圖S-CUBE系統(tǒng)包含一個支持混合存儲的數(shù)據(jù)庫（宿主系統(tǒng)）、宿主系統(tǒng)適配器和五個外部模塊組成的存儲結(jié)構(gòu)推薦系統(tǒng)。外部模塊包括：基準測試模塊，代價模型訓(xùn)練模塊，候選結(jié)構(gòu)生成模塊，存儲結(jié)構(gòu)代價估計模塊和存儲結(jié)構(gòu)應(yīng)用模塊。注意到這里與存儲結(jié)構(gòu)推薦相關(guān)的模塊與宿主系統(tǒng)實現(xiàn)了低耦合的設(shè)計，目的是使存儲結(jié)構(gòu)推薦系統(tǒng)可以作為外部工具應(yīng)用在任何一個支持多種存

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 時隨著讀取行數(shù)的增加而減少，最終趨于穩(wěn)定。在讀取相同行數(shù)時，數(shù)據(jù)在頁緩存內(nèi)的比例越大，單行平均用時的值越低。這兩個屬性是讀操作的主要影響因素，因為這兩個因素直接控制了數(shù)據(jù)庫需要在文件中讀取的磁盤塊的 IO 次數(shù)。限于表示原因，圖 3-1 中只展示了訪問時間在 100 微秒以內(nèi)的結(jié)果。實際上在讀取行數(shù)較低的部分存在一些訪問時間超過 100 微秒的數(shù)據(jù)點。

【參考文獻】：
期刊論文
[1]人工智能賦能的數(shù)據(jù)管理技術(shù)研究[J]. 孫路明,張少敏,姬濤,李翠平,陳紅.  軟件學(xué)報. 2020(03)



本文編號：3394501