【摘要】：當今,許多企事業(yè)單位的高管人員,迫切需要高性能的分析型數據庫管理系統,用于分析大數據,輔助決策。列存儲技術在處理大數據方面,顯著優(yōu)于行存儲技術,所以吸引了許多學者的研究。列存儲技術的研究取得了一些成果,但是關于列存儲系統的存儲優(yōu)化、查詢優(yōu)化和查詢執(zhí)行等關鍵技術還有待進一步研究。 在列存儲系統中,按列存儲數據,使得在查詢處理時能夠只讀取查詢所需要的列,避免讀入無關的列。按列存儲的數據具有很好的可壓縮性,在查詢處理過程中可以直接對壓縮數據進行處理。這兩點使得列存儲系統在查詢處理過程中的數據I/O效率比行存儲高得多,有利于提高查詢處理的速度。另一方面,對按列存儲的數據進行查詢處理時,需要將分散存儲在不同位置的多列數據進行元組重構。元組重構形成了列存儲系統中的一個重要性能瓶頸。 本文以國家工信部核高基重大專項課題“數據倉庫專用DBMS原型系統研制”(2010ZX01042-001-003-04)和國家自然科學基金項目“數據倉庫中行列混合存儲引擎的優(yōu)化模型”(61070031)為依托,以提高列存儲系統的查詢性能為目標,對影響列存儲系統性能的一些關鍵技術進行了深入研究。本文主要做了以下幾個方面的工作： (1)研究列存儲系統中數據存儲布局對元組重構性能的影響后,提出了一個以列存儲為基礎,結合組合多列的存儲模型。該模型對歷史查詢使用數據的方式進行分析,分析一個邏輯表中的哪些列經常一起被查詢輸出,將這些列進行物化,供后續(xù)查詢使用。對需要物化的多列,首先形成邏輯上的一個投影并進行水平劃分,然后對劃分的每一塊,在塊內按列組織并壓縮后存儲。這樣能充分利用列存儲的優(yōu)勢,同時也能減少元組重構的開銷,為后續(xù)查詢提供了最優(yōu)存儲。 (2)傳統B+樹索引是稀疏的,對其搜索的路徑較長,對其進行插入和搜索的效率較低,不適合分析型應用。對此,本文提出了一種精簡的、適合于列存儲的B+樹結構——RB+樹。RB+樹幾乎是一棵滿的平衡二叉樹,一頁能容納更多的索引項,因而能用較矮的RB+樹存儲大量的索引項。按這種結構樹組織數據,搜索數據的路徑短,搜索效率高。關于RB+樹索引的創(chuàng)建和維護,分別對行號索引和列值索引提出了自底向上的高效創(chuàng)建方法和維護方法。 (3)研究了數據庫中的數據壓縮技術,包括輕量級的壓縮方法、壓縮粒度的選擇和壓縮方法的選擇策略。特別對位圖壓縮技術進行了深入的研究,提出了一種富擴展劃分位圖索引和一種自適應的劃分字對齊壓縮方法(APWAH)。富擴展劃分位圖包含了一些統計信息,為直接使用劃分位圖進行聚集操作提供了方便。(?)PWAH能根據位向量中0-1分布情況,自適應地選擇最合適的0-填充段長和1-填充段長,提高了壓縮效率和查詢處理效率。同時研究了區(qū)級壓縮,區(qū)級壓縮同時具有壓縮率高和壓縮管理方便的優(yōu)點。本文提出根據數據的分布情況,自適應地選擇區(qū)的大小。一個區(qū)由若干塊構成,每區(qū)的塊數不一定相同。這樣可以根據相鄰數據塊之間的相似性,靈活地進行區(qū)劃分,不受區(qū)大小的限制,保證區(qū)內數據分布特征相似性強,區(qū)之間數據分布特征相似性弱,以便對每個區(qū)選擇更合適的壓縮方法。關于壓縮方法的選擇,建立了一個數據分布特征模型,并根據提出的模型建立了選擇壓縮方法的決策方案。 (4)研究緩沖區(qū)管理技術,提出了一種適應于列存儲系統的三級緩沖區(qū)管理方案。在全局級,使用兩條鏈分別管理系統的自由緩沖區(qū)和所有查詢使用的緩沖區(qū),對使用的緩沖區(qū)按綜合自適應置換策略進行置換。一個緩沖區(qū)是否可被置換,不僅考慮正在執(zhí)行的查詢,同時還考慮了一定量的后續(xù)查詢。在查詢級,每個執(zhí)行的查詢都用一條主鏈管理它使用的緩沖區(qū),一個查詢處理中每出現一個并發(fā)操作階段,都從主鏈中產生一條相應的分支鏈來管理并發(fā)操作階段使用的緩沖區(qū)。在操作階段級,對每個操作階段設計了一種靈活且自適應的緩沖區(qū)分配策略(MG-x-y-z)和與它的訪問模式相適應的置換策略。提出的三級緩沖區(qū)管理方案充分考慮了分析型工作負載的特點、數據訪問模式特點和可用的緩沖區(qū)情況,也考慮了數據預取。 (5)研究列存儲系統中的物化技術后,針對現有物化技術的不足,提出了基于帶值路徑的物化技術(PVM)。PVM在物理執(zhí)行樹中增加了帶值路徑,并使用傳遞塊來保存執(zhí)行的中間結果。通過這種方法,避免了查詢執(zhí)行過程中對原始數據的重讀。對帶值路徑中包含的位向量,使用本文提出的APWAH壓縮方法進行壓縮,減少或避免了因中間結果太大而造成的額外I/O。 本文研究的內容是我們所研制的原型系統中的關鍵技術。研究的結果對提高系統的總體性能起到了決定性的作用。
[Abstract]:......
【學位授予單位】：東華大學
【學位級別】：博士
【學位授予年份】：2013
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 楊春燕;用SAN構筑現代企業(yè)信息存儲系統的優(yōu)勢[J];內蒙古電力技術;2002年S1期

2 ;專家觀點[J];中國計算機用戶;2006年43期

3 ;HDS AMS 2000系列的創(chuàng)新之道[J];通信世界;2009年08期

4 金文新;;大型高校圖書館計算機網絡集成系統建設[J];情報科學;2009年04期

5 李靜;;淺談HIS系統對服務器和存儲設備的要求及設計方案[J];信息與電腦(理論版);2009年11期

6 劉剛;張海濤;李瑞東;張強;;一種基于模塊化設計的NAS集群存儲系統[J];微計算機信息;2011年05期

7 于耳;;建立面向應用的存儲系統[J];中國教育網絡;2011年06期

8 ;數字視頻存儲系統[J];光學精密工程;1977年06期

9 張明明;;為信息傳輸設備保駕護航——訪EMC公司中國區(qū)產品經理馬永亨先生[J];上海微型計算機;1998年Z1期

10 趙晨;;EMC Symmetrix優(yōu)化SAP R/3系統[J];計算機與網絡;1998年09期

相關會議論文 前10條

1 趙志剛;;存儲系統在企業(yè)信息化中的應用[A];2005年安徽通信論文集[C];2006年

2 朱平;朱建濤;高劍剛;蔣金虎;;高性能計算存儲關鍵技術研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

3 周博;宿紹瑩;陳曾平;;基于CPCI總線的寬帶雷達數據傳輸存儲系統設計[A];全國第二屆信號處理與應用學術會議�？痆C];2008年

4 周功業(yè);周江;陳希;陳進才;;寄生存儲原理及實現機制[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

5 汪黎;章文嵩;楊學軍;;Cfslight:一個新型的輕量級對象存儲集群文件系統[A];2006年全國開放式分布與并行計算學術會議論文集（一）[C];2006年

6 聶明;;構建海量存儲系統 提升媒體競爭力[A];中國新聞技術工作者聯合會2008年學術年會論文集（下）[C];2008年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統的應用[A];中國氣象學會2006年年會“中尺度天氣動力學、數值模擬和預測”分會場論文集[C];2006年

8 劉湛明;吳柳堅;;數字電視臺的建設[A];2007第二屆全國廣播電視技術論文集2（下）[C];2007年

9 黃曉峰;張杰;;礦井信息中心存儲系統設計[A];安全高效礦井機電裝備及信息化技術——陜西省煤炭學會學術年會論文集（2011）[C];2011年

10 羅香玉;李傳佑;汪蕓;;糾刪碼容錯組的布局策略研究[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

相關重要報紙文章 前10條

1 朗飛;IBM“冰立方”就像搭積木[N];中國計算機報;2006年

2 郭濤;MediaGrid既不是SAN也不是NAS[N];中國計算機報;2007年

3 本報記者　　張峰;知己知彼建存儲（上）[N];網絡世界;2006年

4 森林;NAS資源存儲系統[N];中國電腦教育報;2002年

5 Hifn(漢帆)杭州信息技術有限公司 馬劍杰;自動精簡配置：提升存儲利用率有絕招[N];中國計算機報;2009年

6 ;IBM收購存儲解決方案公司[N];計算機世界;2007年

7 本報記者 徐恒;面臨機遇 中國新型存儲業(yè)合作求創(chuàng)新[N];中國電子報;2011年

8 李想 徐晉;福州電業(yè)局研發(fā)個人文件安全存儲系統[N];中國電力報;2006年

9 ;HDS推出企業(yè)入門級存儲系統[N];計算機世界;2005年

10 ;戴爾EMC打造新一代高容量存儲系統[N];人民郵電;2004年

相關博士學位論文 前10條

1 丁祥武;列存儲系統的若干關鍵技術研究[D];東華大學;2013年

2 陸承濤;存儲系統性能管理問題的研究[D];華中科技大學;2010年

3 聶雪軍;內容感知存儲系統中信息信息生命周期管理關鍵技術研究[D];華中科技大學;2011年

4 羅東健;大規(guī)模存儲系統高可靠性關鍵技術研究[D];華中科技大學;2011年

5 聶雪軍;內容感知存儲系統中信息生命周期管理關鍵技術研究[D];華中科技大學;2010年

6 王玉林;多節(jié)點容錯存儲系統的數據與緩存組織研究[D];電子科技大學;2010年

7 施展;基于本體的存儲系統管理研究[D];華中科技大學;2011年

8 姜明華;基于冗余智能存儲通道的存儲系統關鍵技術研究[D];華中科技大學;2011年

9 黃繼鵬;高速高可靠小型數字視頻存儲系統的設計與實現[D];中國科學院研究生院（長春光學精密機械與物理研究所）;2012年

10 劉科;內容感知存儲系統中的信息檢索關鍵技術研究[D];華中科技大學;2012年

相關碩士學位論文 前10條

1 陸正武;面向流媒體應用存儲系統的研究與實現[D];華中科技大學;2004年

2 杜睿;基于IP-SAN技術的石化企業(yè)數據集中存儲系統的設計與實現[D];華東理工大學;2010年

3 金強;基于HBase的RDF存儲系統的研究與設計[D];浙江大學;2011年

4 余智敏;數字化圖書館的數據存儲技術的研究[D];武漢理工大學;2006年

5 陶博舟;磁盤陣列快照系統的設計與實現[D];華中科技大學;2007年

6 張小艷;基于嵌入式技術的USB存儲系統的設計與實現[D];內蒙古大學;2011年

7 蔣亞群;基于DLX體系結構的微處理器核的設計與實現[D];中國人民解放軍國防科學技術大學;2002年

8 亓偉;關系數據庫存儲子系統研究與實現[D];清華大學;2005年

9 宋迎迎;數字館藏評價指標體系研究[D];鄭州大學;2006年

10 袁曉銘;磁盤陣列系統的快照技術研究[D];華中科技大學;2007年

，

本文編號：2286237