【摘要】：當今,許多企事業(yè)單位的高管人員,迫切需要高性能的分析型數(shù)據(jù)庫管理系統(tǒng),用于分析大數(shù)據(jù),輔助決策。列存儲技術(shù)在處理大數(shù)據(jù)方面,顯著優(yōu)于行存儲技術(shù),所以吸引了許多學者的研究。列存儲技術(shù)的研究取得了一些成果,但是關(guān)于列存儲系統(tǒng)的存儲優(yōu)化、查詢優(yōu)化和查詢執(zhí)行等關(guān)鍵技術(shù)還有待進一步研究。 在列存儲系統(tǒng)中,按列存儲數(shù)據(jù),使得在查詢處理時能夠只讀取查詢所需要的列,避免讀入無關(guān)的列。按列存儲的數(shù)據(jù)具有很好的可壓縮性,在查詢處理過程中可以直接對壓縮數(shù)據(jù)進行處理。這兩點使得列存儲系統(tǒng)在查詢處理過程中的數(shù)據(jù)I/O效率比行存儲高得多,有利于提高查詢處理的速度。另一方面,對按列存儲的數(shù)據(jù)進行查詢處理時,需要將分散存儲在不同位置的多列數(shù)據(jù)進行元組重構(gòu)。元組重構(gòu)形成了列存儲系統(tǒng)中的一個重要性能瓶頸。 本文以國家工信部核高基重大專項課題“數(shù)據(jù)倉庫專用DBMS原型系統(tǒng)研制”(2010ZX01042-001-003-04)和國家自然科學基金項目“數(shù)據(jù)倉庫中行列混合存儲引擎的優(yōu)化模型”(61070031)為依托,以提高列存儲系統(tǒng)的查詢性能為目標,對影響列存儲系統(tǒng)性能的一些關(guān)鍵技術(shù)進行了深入研究。本文主要做了以下幾個方面的工作： (1)研究列存儲系統(tǒng)中數(shù)據(jù)存儲布局對元組重構(gòu)性能的影響后,提出了一個以列存儲為基礎(chǔ),結(jié)合組合多列的存儲模型。該模型對歷史查詢使用數(shù)據(jù)的方式進行分析,分析一個邏輯表中的哪些列經(jīng)常一起被查詢輸出,將這些列進行物化,供后續(xù)查詢使用。對需要物化的多列,首先形成邏輯上的一個投影并進行水平劃分,然后對劃分的每一塊,在塊內(nèi)按列組織并壓縮后存儲。這樣能充分利用列存儲的優(yōu)勢,同時也能減少元組重構(gòu)的開銷,為后續(xù)查詢提供了最優(yōu)存儲。 (2)傳統(tǒng)B+樹索引是稀疏的,對其搜索的路徑較長,對其進行插入和搜索的效率較低,不適合分析型應用。對此,本文提出了一種精簡的、適合于列存儲的B+樹結(jié)構(gòu)——RB+樹。RB+樹幾乎是一棵滿的平衡二叉樹,一頁能容納更多的索引項,因而能用較矮的RB+樹存儲大量的索引項。按這種結(jié)構(gòu)樹組織數(shù)據(jù),搜索數(shù)據(jù)的路徑短,搜索效率高。關(guān)于RB+樹索引的創(chuàng)建和維護,分別對行號索引和列值索引提出了自底向上的高效創(chuàng)建方法和維護方法。 (3)研究了數(shù)據(jù)庫中的數(shù)據(jù)壓縮技術(shù),包括輕量級的壓縮方法、壓縮粒度的選擇和壓縮方法的選擇策略。特別對位圖壓縮技術(shù)進行了深入的研究,提出了一種富擴展劃分位圖索引和一種自適應的劃分字對齊壓縮方法(APWAH)。富擴展劃分位圖包含了一些統(tǒng)計信息,為直接使用劃分位圖進行聚集操作提供了方便。(?)PWAH能根據(jù)位向量中0-1分布情況,自適應地選擇最合適的0-填充段長和1-填充段長,提高了壓縮效率和查詢處理效率。同時研究了區(qū)級壓縮,區(qū)級壓縮同時具有壓縮率高和壓縮管理方便的優(yōu)點。本文提出根據(jù)數(shù)據(jù)的分布情況,自適應地選擇區(qū)的大小。一個區(qū)由若干塊構(gòu)成,每區(qū)的塊數(shù)不一定相同。這樣可以根據(jù)相鄰數(shù)據(jù)塊之間的相似性,靈活地進行區(qū)劃分,不受區(qū)大小的限制,保證區(qū)內(nèi)數(shù)據(jù)分布特征相似性強,區(qū)之間數(shù)據(jù)分布特征相似性弱,以便對每個區(qū)選擇更合適的壓縮方法。關(guān)于壓縮方法的選擇,建立了一個數(shù)據(jù)分布特征模型,并根據(jù)提出的模型建立了選擇壓縮方法的決策方案。 (4)研究緩沖區(qū)管理技術(shù),提出了一種適應于列存儲系統(tǒng)的三級緩沖區(qū)管理方案。在全局級,使用兩條鏈分別管理系統(tǒng)的自由緩沖區(qū)和所有查詢使用的緩沖區(qū),對使用的緩沖區(qū)按綜合自適應置換策略進行置換。一個緩沖區(qū)是否可被置換,不僅考慮正在執(zhí)行的查詢,同時還考慮了一定量的后續(xù)查詢。在查詢級,每個執(zhí)行的查詢都用一條主鏈管理它使用的緩沖區(qū),一個查詢處理中每出現(xiàn)一個并發(fā)操作階段,都從主鏈中產(chǎn)生一條相應的分支鏈來管理并發(fā)操作階段使用的緩沖區(qū)。在操作階段級,對每個操作階段設(shè)計了一種靈活且自適應的緩沖區(qū)分配策略(MG-x-y-z)和與它的訪問模式相適應的置換策略。提出的三級緩沖區(qū)管理方案充分考慮了分析型工作負載的特點、數(shù)據(jù)訪問模式特點和可用的緩沖區(qū)情況,也考慮了數(shù)據(jù)預取。 (5)研究列存儲系統(tǒng)中的物化技術(shù)后,針對現(xiàn)有物化技術(shù)的不足,提出了基于帶值路徑的物化技術(shù)(PVM)。PVM在物理執(zhí)行樹中增加了帶值路徑,并使用傳遞塊來保存執(zhí)行的中間結(jié)果。通過這種方法,避免了查詢執(zhí)行過程中對原始數(shù)據(jù)的重讀。對帶值路徑中包含的位向量,使用本文提出的APWAH壓縮方法進行壓縮,減少或避免了因中間結(jié)果太大而造成的額外I/O。 本文研究的內(nèi)容是我們所研制的原型系統(tǒng)中的關(guān)鍵技術(shù)。研究的結(jié)果對提高系統(tǒng)的總體性能起到了決定性的作用。
[Abstract]:......
【學位授予單位】：東華大學
【學位級別】：博士
【學位授予年份】：2013
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 楊春燕;用SAN構(gòu)筑現(xiàn)代企業(yè)信息存儲系統(tǒng)的優(yōu)勢[J];內(nèi)蒙古電力技術(shù);2002年S1期

2 ;專家觀點[J];中國計算機用戶;2006年43期

3 ;HDS AMS 2000系列的創(chuàng)新之道[J];通信世界;2009年08期

4 金文新;;大型高校圖書館計算機網(wǎng)絡(luò)集成系統(tǒng)建設(shè)[J];情報科學;2009年04期

5 李靜;;淺談HIS系統(tǒng)對服務(wù)器和存儲設(shè)備的要求及設(shè)計方案[J];信息與電腦(理論版);2009年11期

6 劉剛;張海濤;李瑞東;張強;;一種基于模塊化設(shè)計的NAS集群存儲系統(tǒng)[J];微計算機信息;2011年05期

7 于耳;;建立面向應用的存儲系統(tǒng)[J];中國教育網(wǎng)絡(luò);2011年06期

8 ;數(shù)字視頻存儲系統(tǒng)[J];光學精密工程;1977年06期

9 張明明;;為信息傳輸設(shè)備保駕護航——訪EMC公司中國區(qū)產(chǎn)品經(jīng)理馬永亨先生[J];上海微型計算機;1998年Z1期

10 趙晨;;EMC Symmetrix優(yōu)化SAP R/3系統(tǒng)[J];計算機與網(wǎng)絡(luò);1998年09期

相關(guān)會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應用[A];2005年安徽通信論文集[C];2006年

2 朱平;朱建濤;高劍剛;蔣金虎;;高性能計算存儲關(guān)鍵技術(shù)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

3 周博;宿紹瑩;陳曾平;;基于CPCI總線的寬帶雷達數(shù)據(jù)傳輸存儲系統(tǒng)設(shè)計[A];全國第二屆信號處理與應用學術(shù)會議�？痆C];2008年

4 周功業(yè);周江;陳希;陳進才;;寄生存儲原理及實現(xiàn)機制[A];第15屆全國信息存儲技術(shù)學術(shù)會議論文集[C];2008年

5 汪黎;章文嵩;楊學軍;;Cfslight:一個新型的輕量級對象存儲集群文件系統(tǒng)[A];2006年全國開放式分布與并行計算學術(shù)會議論文集（一）[C];2006年

6 聶明;;構(gòu)建海量存儲系統(tǒng) 提升媒體競爭力[A];中國新聞技術(shù)工作者聯(lián)合會2008年學術(shù)年會論文集（下）[C];2008年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應用[A];中國氣象學會2006年年會“中尺度天氣動力學、數(shù)值模擬和預測”分會場論文集[C];2006年

8 劉湛明;吳柳堅;;數(shù)字電視臺的建設(shè)[A];2007第二屆全國廣播電視技術(shù)論文集2（下）[C];2007年

9 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設(shè)計[A];安全高效礦井機電裝備及信息化技術(shù)——陜西省煤炭學會學術(shù)年會論文集（2011）[C];2011年

10 羅香玉;李傳佑;汪蕓;;糾刪碼容錯組的布局策略研究[A];第18屆全國多媒體學術(shù)會議（NCMT2009）、第5屆全國人機交互學術(shù)會議（CHCI2009）、第5屆全國普適計算學術(shù)會議（PCC2009）論文集[C];2009年

相關(guān)重要報紙文章 前10條

1 朗飛;IBM“冰立方”就像搭積木[N];中國計算機報;2006年

2 郭濤;MediaGrid既不是SAN也不是NAS[N];中國計算機報;2007年

3 本報記者　　張峰;知己知彼建存儲（上）[N];網(wǎng)絡(luò)世界;2006年

4 森林;NAS資源存儲系統(tǒng)[N];中國電腦教育報;2002年

5 Hifn(漢帆)杭州信息技術(shù)有限公司 馬劍杰;自動精簡配置：提升存儲利用率有絕招[N];中國計算機報;2009年

6 ;IBM收購存儲解決方案公司[N];計算機世界;2007年

7 本報記者 徐恒;面臨機遇 中國新型存儲業(yè)合作求創(chuàng)新[N];中國電子報;2011年

8 李想 徐晉;福州電業(yè)局研發(fā)個人文件安全存儲系統(tǒng)[N];中國電力報;2006年

9 ;HDS推出企業(yè)入門級存儲系統(tǒng)[N];計算機世界;2005年

10 ;戴爾EMC打造新一代高容量存儲系統(tǒng)[N];人民郵電;2004年

相關(guān)博士學位論文 前10條

1 丁祥武;列存儲系統(tǒng)的若干關(guān)鍵技術(shù)研究[D];東華大學;2013年

2 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學;2010年

3 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學;2011年

4 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學;2011年

5 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學;2010年

6 王玉林;多節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學;2010年

7 施展;基于本體的存儲系統(tǒng)管理研究[D];華中科技大學;2011年

8 姜明華;基于冗余智能存儲通道的存儲系統(tǒng)關(guān)鍵技術(shù)研究[D];華中科技大學;2011年

9 黃繼鵬;高速高可靠小型數(shù)字視頻存儲系統(tǒng)的設(shè)計與實現(xiàn)[D];中國科學院研究生院（長春光學精密機械與物理研究所）;2012年

10 劉科;內(nèi)容感知存儲系統(tǒng)中的信息檢索關(guān)鍵技術(shù)研究[D];華中科技大學;2012年

相關(guān)碩士學位論文 前10條

1 陸正武;面向流媒體應用存儲系統(tǒng)的研究與實現(xiàn)[D];華中科技大學;2004年

2 杜睿;基于IP-SAN技術(shù)的石化企業(yè)數(shù)據(jù)集中存儲系統(tǒng)的設(shè)計與實現(xiàn)[D];華東理工大學;2010年

3 金強;基于HBase的RDF存儲系統(tǒng)的研究與設(shè)計[D];浙江大學;2011年

4 余智敏;數(shù)字化圖書館的數(shù)據(jù)存儲技術(shù)的研究[D];武漢理工大學;2006年

5 陶博舟;磁盤陣列快照系統(tǒng)的設(shè)計與實現(xiàn)[D];華中科技大學;2007年

6 張小艷;基于嵌入式技術(shù)的USB存儲系統(tǒng)的設(shè)計與實現(xiàn)[D];內(nèi)蒙古大學;2011年

7 蔣亞群;基于DLX體系結(jié)構(gòu)的微處理器核的設(shè)計與實現(xiàn)[D];中國人民解放軍國防科學技術(shù)大學;2002年

8 亓偉;關(guān)系數(shù)據(jù)庫存儲子系統(tǒng)研究與實現(xiàn)[D];清華大學;2005年

9 宋迎迎;數(shù)字館藏評價指標體系研究[D];鄭州大學;2006年

10 袁曉銘;磁盤陣列系統(tǒng)的快照技術(shù)研究[D];華中科技大學;2007年

，

本文編號：2286236