基于PCM的數(shù)據(jù)庫日志與索引優(yōu)化研究
本文選題:數(shù)據(jù)庫系統(tǒng) + 相變存儲(chǔ)器 ; 參考:《中國科學(xué)技術(shù)大學(xué)》2017年碩士論文
【摘要】:數(shù)據(jù)庫系統(tǒng)中的日志與并發(fā)操作技術(shù)一直是數(shù)據(jù)庫系統(tǒng)的研究熱點(diǎn)。近年來,隨著相變存儲(chǔ)器(Phase Change Memory,PCM)等新型非易失性存儲(chǔ)器(Non-Volatile Memory,NVM)的出現(xiàn),使得我們需要重新考慮數(shù)據(jù)庫日志和并發(fā)操作問題。如何利用這些新的硬件平臺(tái),盡可能減少日志帶來的開銷并優(yōu)化數(shù)據(jù)庫系統(tǒng)的并發(fā)操作性能,已經(jīng)成了基于PCM的數(shù)據(jù)庫系統(tǒng)中迫切需要解決的問題。本論文圍繞基于PCM的數(shù)據(jù)庫系統(tǒng)所帶來的新需求和新問題,著重研究PCM數(shù)據(jù)庫系統(tǒng)中的日志與事務(wù)并發(fā)操作優(yōu)化問題。具體而言,論文研究了兩方面的問題:(1)在混合主存系統(tǒng)下,如何利用新型存儲(chǔ)器特性,為傳統(tǒng)數(shù)據(jù)庫系統(tǒng)中的日志技術(shù)提供性能更優(yōu)的解決方法?(2)如何結(jié)合PCM這一新型存儲(chǔ)的特性,設(shè)計(jì)新的數(shù)據(jù)更新方法解決并發(fā)操作帶來的輕量級(jí)鎖沖突問題,從而提高并發(fā)操作的性能?圍繞上述問題,本文開展了深入研究。論文的主要工作和貢獻(xiàn)可歸納為以下幾點(diǎn):(1)提出了一種基于PCM的日志更新與事務(wù)恢復(fù)方法結(jié)合PCM的特性以及數(shù)據(jù)更新和日志更新操作的特點(diǎn),論文提出了新的日志更新與事務(wù)恢復(fù)方法。我們通過合理的數(shù)據(jù)組織和數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì),將更新數(shù)據(jù)和部分元數(shù)據(jù)信息存儲(chǔ)在PCM中,消除事務(wù)操作帶來的寫日志開銷和磁盤I/O,提高數(shù)據(jù)庫系統(tǒng)的性能。(2)提出了一種基于PCM的B+樹索引并發(fā)更新優(yōu)化方法論文研究了基于PCM的數(shù)據(jù)庫更新操作優(yōu)化問題,并針對(duì)基于B+樹的數(shù)據(jù)并發(fā)更新操作提出了優(yōu)化方法。對(duì)于數(shù)據(jù)頁的更新操作,我們將所有更新記錄都寫到PCM上,并通過映射表和數(shù)據(jù)鏈的形式進(jìn)行管理。對(duì)于索引更新操作,我們將對(duì)葉節(jié)點(diǎn)的更新操作存儲(chǔ)在PCM上,利用標(biāo)記記錄的方式來實(shí)現(xiàn)節(jié)點(diǎn)的快速分裂和合并,消除索引更新過程中的輕量級(jí)鎖沖突,從而提高索引的并發(fā)訪問性能。(3)利用PCM模擬器進(jìn)行了實(shí)驗(yàn)和性能評(píng)價(jià)為了驗(yàn)證所提方法的性能,我們利用DRAM設(shè)計(jì)了一個(gè)PCM模擬器,并通過trace數(shù)據(jù)對(duì)系統(tǒng)的事務(wù)吞吐率和平均響應(yīng)時(shí)間進(jìn)行了測試。結(jié)果表明,論文提出的基于PCM的日志更新策略和數(shù)據(jù)更新方法可以有效提升數(shù)據(jù)庫系統(tǒng)的性能。
[Abstract]:The technology of log and concurrent operation in database system has been the research hotspot of database system all the time. In recent years, with the emergence of new non-volatile memory (Non-volatile memory NVMs), such as Phase change memory (PCM), we need to reconsider the problems of database logging and concurrent operation. How to make use of these new hardware platforms to minimize the overhead caused by log and optimize the concurrent operation performance of database system has become an urgent problem in the database system based on PCM. In this paper, we focus on the optimization of log and transaction concurrent operations in PCM database system, focusing on the new requirements and problems brought about by PCM based database system. Specifically, this paper studies two problems: 1) how to make use of the new memory characteristics in the hybrid main memory system. How to design a new data update method to solve the problem of lightweight lock conflict caused by concurrent operation, combining with PCM, which is a new storage feature, to provide a better performance solution for log technology in traditional database systems. To improve the performance of concurrent operations? Around above question, this article has carried on the thorough research. The main work and contributions of this paper can be summarized as follows: 1) A PCM-based log update and transaction recovery method combined with the characteristics of PCM and the characteristics of data update and log update operation are proposed. This paper proposes a new log update and transaction recovery method. We store the updated data and some metadata information in PCM through reasonable data organization and data structure design. To eliminate the write log overhead and disk I / O caused by transaction operation and improve the performance of database system, a PCM-based method for concurrent updating of B-tree index is proposed. In this paper, the optimization problem of database update operation based on PCM is studied. An optimization method for data concurrent update operation based on B tree is proposed. For the update operation of the data page, we write all the update records to the PCM and manage them in the form of mapping table and data link. For the index update operation, we store the update operation of the leaf node on PCM, realize the fast splitting and merging of the node by the way of mark record, and eliminate the lightweight lock conflict in the process of index updating. In order to improve the concurrent access performance of the index, we designed a PCM simulator using DRAM to test and evaluate the performance of the proposed method. The transaction throughput and average response time of the system are tested by trace data. The results show that the PCM-based log update strategy and data update method can effectively improve the performance of database system.
【學(xué)位授予單位】:中國科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2017
【分類號(hào)】:TP311.13
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 雷軍紅,張曉輝;系統(tǒng)管理中的一種權(quán)限和日志管理方案及實(shí)現(xiàn)[J];指揮技術(shù)學(xué)院學(xué)報(bào);2000年03期
2 胡雪梅;數(shù)據(jù)庫的日志管理[J];數(shù)字通信;2000年08期
3 曉輝;;世界第一家日志管理設(shè)備廠商首次進(jìn)入中國[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2005年12期
4 陳賽娉;;大型企業(yè)日志管理平臺(tái)方案設(shè)計(jì)[J];大眾科技;2006年08期
5 ;日志管理要過三道“檻”[J];信息安全與通信保密;2007年09期
6 陳晶晶;;學(xué)習(xí)日志管理系統(tǒng)在網(wǎng)絡(luò)課堂中的應(yīng)用開發(fā)[J];軟件導(dǎo)刊(教育技術(shù));2008年03期
7 朱宏;孫嘉良;高文晶;;天津市地震局值班日志管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];科技視界;2014年04期
8 毛玉華,姜麗紅;合同管理軟件中日志管理的應(yīng)用[J];計(jì)算機(jī)工程;2004年S1期
9 陳兀;程耕國;;基于Struts+Spring+log4j框架的日志管理[J];軟件導(dǎo)刊;2010年05期
10 薛凌云;;設(shè)計(jì)模式在通用故障日志管理系統(tǒng)中的應(yīng)用[J];邵陽學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年03期
相關(guān)會(huì)議論文 前2條
1 廖國瓊;劉云生;肖迎元;;日志驅(qū)動(dòng)主從弱一致性實(shí)時(shí)復(fù)制策略[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集(研究報(bào)告篇)[C];2005年
2 沈軍;田華;吳強(qiáng);張延華;;基于NANDFlash的日志存儲(chǔ)與查詢功能設(shè)計(jì)[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國青年通信學(xué)術(shù)會(huì)議論文集(上)[C];2008年
相關(guān)重要報(bào)紙文章 前10條
1 沈建苗;日志管理迎接法規(guī)遵從時(shí)代[N];計(jì)算機(jī)世界;2007年
2 趙曉濤;安全日志管理漸成主流[N];網(wǎng)絡(luò)世界;2008年
3 記者 吳曉偉;日志管理設(shè)備廠商進(jìn)入中國[N];計(jì)算機(jī)世界;2005年
4 ;日志管理先進(jìn)技術(shù)服務(wù)企業(yè)網(wǎng)絡(luò)[N];人民郵電;2005年
5 張克興;淮陽推行工作日志管理[N];中國醫(yī)藥報(bào);2006年
6 侯志勇邋崔文海;電子日志讓工作情況一目了然[N];中國稅務(wù)報(bào);2007年
7 本報(bào)記者 何建紅;小日志寫出干部管理大文章[N];中國財(cái)經(jīng)報(bào);2009年
8 羅才旺;石勘院將實(shí)施工作日志管理[N];中國石化報(bào);2009年
9 鄒錚 編譯;大數(shù)據(jù)帶來大困惑[N];網(wǎng)絡(luò)世界;2012年
10 本報(bào)記者 谷艷麗;有效日志管理 提升網(wǎng)絡(luò)安全[N];中國計(jì)算機(jī)報(bào);2011年
相關(guān)碩士學(xué)位論文 前10條
1 鄭立明;濟(jì)寧移動(dòng)公司電子運(yùn)維值班管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2014年
2 李靖;企業(yè)人事/日志管理信息系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年
3 王國林;基于日志的安全監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年
4 牟肖蓬;基于大數(shù)據(jù)的日志管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2014年
5 張晨東;可擴(kuò)展事務(wù)處理系統(tǒng)中的日志同步策略[D];華東師范大學(xué);2016年
6 黃金鑾;基于MAS分布式ETL系統(tǒng)容錯(cuò)的研究與實(shí)現(xiàn)[D];福州大學(xué);2013年
7 曹進(jìn);貝得數(shù)據(jù)固定資產(chǎn)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2016年
8 李瓔;基于網(wǎng)絡(luò)側(cè)精準(zhǔn)營銷日志管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2016年
9 邱宇芳;基于SolrCloud大數(shù)據(jù)平臺(tái)日志管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國科學(xué)院大學(xué)(中國科學(xué)院工程管理與信息技術(shù)學(xué)院);2017年
10 王文強(qiáng);基于PCM的數(shù)據(jù)庫日志與索引優(yōu)化研究[D];中國科學(xué)技術(shù)大學(xué);2017年
,本文編號(hào):2017717
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/2017717.html