分布式圖數(shù)據(jù)庫(kù)存儲(chǔ)引擎的事務(wù)管理的設(shè)計(jì)與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-11-03 21:35
隨著互聯(lián)網(wǎng)在各行業(yè)的深入應(yīng)用,涌現(xiàn)了許多分析事物關(guān)聯(lián)關(guān)系的新需求,由于存在大量連接操作,傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)處理這些需求的延遲難以容忍。為高效處理海量復(fù)雜數(shù)據(jù)之間的關(guān)聯(lián)操作,圖數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。由于單機(jī)能力有限,海量數(shù)據(jù)必然要求圖數(shù)據(jù)庫(kù)分布式化。分布式圖數(shù)據(jù)庫(kù)有許多應(yīng)用場(chǎng)景,如離線分析、在線查詢等。在線查詢要求圖數(shù)據(jù)庫(kù)增量更新,分布式圖數(shù)據(jù)庫(kù)必須具有事務(wù)能力,這也是當(dāng)前分布式系統(tǒng)一個(gè)熱點(diǎn)問(wèn)題。傳統(tǒng)上,一般采用兩階段提交(2PC)實(shí)現(xiàn)分布式事務(wù)。其它的分布式事務(wù)解決方案,如三階段提交等,本質(zhì)上都是對(duì)2PC的優(yōu)化。2PC協(xié)議假設(shè)節(jié)點(diǎn)可用,但當(dāng)前分布式系統(tǒng)大多采用普通商用PC機(jī),這個(gè)假設(shè)并不成立。如何在節(jié)點(diǎn)不可用的場(chǎng)景下,高可用的實(shí)現(xiàn)分布式事務(wù)是本文需要考慮的問(wèn)題,本文的分布式事務(wù)方案主要參考Google提出的Percolator事務(wù)模型。本文嘗試設(shè)計(jì)并實(shí)現(xiàn)分布式圖數(shù)據(jù)庫(kù)中的分布式事務(wù)功能,主要工作包括:(1)多版本并發(fā)控制:并發(fā)控制方案采用多版本并發(fā)控制(MVCC),實(shí)現(xiàn)了Read Snapshot的隔離級(jí)別,并優(yōu)化MVCC存儲(chǔ)模型,減少序列化次數(shù)。通過(guò)MVCC能夠快速獲得系統(tǒng)的數(shù)據(jù)快照。(2)...
【文章來(lái)源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:77 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
LevelDB架構(gòu)圖
一致性哈希環(huán)(a)
電子科技大學(xué)碩士學(xué)位論文8圖2-3一致性哈希環(huán)(b)(2)節(jié)點(diǎn)的新增和刪除節(jié)點(diǎn)的新增和刪除都涉及到數(shù)據(jù)的遷移。以節(jié)點(diǎn)的增加為例,新上線的節(jié)點(diǎn)會(huì)先計(jì)算節(jié)點(diǎn)的哈希值,映射到哈希環(huán)中,此時(shí)會(huì)將原來(lái)某個(gè)節(jié)點(diǎn)的存儲(chǔ)范圍一分為二,此時(shí)一部分?jǐn)?shù)據(jù)需要從舊節(jié)點(diǎn)遷移到新的節(jié)點(diǎn)上。(3)負(fù)載均衡如果只是按照節(jié)點(diǎn)的ip地址和port端口號(hào),計(jì)算節(jié)點(diǎn)的存儲(chǔ)范圍,會(huì)使得存儲(chǔ)粒度過(guò)大,導(dǎo)致節(jié)點(diǎn)之間的存儲(chǔ)負(fù)載不均衡。為了盡量滿足節(jié)點(diǎn)之間負(fù)載均衡,映入了虛擬節(jié)點(diǎn)的概念。每個(gè)節(jié)點(diǎn)會(huì)包含多個(gè)虛擬節(jié)點(diǎn),此時(shí)存儲(chǔ)粒度會(huì)被分割地更小,按照一定的虛擬節(jié)點(diǎn)分配策略,則可實(shí)現(xiàn)節(jié)點(diǎn)之間的負(fù)載均衡。2.3分布式理論相關(guān)介紹2.3.1CAP理論CAP理論是由計(jì)算機(jī)科學(xué)家埃里克·布魯爾于2000年提出的,后被視為分布式領(lǐng)域公認(rèn)的一個(gè)定理。C:一致性(Consistency)指的是對(duì)于給定的客戶端,保證讀操作能夠讀取到最新寫(xiě)入的數(shù)據(jù)。A:可用性(Availability)指的是在任何情況下,系統(tǒng)需要能在一定時(shí)間內(nèi)響應(yīng)請(qǐng)求,即使系統(tǒng)出現(xiàn)故障,也不會(huì)影響系統(tǒng)的正常運(yùn)行。P:分區(qū)容忍性(PartitionTolerance)指的是系統(tǒng)因?yàn)槟承┕收铣霈F(xiàn)網(wǎng)絡(luò)分區(qū)后,系統(tǒng)能否繼續(xù)正常運(yùn)行。
【參考文獻(xiàn)】:
碩士論文
[1]基于MongoDB的事務(wù)機(jī)制研究與實(shí)現(xiàn)[D]. 宣超.電子科技大學(xué) 2018
[2]基于內(nèi)存的分布式行式數(shù)據(jù)引擎的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張博.電子科技大學(xué) 2017
[3]基于MVCC的NoSQL事務(wù)機(jī)制的研究和實(shí)現(xiàn)[D]. 李任.上海交通大學(xué) 2016
[4]分布式數(shù)據(jù)庫(kù)兩階段提交協(xié)議的研究與改進(jìn)[D]. 陳俊偉.重慶大學(xué) 2007
本文編號(hào):3474379
【文章來(lái)源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:77 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
LevelDB架構(gòu)圖
一致性哈希環(huán)(a)
電子科技大學(xué)碩士學(xué)位論文8圖2-3一致性哈希環(huán)(b)(2)節(jié)點(diǎn)的新增和刪除節(jié)點(diǎn)的新增和刪除都涉及到數(shù)據(jù)的遷移。以節(jié)點(diǎn)的增加為例,新上線的節(jié)點(diǎn)會(huì)先計(jì)算節(jié)點(diǎn)的哈希值,映射到哈希環(huán)中,此時(shí)會(huì)將原來(lái)某個(gè)節(jié)點(diǎn)的存儲(chǔ)范圍一分為二,此時(shí)一部分?jǐn)?shù)據(jù)需要從舊節(jié)點(diǎn)遷移到新的節(jié)點(diǎn)上。(3)負(fù)載均衡如果只是按照節(jié)點(diǎn)的ip地址和port端口號(hào),計(jì)算節(jié)點(diǎn)的存儲(chǔ)范圍,會(huì)使得存儲(chǔ)粒度過(guò)大,導(dǎo)致節(jié)點(diǎn)之間的存儲(chǔ)負(fù)載不均衡。為了盡量滿足節(jié)點(diǎn)之間負(fù)載均衡,映入了虛擬節(jié)點(diǎn)的概念。每個(gè)節(jié)點(diǎn)會(huì)包含多個(gè)虛擬節(jié)點(diǎn),此時(shí)存儲(chǔ)粒度會(huì)被分割地更小,按照一定的虛擬節(jié)點(diǎn)分配策略,則可實(shí)現(xiàn)節(jié)點(diǎn)之間的負(fù)載均衡。2.3分布式理論相關(guān)介紹2.3.1CAP理論CAP理論是由計(jì)算機(jī)科學(xué)家埃里克·布魯爾于2000年提出的,后被視為分布式領(lǐng)域公認(rèn)的一個(gè)定理。C:一致性(Consistency)指的是對(duì)于給定的客戶端,保證讀操作能夠讀取到最新寫(xiě)入的數(shù)據(jù)。A:可用性(Availability)指的是在任何情況下,系統(tǒng)需要能在一定時(shí)間內(nèi)響應(yīng)請(qǐng)求,即使系統(tǒng)出現(xiàn)故障,也不會(huì)影響系統(tǒng)的正常運(yùn)行。P:分區(qū)容忍性(PartitionTolerance)指的是系統(tǒng)因?yàn)槟承┕收铣霈F(xiàn)網(wǎng)絡(luò)分區(qū)后,系統(tǒng)能否繼續(xù)正常運(yùn)行。
【參考文獻(xiàn)】:
碩士論文
[1]基于MongoDB的事務(wù)機(jī)制研究與實(shí)現(xiàn)[D]. 宣超.電子科技大學(xué) 2018
[2]基于內(nèi)存的分布式行式數(shù)據(jù)引擎的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張博.電子科技大學(xué) 2017
[3]基于MVCC的NoSQL事務(wù)機(jī)制的研究和實(shí)現(xiàn)[D]. 李任.上海交通大學(xué) 2016
[4]分布式數(shù)據(jù)庫(kù)兩階段提交協(xié)議的研究與改進(jìn)[D]. 陳俊偉.重慶大學(xué) 2007
本文編號(hào):3474379
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3474379.html
最近更新
教材專著