本文關(guān)鍵詞：分布式結(jié)構(gòu)化存儲系統(tǒng)元數(shù)據(jù)管理模塊設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： Paxos算法 副本 結(jié)構(gòu)化存儲 R-tree

【摘要】：在大數(shù)據(jù)時(shí)代,數(shù)據(jù)存儲提出了許多新的需求,傳統(tǒng)的基于關(guān)系的數(shù)據(jù)庫存儲系統(tǒng)已經(jīng)不能滿足這些需求。本文在研究和分析了現(xiàn)有的典型結(jié)構(gòu)化存儲系統(tǒng)的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)面向POI的,具有高可靠性的分布式結(jié)構(gòu)化存儲系統(tǒng)CBase。在CBase存儲系統(tǒng)中,POI信息被分布式存儲在不同的存儲節(jié)點(diǎn)上,元數(shù)據(jù)信息指的是POI信息到存儲節(jié)點(diǎn)的映射關(guān)系。元數(shù)據(jù)管理模塊是CBase存儲系統(tǒng)中的一個(gè)模塊,主要功能是管理CBase存儲系統(tǒng)的元數(shù)據(jù)信息,是本人在項(xiàng)目中的主要負(fù)責(zé)的模塊。元數(shù)據(jù)管理模塊的主要工作和特色如下:1.元數(shù)據(jù)管理的優(yōu)化。設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于R-tree的元數(shù)據(jù)管理模塊,采用寫入操作日志的方式,把對元數(shù)據(jù)操作時(shí)可能產(chǎn)生的大量隨機(jī)I/O轉(zhuǎn)化為順序I/O,提高系統(tǒng)的吞吐率;2.元數(shù)據(jù)的容錯(cuò)性設(shè)計(jì)。為了保證元數(shù)據(jù)的可靠性,實(shí)現(xiàn)了一個(gè)基于Paxos算法的一致性協(xié)議,對元數(shù)據(jù)副本進(jìn)行同步,并針對基本Paxos算法的缺點(diǎn),設(shè)計(jì)了Leader租約機(jī)制,大量減少了數(shù)據(jù)同步過程中產(chǎn)生的網(wǎng)絡(luò)通信。3.快速的故障恢復(fù)。系統(tǒng)通過將元數(shù)據(jù)的操作寫入日志文件中,并周期性對元數(shù)據(jù)進(jìn)行快照的機(jī)制,在系統(tǒng)宕機(jī)后,能夠使用快照和操作日志快速地恢復(fù)系統(tǒng)的元數(shù)據(jù)。4.海量并發(fā)的支持。利用Linux下提供的epoll機(jī)制,設(shè)計(jì)并實(shí)現(xiàn)一個(gè)高性能的網(wǎng)絡(luò)編程框架,該框架可以支持海量的并發(fā)訪問,為IS的各個(gè)業(yè)務(wù)流程提供編程支持。
【關(guān)鍵詞】：Paxos算法 副本 結(jié)構(gòu)化存儲 R-tree
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要5-6
• abstract6-9
• 第一章 引言9-12
• 1.1 研究背景9-10
• 1.2 主要工作10-11
• 1.3 論文內(nèi)容組織11
• 1.4 本章小結(jié)11-12
• 第二章 研究現(xiàn)狀與相關(guān)工作12-30
• 2.1 POI概述12
• 2.2 結(jié)構(gòu)化存儲系統(tǒng)簡介12-22
• 2.2.1 Bigtable12-15
• 2.2.2 Dynamo15-18
• 2.2.3 Spanner18-22
• 2.3 元數(shù)據(jù)組織方式22-25
• 2.3.1 Bigtable22-23
• 2.3.2 Dynamo23-25
• 2.4 容錯(cuò)機(jī)制25-29
• 2.4.1 master/slave25-26
• 2.4.2 Multi-master26-29
• 2.5 本章小結(jié)29-30
• 第三章 系統(tǒng)分析與總體設(shè)計(jì)30-54
• 3.1 系統(tǒng)需求分析30-33
• 3.1.1 CBase存儲系統(tǒng)總體需求30-31
• 3.1.2 元數(shù)據(jù)管理模塊功能性需求31-32
• 3.1.3 元數(shù)據(jù)管理模塊非功能性需求32-33
• 3.2 元數(shù)據(jù)管理模塊技術(shù)要點(diǎn)33-41
• 3.2.1 基于R-樹的元數(shù)據(jù)管理策略33-35
• 3.2.2 基于Paxos算法的數(shù)據(jù)同步機(jī)制35-38
• 3.2.3 Leader租約機(jī)制38-39
• 3.2.4 基于快照的故障恢復(fù)策略39-41
• 3.3 元數(shù)據(jù)管理模塊架構(gòu)設(shè)計(jì)41-45
• 3.3.1 元數(shù)據(jù)管理模塊總體架構(gòu)41-43
• 3.3.2 元數(shù)據(jù)管理模塊子模塊設(shè)計(jì)43
• 3.3.3 元數(shù)據(jù)管理模塊進(jìn)程設(shè)計(jì)43-45
• 3.4 元數(shù)據(jù)管理模塊基本流程設(shè)計(jì)45-53
• 3.4.1 插入元數(shù)據(jù)46-47
• 3.4.2 更新元數(shù)據(jù)47-49
• 3.4.3 刪除元數(shù)據(jù)49-50
• 3.4.4 查詢元數(shù)據(jù)50-51
• 3.4.5 創(chuàng)建快照51-52
• 3.4.6 故障恢復(fù)過程52-53
• 3.5 本章小結(jié)53-54
• 第四章 系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)54-69
• 4.1 網(wǎng)絡(luò)通信子模塊設(shè)計(jì)與實(shí)現(xiàn)54-58
• 4.2 業(yè)務(wù)無關(guān)線程池子模塊設(shè)計(jì)與實(shí)現(xiàn)58-62
• 4.3 通用定時(shí)器子模塊設(shè)計(jì)與實(shí)現(xiàn)62-63
• 4.4 日志管理子模塊設(shè)計(jì)與實(shí)現(xiàn)63-64
• 4.5 元數(shù)據(jù)核心管理子模塊設(shè)計(jì)與實(shí)現(xiàn)64-68
• 4.5.1 核心任務(wù)類64-65
• 4.5.2 任務(wù)管理類65-66
• 4.5.3 R-tree算法類66-68
• 4.6 本章小結(jié)68-69
• 第五章 系統(tǒng)測試69-76
• 5.1 測試環(huán)境與方法69
• 5.2 系統(tǒng)功能測試69-73
• 5.3 系統(tǒng)性能測試73-75
• 5.3.1 插入測試73-74
• 5.3.2 更新測試74
• 5.3.3 查詢測試74-75
• 5.4 本章小結(jié)75-76
• 第六章 總結(jié)與展望76-77
• 致謝77-78
• 參考文獻(xiàn)78-80
• 碩士期間科研成果80-81

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 張權(quán)范;;UML在中小型企業(yè)產(chǎn)品技術(shù)數(shù)據(jù)管理模塊開發(fā)中的應(yīng)用——以株洲電力機(jī)車廠電器有限公司為例[J];中國管理信息化;2008年15期

2 錢憶平,盧達(dá),陳金星;基于VB和ACESS的提花機(jī)用電磁閥電磁參數(shù)測試系統(tǒng)數(shù)據(jù)管理模塊的設(shè)計(jì)[J];常熟高專學(xué)報(bào);2003年06期

3 田杰;胡秋霞;楊龍;;基于DRIS的養(yǎng)分診斷程序的實(shí)現(xiàn)[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年20期

4 ;[J];;年期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 洪明;張亞君;;便攜式心電檢測儀的設(shè)計(jì)與開發(fā)[A];2007'儀表，自動(dòng)化及先進(jìn)集成技術(shù)大會論文集（一）[C];2007年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 劉書香;首都師范大學(xué) 以評促建 以建助學(xué)[N];中國計(jì)算機(jī)報(bào);2004年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 蘇東;分布式結(jié)構(gòu)化存儲系統(tǒng)元數(shù)據(jù)管理模塊設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

2 陳[，

本文編號：867967