本文關(guān)鍵詞：分布式存儲(chǔ)系統(tǒng)可用性與一致性研究　出處：《華中科技大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 分布式存儲(chǔ) 高可用 一致性 可擴(kuò)展性 分區(qū)容忍性

【摘要】：分布式系統(tǒng)中的一致性，可用性，分區(qū)容忍性，可擴(kuò)展性等問題一直是困擾分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)的幾個(gè)難題，很多分布式文件系統(tǒng)和存儲(chǔ)系統(tǒng)的設(shè)計(jì)目標(biāo)都是如何提升系統(tǒng)的性能，，可擴(kuò)展性等。系統(tǒng)研究如何在廉價(jià)的普通設(shè)備上，構(gòu)建高可用的分布式存儲(chǔ)服務(wù)。系統(tǒng)為一分布式KV（key value）存儲(chǔ)系統(tǒng)，使用外部高可用性系統(tǒng)部件Zookeeper進(jìn)行Leader選舉，使得在Leader節(jié)點(diǎn)失效時(shí)能夠自動(dòng)重新選舉一新的Leader繼續(xù)提供服務(wù)。采用類Paxos多數(shù)派協(xié)議實(shí)現(xiàn)分布式副本，實(shí)現(xiàn)多副本之間的強(qiáng)一致性，在三個(gè)副本的情況下，確保由于各種異常比如網(wǎng)絡(luò)，磁盤，進(jìn)程故障等導(dǎo)致一個(gè)副本不可用情況下系統(tǒng)繼續(xù)正常運(yùn)行。Leader（主）節(jié)點(diǎn)與Follower（從）節(jié)點(diǎn)能夠在宕機(jī)啟動(dòng)后自動(dòng)恢復(fù)，并且確保恢復(fù)后系統(tǒng)寫入成功數(shù)據(jù)不會(huì)丟失。系統(tǒng)支持每份數(shù)據(jù)三副本，支持對(duì)數(shù)據(jù)進(jìn)行哈希分區(qū)提高系統(tǒng)擴(kuò)展性，分區(qū)后系統(tǒng)能夠?qū)崿F(xiàn)很好的線性擴(kuò)展性。系統(tǒng)向客戶提供可選的一致性服務(wù)，其中一種為強(qiáng)一致性服務(wù)，寫入成功后即可立即被所有客戶端讀取到。另一種為較實(shí)用的單調(diào)一致性，保證不會(huì)讀到比之前讀到數(shù)據(jù)更老的數(shù)據(jù)。 測(cè)試表明系統(tǒng)使用的分布式副本協(xié)議開銷較小，并且在通過將網(wǎng)絡(luò)與磁盤操作并行化，多請(qǐng)求執(zhí)行之間并行化以及將所有的寫操作首先轉(zhuǎn)化為對(duì)日志文件的順序操作等優(yōu)化措施之后大大提高了系統(tǒng)的性能，寫性能基本已經(jīng)達(dá)到了磁盤所能提供性能的極限。類Paxos多數(shù)派分布式協(xié)議確實(shí)是分布式環(huán)境中提供高可用性服務(wù)的可行性較強(qiáng)的協(xié)議方案。能提供較好的一致性，可用性，并且有較好的分區(qū)容忍性。
[Abstract]:The problems of consistency, availability, partition tolerance and extensibility in distributed system are always difficult problems in the design and implementation of distributed storage system. Many distributed file systems and storage systems are designed to improve system performance, scalability, and so on. Build a highly available distributed storage service. The system is a distributed KV(key value) storage system. Use the external high availability system component Zookeeper for the Leader election. This makes it possible to automatically re-elect a new Leader to continue to provide services when the Leader node fails. Distributed replicas are implemented using the Paxos like majority protocol. Achieve strong consistency between multiple replicas, in the case of three replicas, ensure that due to various exceptions such as network, disk. Process failures, etc., cause the system to continue running normally when a copy is unavailable. The primary and follower nodes can automatically recover after a downtime startup. The system supports three copies of each data, and supports hash partitioning of the data to improve the scalability of the system. The system can achieve good linear expansibility after partitioning. The system provides the customer with optional consistency service, one of which is strong consistency service. The other is a more practical monotone consistency that guarantees that you won't read older data than you read before. The test results show that the distributed replica protocol used by the system is less expensive and is parallelizing network and disk operations. Optimization measures such as parallelizing the execution of multiple requests and converting all write operations first into sequential operations on log files greatly improve the performance of the system. Write performance has basically reached the limits of the disk can provide performance. Paxos majority distributed protocol is indeed a distributed environment to provide high availability service is more feasible protocol scheme. Consistency. Availability and good partition tolerance.
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【引證文獻(xiàn)】

相關(guān)博士學(xué)位論文 前1條

1 李曉娜;面向SaaS應(yīng)用的多租戶數(shù)據(jù)放置機(jī)制研究[D];山東大學(xué);2015年

相關(guān)碩士學(xué)位論文 前5條

1 王振升;可重構(gòu)堆疊存儲(chǔ)系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)研究[D];太原理工大學(xué);2016年

2 胡雪婧;基于ZooKeeper的分布式系統(tǒng)的消息發(fā)送機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2016年

3 楊光;面向增量迭代任務(wù)的問題集編程模型的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

4 鄧亮;基于分布式版本控制工具的個(gè)性化文件同步系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];安徽大學(xué);2016年

5 何雄;大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議[D];電子科技大學(xué);2015年

本文編號(hào)：1427203