本文關鍵詞：分布式存儲系統可用性與一致性研究　出處：《華中科技大學》2013年碩士論文　論文類型：學位論文

  更多相關文章： 分布式存儲 高可用 一致性 可擴展性 分區(qū)容忍性

【摘要】：分布式系統中的一致性，可用性，分區(qū)容忍性，可擴展性等問題一直是困擾分布式存儲系統設計實現的幾個難題，很多分布式文件系統和存儲系統的設計目標都是如何提升系統的性能，，可擴展性等。系統研究如何在廉價的普通設備上，構建高可用的分布式存儲服務。系統為一分布式KV（key value）存儲系統，使用外部高可用性系統部件Zookeeper進行Leader選舉，使得在Leader節(jié)點失效時能夠自動重新選舉一新的Leader繼續(xù)提供服務。采用類Paxos多數派協議實現分布式副本，實現多副本之間的強一致性，在三個副本的情況下，確保由于各種異常比如網絡，磁盤，進程故障等導致一個副本不可用情況下系統繼續(xù)正常運行。Leader（主）節(jié)點與Follower（從）節(jié)點能夠在宕機啟動后自動恢復，并且確�；謴秃笙到y寫入成功數據不會丟失。系統支持每份數據三副本，支持對數據進行哈希分區(qū)提高系統擴展性，分區(qū)后系統能夠實現很好的線性擴展性。系統向客戶提供可選的一致性服務，其中一種為強一致性服務，寫入成功后即可立即被所有客戶端讀取到。另一種為較實用的單調一致性，保證不會讀到比之前讀到數據更老的數據。 測試表明系統使用的分布式副本協議開銷較小，并且在通過將網絡與磁盤操作并行化，多請求執(zhí)行之間并行化以及將所有的寫操作首先轉化為對日志文件的順序操作等優(yōu)化措施之后大大提高了系統的性能，寫性能基本已經達到了磁盤所能提供性能的極限。類Paxos多數派分布式協議確實是分布式環(huán)境中提供高可用性服務的可行性較強的協議方案。能提供較好的一致性，可用性，并且有較好的分區(qū)容忍性。
[Abstract]:The problems of consistency, availability, partition tolerance and extensibility in distributed system are always difficult problems in the design and implementation of distributed storage system. Many distributed file systems and storage systems are designed to improve system performance, scalability, and so on. Build a highly available distributed storage service. The system is a distributed KV(key value) storage system. Use the external high availability system component Zookeeper for the Leader election. This makes it possible to automatically re-elect a new Leader to continue to provide services when the Leader node fails. Distributed replicas are implemented using the Paxos like majority protocol. Achieve strong consistency between multiple replicas, in the case of three replicas, ensure that due to various exceptions such as network, disk. Process failures, etc., cause the system to continue running normally when a copy is unavailable. The primary and follower nodes can automatically recover after a downtime startup. The system supports three copies of each data, and supports hash partitioning of the data to improve the scalability of the system. The system can achieve good linear expansibility after partitioning. The system provides the customer with optional consistency service, one of which is strong consistency service. The other is a more practical monotone consistency that guarantees that you won't read older data than you read before. The test results show that the distributed replica protocol used by the system is less expensive and is parallelizing network and disk operations. Optimization measures such as parallelizing the execution of multiple requests and converting all write operations first into sequential operations on log files greatly improve the performance of the system. Write performance has basically reached the limits of the disk can provide performance. Paxos majority distributed protocol is indeed a distributed environment to provide high availability service is more feasible protocol scheme. Consistency. Availability and good partition tolerance.
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333

【引證文獻】

相關博士學位論文 前1條

1 李曉娜;面向SaaS應用的多租戶數據放置機制研究[D];山東大學;2015年

相關碩士學位論文 前5條

1 王振升;可重構堆疊存儲系統的設計及實現研究[D];太原理工大學;2016年

2 胡雪婧;基于ZooKeeper的分布式系統的消息發(fā)送機制的設計與實現[D];吉林大學;2016年

3 楊光;面向增量迭代任務的問題集編程模型的設計與實現[D];華南理工大學;2015年

4 鄧亮;基于分布式版本控制工具的個性化文件同步系統設計與實現[D];安徽大學;2016年

5 何雄;大小文件跨網絡集群快速遷移協議[D];電子科技大學;2015年

本文編號：1427203