“異地多活”分布式存儲系統(tǒng)設(shè)計和實現(xiàn)
發(fā)布時間:2021-05-05 18:06
隨著互聯(lián)網(wǎng)進入了大數(shù)據(jù)和云計算時代,分布式存儲技術(shù)近年來受到了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注;為了解決服務(wù)器壓力過大、異地快速容災(zāi)和用戶就近訪問等問題,基于異地多活、分布式CAP理論,分析了分布式存儲的特性、應(yīng)用場景和技術(shù)挑戰(zhàn),進而利用開源的Redis NoSql數(shù)據(jù)庫,RabbitMQ消息隊列等技術(shù),搭建了一個滿足最終一致性,可用性和分區(qū)容忍性的"異地多活"分布式存儲系統(tǒng);通過對系統(tǒng)的壓力測試結(jié)果表明,基本可以滿足工業(yè)級應(yīng)用的吞吐量和一致性的要求。
【文章來源】:計算機測量與控制. 2020,28(04)
【文章頁數(shù)】:6 頁
【文章目錄】:
0 引言
1 異地多活的概念
2 分布式系統(tǒng)的CAP理論
3 異地多活分布式存儲系統(tǒng)的挑戰(zhàn)
4 異地多活分布式存儲系統(tǒng)的設(shè)計
4.1 系統(tǒng)框架
4.2 實現(xiàn)方案
4.2.1 引入中間代理層redisProxy節(jié)點
4.2.2 寫沖突問題的解決機制
4.2.3 引入第三方消息隊列,增強同步消息傳遞的可靠性
4.2.4 平滑的升級擴容機制
4.3 系統(tǒng)節(jié)點
4.3.1 業(yè)務(wù)節(jié)點(redis client)
4.3.2 redisProxy
4.3.3 RabbitMQ
4.3.4 redis
4.4 交互流程
4.4.1 讀數(shù)據(jù)流程
4.4.2 寫數(shù)據(jù)流程
4.4.3 同步遠端數(shù)據(jù)流
4.5 容災(zāi)設(shè)計
4.5.1 redisProxy服務(wù)器宕機
4.5.2 RabbitMQ服務(wù)器宕機
4.5.3 Redis服務(wù)器宕機
4.5.4 集群機房網(wǎng)絡(luò)不可用
4.6 升級擴容
4.7 一致性校驗和補償
5 模擬性能測試
6 結(jié)束語
【參考文獻】:
期刊論文
[1]面向海上戰(zhàn)術(shù)云的信息資源服務(wù)架構(gòu)設(shè)計[J]. 唐素純,李寧,于鉞,韋廣立. 艦船電子工程. 2019(02)
[2]關(guān)系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫的性能對比[J]. 杜麗娟. 智能計算機與應(yīng)用. 2017(03)
[3]Redis集群性能測試分析[J]. 柳皓亮,王麗,周陽辰. 微型機與應(yīng)用. 2016(10)
[4]異地雙活數(shù)據(jù)中心服務(wù)區(qū)域劃分優(yōu)化[J]. 丁建立,王斌強,張超. 計算機應(yīng)用與軟件. 2016(02)
[5]基于日志的泛在個人數(shù)據(jù)同步方法研究[J]. 何遠標(biāo),樂小虬,袁國華,許麗媛,管仲,周強. 現(xiàn)代圖書情報技術(shù). 2013(10)
[6]分布系統(tǒng)設(shè)計的CAP理論[J]. 陳明. 計算機教育. 2013(15)
[7]基于AMQP的異步通信實現(xiàn)及其在OpenStack項目中的應(yīng)用[J]. 李知杰. 軟件導(dǎo)刊. 2013(07)
[8]基于消息中間件的數(shù)據(jù)交換平臺傳輸框架設(shè)計[J]. 梁彥杰,廉東本. 計算機系統(tǒng)應(yīng)用. 2012(04)
[9]消息中間件的設(shè)計與實現(xiàn)[J]. 陳明,潘家銘,閻保平. 微電子學(xué)與計算機. 2005(04)
碩士論文
[1]“餓了么”早餐配置系統(tǒng)的設(shè)計與實現(xiàn)[D]. 許藝藍.北京交通大學(xué) 2018
[2]高可用可擴展集群化Redis設(shè)計與實現(xiàn)[D]. 閆明.西安電子科技大學(xué) 2014
本文編號:3170341
【文章來源】:計算機測量與控制. 2020,28(04)
【文章頁數(shù)】:6 頁
【文章目錄】:
0 引言
1 異地多活的概念
2 分布式系統(tǒng)的CAP理論
3 異地多活分布式存儲系統(tǒng)的挑戰(zhàn)
4 異地多活分布式存儲系統(tǒng)的設(shè)計
4.1 系統(tǒng)框架
4.2 實現(xiàn)方案
4.2.1 引入中間代理層redisProxy節(jié)點
4.2.2 寫沖突問題的解決機制
4.2.3 引入第三方消息隊列,增強同步消息傳遞的可靠性
4.2.4 平滑的升級擴容機制
4.3 系統(tǒng)節(jié)點
4.3.1 業(yè)務(wù)節(jié)點(redis client)
4.3.2 redisProxy
4.3.3 RabbitMQ
4.3.4 redis
4.4 交互流程
4.4.1 讀數(shù)據(jù)流程
4.4.2 寫數(shù)據(jù)流程
4.4.3 同步遠端數(shù)據(jù)流
4.5 容災(zāi)設(shè)計
4.5.1 redisProxy服務(wù)器宕機
4.5.2 RabbitMQ服務(wù)器宕機
4.5.3 Redis服務(wù)器宕機
4.5.4 集群機房網(wǎng)絡(luò)不可用
4.6 升級擴容
4.7 一致性校驗和補償
5 模擬性能測試
6 結(jié)束語
【參考文獻】:
期刊論文
[1]面向海上戰(zhàn)術(shù)云的信息資源服務(wù)架構(gòu)設(shè)計[J]. 唐素純,李寧,于鉞,韋廣立. 艦船電子工程. 2019(02)
[2]關(guān)系型數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫的性能對比[J]. 杜麗娟. 智能計算機與應(yīng)用. 2017(03)
[3]Redis集群性能測試分析[J]. 柳皓亮,王麗,周陽辰. 微型機與應(yīng)用. 2016(10)
[4]異地雙活數(shù)據(jù)中心服務(wù)區(qū)域劃分優(yōu)化[J]. 丁建立,王斌強,張超. 計算機應(yīng)用與軟件. 2016(02)
[5]基于日志的泛在個人數(shù)據(jù)同步方法研究[J]. 何遠標(biāo),樂小虬,袁國華,許麗媛,管仲,周強. 現(xiàn)代圖書情報技術(shù). 2013(10)
[6]分布系統(tǒng)設(shè)計的CAP理論[J]. 陳明. 計算機教育. 2013(15)
[7]基于AMQP的異步通信實現(xiàn)及其在OpenStack項目中的應(yīng)用[J]. 李知杰. 軟件導(dǎo)刊. 2013(07)
[8]基于消息中間件的數(shù)據(jù)交換平臺傳輸框架設(shè)計[J]. 梁彥杰,廉東本. 計算機系統(tǒng)應(yīng)用. 2012(04)
[9]消息中間件的設(shè)計與實現(xiàn)[J]. 陳明,潘家銘,閻保平. 微電子學(xué)與計算機. 2005(04)
碩士論文
[1]“餓了么”早餐配置系統(tǒng)的設(shè)計與實現(xiàn)[D]. 許藝藍.北京交通大學(xué) 2018
[2]高可用可擴展集群化Redis設(shè)計與實現(xiàn)[D]. 閆明.西安電子科技大學(xué) 2014
本文編號:3170341
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3170341.html
最近更新
教材專著