基于Redis的分布式緩存系統(tǒng)研究與應(yīng)用
發(fā)布時(shí)間:2021-05-16 12:02
受武陵山片區(qū)政府和企業(yè)的委托,進(jìn)行新型農(nóng)業(yè)數(shù)字化平臺(tái)的建設(shè)和推廣工作。隨著新型農(nóng)業(yè)數(shù)字化平臺(tái)在武陵山片區(qū)多家企業(yè)投入使用,平臺(tái)開始面臨由于企業(yè)用戶和消費(fèi)者用戶的數(shù)量急劇增加而帶來的極大挑戰(zhàn)。大量用戶頻繁操作會(huì)對(duì)數(shù)據(jù)庫(kù)造成巨大壓力,嚴(yán)重情況下會(huì)造成系統(tǒng)響應(yīng)時(shí)間過長(zhǎng)甚至系統(tǒng)崩潰的現(xiàn)象。如何提高平臺(tái)的高并發(fā)處理能力是一個(gè)重要的研究問題,目前常見的解決方案是采用Redis分布式緩存系統(tǒng)。為了提高平臺(tái)高并發(fā)場(chǎng)景下的響應(yīng)速度,需將熱點(diǎn)農(nóng)業(yè)數(shù)據(jù)分布到分布式緩存系統(tǒng)的各緩存節(jié)點(diǎn)中。其次,考慮到平臺(tái)隨著在武陵山片區(qū)的推廣,實(shí)驗(yàn)室研發(fā)的分布式緩存系統(tǒng)日后必然面臨擴(kuò)展。如何降低系統(tǒng)擴(kuò)展時(shí)各緩存節(jié)點(diǎn)產(chǎn)生數(shù)據(jù)遷移的代價(jià)也具有重要意義。因此,論文分析了分布式緩存系統(tǒng)的數(shù)據(jù)分布以及數(shù)據(jù)遷移的研究現(xiàn)狀,并對(duì)現(xiàn)有的數(shù)據(jù)分布以及數(shù)據(jù)遷移算法做出了改進(jìn)。主要完成了以下工作:(1)對(duì)基于虛擬節(jié)點(diǎn)的一致性哈希算法做出如下2個(gè)改進(jìn)。首先,針對(duì)該算法在實(shí)驗(yàn)室服務(wù)器節(jié)點(diǎn)性能參差不齊的情況下,容易導(dǎo)致各節(jié)點(diǎn)數(shù)據(jù)分布不均衡的問題,提出了WFCH算法。通過設(shè)計(jì)一種權(quán)重因子策略,在對(duì)物理節(jié)點(diǎn)分配虛擬節(jié)點(diǎn)映射時(shí)引入權(quán)重因...
【文章來源】:中南民族大學(xué)湖北省
【文章頁(yè)數(shù)】:64 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 研究背景與意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.3 本文主要工作
1.4 論文組織安排
第2章 項(xiàng)目依托及相關(guān)技術(shù)研究
2.1 項(xiàng)目依托
2.2 數(shù)據(jù)分布技術(shù)
2.2.1 一致性哈希算法
2.2.2 基于虛擬節(jié)點(diǎn)的一致性哈希算法
2.3 數(shù)據(jù)遷移技術(shù)
2.4 典型緩存系統(tǒng)
2.4.1 Memcached緩存系統(tǒng)
2.4.2 Redis緩存系統(tǒng)
2.4.3 緩存系統(tǒng)選擇
2.5 本章小結(jié)
第3章 分布式緩存系統(tǒng)數(shù)據(jù)分布算法
3.1 問題描述
3.2 改進(jìn)的基于虛擬節(jié)點(diǎn)的一致性哈希算法
3.2.1 WF_CH算法
3.2.2 DM_CH算法
3.3 實(shí)驗(yàn)結(jié)果與分析
3.3.1 實(shí)驗(yàn)環(huán)境
3.3.2 實(shí)驗(yàn)設(shè)計(jì)
3.3.3 評(píng)價(jià)指標(biāo)
3.3.4 實(shí)驗(yàn)結(jié)果及分析
3.4 本章小結(jié)
第4章 分布式緩存系統(tǒng)數(shù)據(jù)遷移算法
4.1 問題描述
4.2 改進(jìn)的數(shù)據(jù)遷移算法
4.2.1 均衡狀態(tài)定義
4.2.2 遷移對(duì)象選取
4.2.3 算法實(shí)現(xiàn)
4.3 實(shí)驗(yàn)結(jié)果與分析
4.3.1 實(shí)驗(yàn)環(huán)境
4.3.2 評(píng)價(jià)指標(biāo)
4.3.3 實(shí)驗(yàn)結(jié)果分析
4.4 本章小結(jié)
第5章 基于Reids的分布式緩存系統(tǒng)應(yīng)用
5.1 新型農(nóng)業(yè)數(shù)字化平臺(tái)架構(gòu)設(shè)計(jì)
5.1.1 原有架構(gòu)
5.1.2 改進(jìn)后架構(gòu)
5.2 分布式緩存機(jī)制在平臺(tái)中應(yīng)用
5.2.1 分布式緩存機(jī)制在產(chǎn)品溯源模塊中應(yīng)用
5.2.2 分布式緩存機(jī)制在環(huán)境數(shù)據(jù)模塊中應(yīng)用
5.2.3 分布式緩存機(jī)制在大數(shù)據(jù)中心模塊中應(yīng)用
5.3 系統(tǒng)性能測(cè)試
5.3.1 測(cè)試環(huán)境
5.3.2 實(shí)驗(yàn)設(shè)計(jì)
5.3.3 評(píng)價(jià)指標(biāo)
5.3.4 測(cè)試結(jié)果分析
5.4 本章小結(jié)
第6章 總結(jié)與展望
6.1 全文總結(jié)
6.2 未來工作展望
參考文獻(xiàn)
附錄 攻讀碩士學(xué)位期間獲得的成果
致謝
【參考文獻(xiàn)】:
期刊論文
[1]新常態(tài)下的互聯(lián)網(wǎng)經(jīng)濟(jì)發(fā)展對(duì)中國(guó)居民生活的影響[J]. 曾繼紅. 經(jīng)濟(jì)研究導(dǎo)刊. 2019(01)
[2]一種分布式緩存系統(tǒng)的關(guān)鍵技術(shù)及應(yīng)用[J]. 屠要峰,劉輝,張國(guó)良,劉春. 計(jì)算機(jī)科學(xué). 2018(05)
[3]基于高性能I/O技術(shù)的Memcached優(yōu)化研究[J]. 安仲奇,杜昊,李強(qiáng),霍志剛,馬捷. 計(jì)算機(jī)研究與發(fā)展. 2018(04)
[4]采用弧映射的雙層對(duì)象分布算法[J]. 聶世強(qiáng),伍衛(wèi)國(guó),崔金華,薛尚山,劉釗華. 西安交通大學(xué)學(xué)報(bào). 2018(06)
[5]基于Redis盾構(gòu)遠(yuǎn)程監(jiān)控系統(tǒng)設(shè)計(jì)[J]. 趙炯,劉玲錦,周奇才,熊肖磊. 隧道建設(shè)(中英文). 2018(01)
[6]一種基于TwemProxy的HBase索引緩存方案[J]. 瞿龍俊,李星毅. 信息技術(shù). 2017(10)
[7]基于Bully算法的Redis集群選舉方案優(yōu)化[J]. 王芬,顧乃杰,黃增士. 計(jì)算機(jī)科學(xué). 2017(10)
[8]工信部解讀《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》[J]. 中國(guó)信息安全. 2017(05)
[9]Redis數(shù)據(jù)庫(kù)可靠性與自適應(yīng)持久化改進(jìn)方案[J]. 余景寰,李貞昊. 信息系統(tǒng)工程. 2017(02)
[10]一致性哈希的數(shù)據(jù)集群存儲(chǔ)優(yōu)化策略研究[J]. 邱寧佳,胡小娟,王鵬,楊華民. 信息與控制. 2016(06)
碩士論文
[1]分布式即時(shí)通信系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 張鵬洋.北京化工大學(xué) 2018
[2]基于Redis技術(shù)的分布式緩存電商平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 歐陽(yáng)文臣.南昌大學(xué) 2018
[3]基于Redis的分布式Key-Value系統(tǒng)的優(yōu)化研究[D]. 周曉場(chǎng).華南理工大學(xué) 2018
[4]基于內(nèi)存數(shù)據(jù)庫(kù)Redis的眾包系統(tǒng)性能優(yōu)化[D]. 李詩(shī)云.浙江大學(xué) 2016
[5]基于分治思想0-1背包問題的并行算法研究[D]. 李凌霄.湖南大學(xué) 2011
本文編號(hào):3189654
【文章來源】:中南民族大學(xué)湖北省
【文章頁(yè)數(shù)】:64 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 研究背景與意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.3 本文主要工作
1.4 論文組織安排
第2章 項(xiàng)目依托及相關(guān)技術(shù)研究
2.1 項(xiàng)目依托
2.2 數(shù)據(jù)分布技術(shù)
2.2.1 一致性哈希算法
2.2.2 基于虛擬節(jié)點(diǎn)的一致性哈希算法
2.3 數(shù)據(jù)遷移技術(shù)
2.4 典型緩存系統(tǒng)
2.4.1 Memcached緩存系統(tǒng)
2.4.2 Redis緩存系統(tǒng)
2.4.3 緩存系統(tǒng)選擇
2.5 本章小結(jié)
第3章 分布式緩存系統(tǒng)數(shù)據(jù)分布算法
3.1 問題描述
3.2 改進(jìn)的基于虛擬節(jié)點(diǎn)的一致性哈希算法
3.2.1 WF_CH算法
3.2.2 DM_CH算法
3.3 實(shí)驗(yàn)結(jié)果與分析
3.3.1 實(shí)驗(yàn)環(huán)境
3.3.2 實(shí)驗(yàn)設(shè)計(jì)
3.3.3 評(píng)價(jià)指標(biāo)
3.3.4 實(shí)驗(yàn)結(jié)果及分析
3.4 本章小結(jié)
第4章 分布式緩存系統(tǒng)數(shù)據(jù)遷移算法
4.1 問題描述
4.2 改進(jìn)的數(shù)據(jù)遷移算法
4.2.1 均衡狀態(tài)定義
4.2.2 遷移對(duì)象選取
4.2.3 算法實(shí)現(xiàn)
4.3 實(shí)驗(yàn)結(jié)果與分析
4.3.1 實(shí)驗(yàn)環(huán)境
4.3.2 評(píng)價(jià)指標(biāo)
4.3.3 實(shí)驗(yàn)結(jié)果分析
4.4 本章小結(jié)
第5章 基于Reids的分布式緩存系統(tǒng)應(yīng)用
5.1 新型農(nóng)業(yè)數(shù)字化平臺(tái)架構(gòu)設(shè)計(jì)
5.1.1 原有架構(gòu)
5.1.2 改進(jìn)后架構(gòu)
5.2 分布式緩存機(jī)制在平臺(tái)中應(yīng)用
5.2.1 分布式緩存機(jī)制在產(chǎn)品溯源模塊中應(yīng)用
5.2.2 分布式緩存機(jī)制在環(huán)境數(shù)據(jù)模塊中應(yīng)用
5.2.3 分布式緩存機(jī)制在大數(shù)據(jù)中心模塊中應(yīng)用
5.3 系統(tǒng)性能測(cè)試
5.3.1 測(cè)試環(huán)境
5.3.2 實(shí)驗(yàn)設(shè)計(jì)
5.3.3 評(píng)價(jià)指標(biāo)
5.3.4 測(cè)試結(jié)果分析
5.4 本章小結(jié)
第6章 總結(jié)與展望
6.1 全文總結(jié)
6.2 未來工作展望
參考文獻(xiàn)
附錄 攻讀碩士學(xué)位期間獲得的成果
致謝
【參考文獻(xiàn)】:
期刊論文
[1]新常態(tài)下的互聯(lián)網(wǎng)經(jīng)濟(jì)發(fā)展對(duì)中國(guó)居民生活的影響[J]. 曾繼紅. 經(jīng)濟(jì)研究導(dǎo)刊. 2019(01)
[2]一種分布式緩存系統(tǒng)的關(guān)鍵技術(shù)及應(yīng)用[J]. 屠要峰,劉輝,張國(guó)良,劉春. 計(jì)算機(jī)科學(xué). 2018(05)
[3]基于高性能I/O技術(shù)的Memcached優(yōu)化研究[J]. 安仲奇,杜昊,李強(qiáng),霍志剛,馬捷. 計(jì)算機(jī)研究與發(fā)展. 2018(04)
[4]采用弧映射的雙層對(duì)象分布算法[J]. 聶世強(qiáng),伍衛(wèi)國(guó),崔金華,薛尚山,劉釗華. 西安交通大學(xué)學(xué)報(bào). 2018(06)
[5]基于Redis盾構(gòu)遠(yuǎn)程監(jiān)控系統(tǒng)設(shè)計(jì)[J]. 趙炯,劉玲錦,周奇才,熊肖磊. 隧道建設(shè)(中英文). 2018(01)
[6]一種基于TwemProxy的HBase索引緩存方案[J]. 瞿龍俊,李星毅. 信息技術(shù). 2017(10)
[7]基于Bully算法的Redis集群選舉方案優(yōu)化[J]. 王芬,顧乃杰,黃增士. 計(jì)算機(jī)科學(xué). 2017(10)
[8]工信部解讀《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》[J]. 中國(guó)信息安全. 2017(05)
[9]Redis數(shù)據(jù)庫(kù)可靠性與自適應(yīng)持久化改進(jìn)方案[J]. 余景寰,李貞昊. 信息系統(tǒng)工程. 2017(02)
[10]一致性哈希的數(shù)據(jù)集群存儲(chǔ)優(yōu)化策略研究[J]. 邱寧佳,胡小娟,王鵬,楊華民. 信息與控制. 2016(06)
碩士論文
[1]分布式即時(shí)通信系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 張鵬洋.北京化工大學(xué) 2018
[2]基于Redis技術(shù)的分布式緩存電商平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 歐陽(yáng)文臣.南昌大學(xué) 2018
[3]基于Redis的分布式Key-Value系統(tǒng)的優(yōu)化研究[D]. 周曉場(chǎng).華南理工大學(xué) 2018
[4]基于內(nèi)存數(shù)據(jù)庫(kù)Redis的眾包系統(tǒng)性能優(yōu)化[D]. 李詩(shī)云.浙江大學(xué) 2016
[5]基于分治思想0-1背包問題的并行算法研究[D]. 李凌霄.湖南大學(xué) 2011
本文編號(hào):3189654
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3189654.html
最近更新
教材專著