本文關(guān)鍵詞：云計(jì)算平臺(tái)中內(nèi)存緩存系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 云計(jì)算 內(nèi)存緩存 memcached 高可用性

【摘要】：在云計(jì)算平臺(tái)中,為了加快云計(jì)算平臺(tái)中應(yīng)用的訪問速度,內(nèi)存緩存技術(shù)的應(yīng)用已經(jīng)十分普遍了,內(nèi)存緩存的使用將極大地提升用戶使用云應(yīng)用的響應(yīng)速度。大部分云計(jì)算服務(wù)提供商的云計(jì)算平臺(tái)中都開始使用內(nèi)存緩存系統(tǒng)了,如亞馬遜云計(jì)算服務(wù)AWS使用的內(nèi)存緩存系統(tǒng)ElastiCache。本文設(shè)計(jì)的內(nèi)存緩存系統(tǒng)PRCACHE是基于開源memcached并進(jìn)行了一些改進(jìn)而完成的。首先,本文分析了傳統(tǒng)memcached部署中存在的問題,memcached本身是集中式的,memcached的分布式依賴于客戶端。傳統(tǒng)的memcached部署不僅容易出現(xiàn)負(fù)載不均衡的問題,而且容易出現(xiàn)單點(diǎn)失效的問題。在對(duì)傳統(tǒng)部署分析的基礎(chǔ)上提出了對(duì)本文設(shè)計(jì)的PRCACHE緩存系統(tǒng)的需求,PRCACHE需要滿足高可用性,支持大規(guī)模并發(fā)且做到負(fù)載均衡。根據(jù)這兩點(diǎn)需求,提出PRCACHE緩存系統(tǒng)的總體架構(gòu):由網(wǎng)絡(luò)接口模塊、請(qǐng)求處理模塊和存儲(chǔ)處理模塊組成,請(qǐng)求處理模塊由負(fù)載均衡子模塊和緩存?zhèn)浞葑幽K組成,存儲(chǔ)處理模塊由數(shù)據(jù)存儲(chǔ)子模塊和緩存同步子模塊組成。緩存系統(tǒng)的高可用性由緩存?zhèn)浞莺途彺嫱阶幽K保證,大規(guī)模并發(fā)的支持及負(fù)載均衡的實(shí)現(xiàn)由網(wǎng)絡(luò)接口模塊和負(fù)載均衡子模塊保證。其次,基于對(duì)PRCACHE的需求分析,本文對(duì)各功能模塊進(jìn)行了詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)。網(wǎng)絡(luò)接口模塊采用高性能I/O框架庫(kù)libevent作為用戶請(qǐng)求的事件處理機(jī)制,可以支持大并發(fā)訪問需求。請(qǐng)求處理模塊的實(shí)現(xiàn)基于緩存代理magent,其中負(fù)載均衡子模塊設(shè)計(jì)采用一致性hash算法作為負(fù)載均衡算法處理用戶的訪問請(qǐng)求,可將用戶的請(qǐng)求均勻的分?jǐn)傊良褐械姆⻊?wù)器,實(shí)現(xiàn)了PRCACHE的負(fù)載均衡。緩存?zhèn)浞葑幽K設(shè)計(jì)時(shí)將服務(wù)器集群劃分為master集群和backup集群,主備集群之間始終保持相同的緩存數(shù)據(jù),備集群將在主集群中服務(wù)器出現(xiàn)故障時(shí)提供緩存服務(wù),保證了PRCACHE的高可用性。數(shù)據(jù)存儲(chǔ)子模塊負(fù)責(zé)用戶數(shù)據(jù)的實(shí)際存儲(chǔ)工作,采用了slab allocator內(nèi)存管理機(jī)制進(jìn)行內(nèi)存的分配和回收。緩存同步子模塊是在memcached的源碼基礎(chǔ)上通過添加改進(jìn)代碼而實(shí)現(xiàn)的,改進(jìn)后的memcached服務(wù)進(jìn)程使原本不進(jìn)行相互通信的memcached做到了同步通信,實(shí)現(xiàn)了集群中服務(wù)器一主一從的master/slave同步功能,緩存同步解決了集群中由于意外導(dǎo)致主備集群之間數(shù)據(jù)不一致的問題,提升了PRCACHE的高可用性。最后,本文對(duì)PRCACHE系統(tǒng)和傳統(tǒng)memcached部署進(jìn)行了對(duì)比測(cè)試,測(cè)試結(jié)果表明PRCACHE緩存系統(tǒng)具備了高可用性,且在大規(guī)模并發(fā)環(huán)境下運(yùn)行良好,做到了負(fù)載均衡。
【關(guān)鍵詞】：云計(jì)算 內(nèi)存緩存 memcached 高可用性
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 緒論10-14
• 1.1 課題研究背景10-11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀11-12
• 1.3 課題研究?jī)?nèi)容12-13
• 1.4 論文的結(jié)構(gòu)安排13-14
• 第二章 相關(guān)技術(shù)研究分析14-23
• 2.1 云計(jì)算服務(wù)模式14-15
• 2.2 緩存相關(guān)技術(shù)15-20
• 2.2.1 緩存技術(shù)原理15-16
• 2.2.2 緩存產(chǎn)品16-20
• 2.3 緩存代理20-22
• 2.3.1 Magent20
• 2.3.2 Moxi20-21
• 2.3.3 Twemproxy21-22
• 2.4 本章小結(jié)22-23
• 第三章 云計(jì)算平臺(tái)中內(nèi)存緩存系統(tǒng)的分析及設(shè)計(jì)23-49
• 3.1 PRCACHE緩存系統(tǒng)的需求分析23-25
• 3.2 PRCACHE緩存系統(tǒng)的系統(tǒng)架構(gòu)25-27
• 3.3 PRCACHE緩存系統(tǒng)網(wǎng)絡(luò)接口模塊的設(shè)計(jì)27-32
• 3.3.1 I/O模型的對(duì)比選擇28-30
• 3.3.2 I/O請(qǐng)求處理流程設(shè)計(jì)30-32
• 3.4 PRCACHE緩存系統(tǒng)請(qǐng)求處理模塊的設(shè)計(jì)32-41
• 3.4.1 負(fù)載均衡子模塊的設(shè)計(jì)32-39
• 3.4.2 緩存?zhèn)浞葑幽K的設(shè)計(jì)39-41
• 3.5 PRCACHE緩存系統(tǒng)存儲(chǔ)處理模塊的設(shè)計(jì)41-48
• 3.5.1 數(shù)據(jù)存儲(chǔ)子模塊的設(shè)計(jì)42-46
• 3.5.2 緩存同步子模塊的設(shè)計(jì)46-48
• 3.6 本章小結(jié)48-49
• 第四章 云計(jì)算平臺(tái)中內(nèi)存緩存系統(tǒng)的實(shí)現(xiàn)49-64
• 4.1 PRCACHE緩存系統(tǒng)網(wǎng)絡(luò)接口模塊的實(shí)現(xiàn)49-52
• 4.1.1 libevent的部署49
• 4.1.2 模塊服務(wù)的具體實(shí)現(xiàn)49-52
• 4.2 PRCACHE緩存系統(tǒng)請(qǐng)求處理模塊的實(shí)現(xiàn)52-56
• 4.2.1 負(fù)載均衡子模塊的實(shí)現(xiàn)52-54
• 4.2.2 緩存?zhèn)浞葑幽K的實(shí)現(xiàn)54-56
• 4.3 PRCACHE緩存系統(tǒng)存儲(chǔ)處理模塊的實(shí)現(xiàn)56-63
• 4.3.1 數(shù)據(jù)存儲(chǔ)子模塊的實(shí)現(xiàn)56-62
• 4.3.2 緩存同步子模塊的實(shí)現(xiàn)62-63
• 4.4 本章小結(jié)63-64
• 第五章 系統(tǒng)測(cè)試及分析64-77
• 5.1 測(cè)試目標(biāo)64
• 5.2 測(cè)試環(huán)境64-66
• 5.2.1 測(cè)試環(huán)境配置64-65
• 5.2.2 測(cè)試環(huán)境搭建65-66
• 5.3 測(cè)試結(jié)果及分析66-75
• 5.3.1 功能測(cè)試66-72
• 5.3.2 性能測(cè)試72-75
• 5.4 本章小結(jié)75-77
• 第六章 總結(jié)與展望77-79
• 6.1 全文的主要工作77-78
• 6.2 后續(xù)工作展望78-79
• 致謝79-80
• 參考文獻(xiàn)80-83

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 ;云計(jì)算下的互聯(lián)網(wǎng)信息匯聚和熱點(diǎn)緩存系統(tǒng)[J];軟件和信息服務(wù);2011年06期

2 ;2011年5款備受關(guān)注的開源NoSQL數(shù)據(jù)庫(kù)[J];硅谷;2012年01期

3 林信達(dá);柏林;;利用緩存系統(tǒng)提升寬帶用戶體驗(yàn)[J];電信技術(shù);2011年12期

4 王侃;陳志奎;;面向存儲(chǔ)服務(wù)的分布式緩存系統(tǒng)研究[J];計(jì)算機(jī)工程;2010年15期

5 王必堯;王勁林;吳剛;劉學(xué);;一種應(yīng)用于分布式緩存系統(tǒng)中的緩存部署算法[J];小型微型計(jì)算機(jī)系統(tǒng);2012年08期

6 韓向春;郭婷婷;林星宇;豐保杰;;集群緩存系統(tǒng)中代理緩存技術(shù)的研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年20期

7 崔大海;曹炳堯;;順序流媒體緩存系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電子測(cè)量技術(shù);2012年10期

8 陳森利;吳福疆;林洪浩;李楠;;電力計(jì)量采集系統(tǒng)中分布式緩存系統(tǒng)研究[J];信息技術(shù);2014年07期

9 祁暉;劉衍珩;曲良東;魏達(dá);;車載中心式導(dǎo)航系統(tǒng)中緩存系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];吉林大學(xué)學(xué)報(bào)(工學(xué)版);2012年03期

10 黃曼萍;80386高性能超高速緩存系統(tǒng)[J];航空電子技術(shù);1993年03期

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前1條

1 ;XceL4加速緩存系統(tǒng)[N];計(jì)算機(jī)世界;2002年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 房振滿;多核緩存系統(tǒng)優(yōu)化及評(píng)測(cè)研究[D];復(fù)旦大學(xué);2014年

2 姚士佳;視頻分發(fā)與緩存協(xié)同優(yōu)化技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 閆林;基于SSD的HDD緩存系統(tǒng)研究[D];西安電子科技大學(xué);2014年

2 沈偉;云計(jì)算平臺(tái)下分布式緩存系統(tǒng)的性能優(yōu)化研究[D];西安電子科技大學(xué);2014年

3 沈之強(qiáng);云存儲(chǔ)系統(tǒng)中的網(wǎng)絡(luò)緩存關(guān)鍵技術(shù)研究[D];杭州電子科技大學(xué);2015年

4 金冉冉;云計(jì)算平臺(tái)中內(nèi)存緩存系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

5 張勇;WebCache技術(shù)研究及應(yīng)用[D];西安科技大學(xué);2015年

6 孫赫;大規(guī)模協(xié)同計(jì)算平臺(tái)下緩存層的研究與優(yōu)化[D];西安電子科技大學(xué);2015年

7 蘭向宇;基于FPGA的數(shù)據(jù)壓縮緩存系統(tǒng)研究[D];西安電子科技大學(xué);2015年

8 陳濤;基于內(nèi)存的分布式緩存系統(tǒng)設(shè)計(jì)[D];華中師范大學(xué);2012年

9 鄭偉;基于云計(jì)算的分布式緩存系統(tǒng)的研究和實(shí)現(xiàn)[D];重慶大學(xué);2012年

10 申彤;云存儲(chǔ)網(wǎng)關(guān)的分布式緩存系統(tǒng)的研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

，

本文編號(hào)：1114879