【摘要】：隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大和用戶數(shù)量的急劇增加,傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫訪問面臨的壓力越來越大,提高M(jìn)ySQL等結(jié)構(gòu)化數(shù)據(jù)庫的讀寫性能成了一個(gè)亟待解決的問題。Redis內(nèi)存數(shù)據(jù)庫將所有數(shù)據(jù)放于內(nèi)存中進(jìn)行管理,大大提高了數(shù)據(jù)訪問的性能,適用于數(shù)據(jù)緩存管理。在Redis中設(shè)計(jì)緩存策略實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)的緩存對減輕MySQL數(shù)據(jù)庫訪問壓力和提高讀寫性能具有重要的理論意義和實(shí)用價(jià)值。在對結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)特征、存取過程深入分析的基礎(chǔ)上,使用結(jié)構(gòu)化數(shù)據(jù)庫和代理服務(wù)器的架構(gòu),并在代理服務(wù)器上部署了Redis內(nèi)存數(shù)據(jù)庫,在Redis上設(shè)計(jì)并實(shí)現(xiàn)了針對結(jié)構(gòu)化數(shù)據(jù)的緩存系統(tǒng)。針對部分查詢結(jié)果集過于龐大的情況,設(shè)計(jì)了一種基于用戶查詢頻率、讀寫比例等行為的前綴緩存方法,緩存塊中僅僅緩存前綴部分?jǐn)?shù)據(jù)。當(dāng)用戶實(shí)際需求增加時(shí),即時(shí)擴(kuò)大緩存塊,補(bǔ)充用戶需求的數(shù)據(jù);當(dāng)用戶對該塊數(shù)據(jù)需求減少時(shí),則采用惰性更新方案設(shè)置待更新標(biāo)志,等待內(nèi)存不足時(shí)統(tǒng)一進(jìn)行內(nèi)存空間的壓縮。該方法不僅可以更好滿足用戶需求,還可以在內(nèi)存不足時(shí)釋放大量內(nèi)存空間,降低緩存替換的概率。當(dāng)緩存空間不足時(shí),系統(tǒng)還提出了針對查詢結(jié)果集類型的自適應(yīng)緩存替換算法,將Hybrid替換算法進(jìn)行改進(jìn)并和LFU替換算法相結(jié)合,以更好滿足結(jié)構(gòu)化數(shù)據(jù)緩存的實(shí)際需求。該系統(tǒng)基于用戶的實(shí)際查詢需求,充分利用Redis內(nèi)存數(shù)據(jù)庫良好的讀寫性能,更高效地使用內(nèi)存空間,從而提高了緩存系統(tǒng)的性能。通過設(shè)計(jì)實(shí)驗(yàn)對緩存系統(tǒng)的各個(gè)功能模塊進(jìn)行測試,結(jié)果表明,該系統(tǒng)通過前綴緩存策略和緩存塊壓縮方案,提升了緩存塊個(gè)數(shù),從而提高了緩存命中率和字節(jié)命中率,具有一定的應(yīng)用價(jià)值。
[Abstract]:With the continuous expansion of the data scale and the sharp increase of the number of users, the traditional structured database access is facing more and more pressure. Improving the reading and writing performance of structured databases such as MySQL becomes a problem to be solved urgently. Redis memory database puts all data in memory for management, which greatly improves the performance of data access and is suitable for data cache management. It is of great theoretical significance and practical value to design a cache strategy in Redis to realize the cache of structured data in order to reduce the access pressure of MySQL database and improve the performance of reading and writing. Based on the deep analysis of the data characteristics and access process of structured data, the structure of structured database and proxy server is used, and the Redis memory database is deployed on the proxy server. A cache system for structured data is designed and implemented on Redis. In order to solve the problem that part of the query result set is too large, a prefix caching method based on the behavior of user query frequency, read / write ratio and so on is designed, in which only the prefix part of data is cached in the cache block. When the actual demand of the user increases, the cache block is expanded immediately to supplement the data required by the user; when the user needs the block data to be reduced, the inert update scheme is adopted to set the mark to be updated. When waiting for memory shortage, compression of memory space is unified. This method can not only better meet the needs of users, but also release a large amount of memory space when memory is out of capacity, thus reducing the probability of cache replacement. When the cache space is insufficient, the system also proposes an adaptive cache replacement algorithm for query result set type. The Hybrid replacement algorithm is improved and combined with the LFU replacement algorithm to better meet the actual needs of structured data cache. Based on the actual query requirements of users, the system makes full use of the good read and write performance of Redis memory database, and makes more efficient use of memory space, thus improving the performance of the cache system. The experimental results show that the system improves the number of cache blocks by prefix cache strategy and cache block compression scheme, thus improving the hit rate of cache and the hit rate of bytes. It has certain application value.
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陽振坤;;OceanBase關(guān)系數(shù)據(jù)庫架構(gòu)[J];華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年05期

2 曹丹丹;樂嘉錦;夏小玲;;Redis數(shù)據(jù)庫在視頻推薦服務(wù)系統(tǒng)中的應(yīng)用[J];計(jì)算機(jī)與現(xiàn)代化;2013年10期

3 劉高軍;王帝澳;;基于Redis的海量小文件分布式存儲方法研究[J];計(jì)算機(jī)工程與科學(xué);2013年10期

4 曾超宇;李金香;;Redis在高速緩存系統(tǒng)中的應(yīng)用[J];微型機(jī)與應(yīng)用;2013年12期

5 謝華成;陳向東;;面向云存儲的非結(jié)構(gòu)化數(shù)據(jù)存取[J];計(jì)算機(jī)應(yīng)用;2012年07期

6 尤朝;周明輝;林泊;曹東剛;梅宏;;一種在線的動態(tài)網(wǎng)頁分塊緩存方法[J];電子學(xué)報(bào);2009年05期

7 楊春貴;吳產(chǎn)樂;彭鴻雁;;一種有效的Web代理緩存替換算法[J];計(jì)算機(jī)工程;2007年03期

8 張超群,李陶深,張?jiān)龇?代理緩存一致性策略和替換策略的研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2005年11期

9 楊武軍,張繼榮,屈軍鎖;內(nèi)存數(shù)據(jù)庫技術(shù)綜述[J];西安郵電學(xué)院學(xué)報(bào);2005年03期

10 涂小朋;汪林林;;分布式空間數(shù)據(jù)庫中基于事務(wù)的客戶端高速緩存技術(shù)研究[J];計(jì)算機(jī)科學(xué);2004年06期

相關(guān)博士學(xué)位論文 前2條

1 霍龍社;互聯(lián)網(wǎng)流媒體傳輸關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

2 高奎;實(shí)時(shí)流媒體系統(tǒng)若干關(guān)鍵技術(shù)的研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

相關(guān)碩士學(xué)位論文 前6條

1 許光軍;內(nèi)容中心網(wǎng)絡(luò)緩存放置策略研究[D];北京郵電大學(xué);2015年

2 萬里鵬;非結(jié)構(gòu)化到結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換的研究與實(shí)現(xiàn)[D];西南交通大學(xué);2013年

3 謝海洋;面向分布式數(shù)據(jù)庫的自適應(yīng)多級緩存機(jī)制研究[D];華中科技大學(xué);2013年

4 詹盛輝;失效盤優(yōu)先的高速緩存替換方案的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

5 狄剛;HTTP實(shí)現(xiàn)代理服務(wù)器及緩存替換算法的研究[D];吉林大學(xué);2010年

6 孔峰;流媒體代理服務(wù)器緩存研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2009年

，

本文編號：2231614