【摘要】：近些年來,社交網(wǎng)絡(luò)、電子商務(wù)等交互網(wǎng)站迎來了巨大的增長。磁盤一直作為存儲的主要介質(zhì),其I/O性能成為制約服務(wù)器性能的瓶頸。Memcached有效地解決了基于磁盤的數(shù)據(jù)庫中CPU和磁盤I/O之間的主要矛盾,并且作為一個解決訪問距離和提高源服務(wù)器能力瓶頸的有效方法得到了越來越廣泛的應(yīng)用。由于Memcached的重要作用以及其簡單和開源架構(gòu),很多研究集中于Memcached的性能優(yōu)化方面。本論文首先剖析了Memcached的軟件架構(gòu)并進行完整源碼分析,整理Memcached的工作原理和流程,為后續(xù)分析和研究打下基礎(chǔ)。在網(wǎng)絡(luò)模型方面,Memcached基于C/S服務(wù)器模型,使用了Reactor事件處理模式和半同步/半異步并發(fā)模式;在內(nèi)存管理方面,Memcached使用了slab內(nèi)存池和LRU(Least Recently Used)實現(xiàn)內(nèi)存的高效管理;哈希表被用于Memcached進行對象的快速查找;在命令分析和處理方面,Memcached使用有限狀態(tài)機。其次本論文從Memcached架構(gòu)和流程的角度,設(shè)計一個適合Memcached的數(shù)據(jù)壓縮方案。從壓縮率以及通用的角度,選擇了Zlib數(shù)據(jù)壓縮庫中的DEFLATE算法進行壓縮功能的實現(xiàn)。實驗從對象數(shù)量、對象分布情況、命中率、系統(tǒng)延遲、延遲提速比等方面來說明數(shù)據(jù)壓縮能夠明顯提高Memcached的訪存性能。在使用數(shù)據(jù)壓縮功能的情況下,Memcached只需70%的內(nèi)存空間就可以達到原先的命中率。接著,本論文分析了Memcached的鈣化現(xiàn)象及其產(chǎn)生原因,進一步討論了新增的數(shù)據(jù)壓縮功能對鈣化的影響情況。在請求的分布情況隨時間變化的情況下,鈣化現(xiàn)象明顯降低Memcached的命中率。本文在Linux的slab分配器思想的基礎(chǔ)上提出了調(diào)整Memcached的slab分配機制;在Memcached采用數(shù)據(jù)壓縮功能后而數(shù)據(jù)特征變化的情況下,提出最小影響因子選擇算法來幫助Memcached實現(xiàn)內(nèi)存回收過程中的slab選取問題;兩者相結(jié)合,可以有效地解決壓縮情況下的鈣化問題。通過實驗測試驗證這種方案,并且與其他的解決方法和策略的效果進行比較,效果明顯。這種方案有效降低壓縮情況下鈣化問題對Memcached的命中率的影響,提升了10%的命中率。綜上,本文從使用數(shù)據(jù)壓縮提高內(nèi)存存儲密度和解決鈣化問題提高內(nèi)存使用率的角度,實現(xiàn)對Memcached訪存性能進行優(yōu)化的目標。
[Abstract]:In recent years, social networks, e-commerce and other interactive sites ushered in a huge growth. Disk has always been the main medium for storage. Its I / O performance has become the bottleneck of server performance. Memcached has effectively solved the main contradiction between CPU and disk I / O in disk-based database. And as an effective method to solve the bottleneck of access distance and improve the capability of source server, it has been applied more and more widely. Due to the importance of Memcached and its simple and open source architecture, many studies have focused on the performance optimization of Memcached. In this paper, the software architecture of Memcached is analyzed firstly, and the whole source code is analyzed, and the working principle and flow of Memcached are sorted out, which lays a foundation for further analysis and research. In network model, Reactor event processing mode and semi-synchronous / semi-asynchronous concurrent mode are used based on C / S server model, and slab memory pool and LRU (Least Recently Used) are used to manage memory efficiently in memory management. Hash tables are used for fast object lookup in Memcached, and finite state machines are used for command analysis and processing. Secondly, from the point of view of Memcached architecture and flow, this paper designs a data compression scheme suitable for Memcached. From the point of view of compression ratio and general purpose, the DEFLATE algorithm in Zlib data compression library is selected to realize the compression function. From the aspects of object number, object distribution, hit ratio, system delay, delay speed ratio and so on, the experiment shows that data compression can obviously improve the memory access performance of Memcached. With data compression, it takes only 70% of memory space to hit the original hit rate. Then, this paper analyzes the calcification phenomenon of Memcached and its causes, and further discusses the effect of the new data compression function on calcification. When the distribution of requests varies with time, calcification can significantly reduce the hit ratio of Memcached. Based on the idea of slab allocator of Linux, this paper puts forward the slab allocation mechanism of adjusting Memcached, and when the data compression function is adopted in Memcached, the data characteristics change. A minimum influence factor selection algorithm is proposed to help Memcached realize the slab selection problem in the process of memory recovery, and the calcification problem under compression can be effectively solved by combining the two methods. The experimental results show that the scheme is effective compared with other solutions and strategies. This scheme effectively reduces the impact of calcification on the hit ratio of Memcached under compression, and increases the hit ratio by 10%. In summary, this paper aims to optimize the memory access performance of Memcached from the point of using data compression to improve memory density and to solve the problem of calcification to improve memory utilization.
【學位授予單位】：深圳大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 丁燕云;魏娟;;淺析SQL數(shù)據(jù)庫的性能優(yōu)化問題[J];科技信息(學術(shù)研究);2007年34期

2 ;簡單易用網(wǎng)絡(luò)性能優(yōu)化軟件[J];網(wǎng)絡(luò)與信息;1999年10期

3 袁山龍,吳潔明;證券網(wǎng)上集中交易系統(tǒng)性能優(yōu)化的研究與應(yīng)用[J];微計算機應(yīng)用;2003年05期

4 張建華;王群華;;對系統(tǒng)性能優(yōu)化的十點辨析[J];計算機系統(tǒng)應(yīng)用;2007年05期

5 王勇;;基于SQL數(shù)據(jù)庫的性能優(yōu)化問題分析[J];電腦知識與技術(shù);2008年15期

6 王保平;;性能優(yōu)化的簡單法則[J];程序員;2009年09期

7 李培慧;何宗鍵;;某人力資源管理系統(tǒng)中用戶導入模塊性能優(yōu)化方案分析[J];科技信息;2010年35期

8 曉慧;;本本性能優(yōu)化圣手[J];電腦知識與技術(shù)(經(jīng)驗技巧);2012年01期

9 王江偉;陳琛;;淺析軟件性能優(yōu)化[J];科技風;2012年08期

10 楊波;;系統(tǒng)性能優(yōu)化問題研究[J];科技致富向?qū)?2013年09期

相關(guān)會議論文 前10條

1 姚杰;;寶鋼不銹鋼系統(tǒng)數(shù)據(jù)庫性能優(yōu)化方案[A];中國計量協(xié)會冶金分會2007年會論文集[C];2007年

2 代桂平;殷保群;奚宏生;周亞平;;受控M／G／1排隊系統(tǒng)的性能優(yōu)化[A];第二十二屆中國控制會議論文集（下）[C];2003年

3 李彥;王屹;徐繼明;;ERP系統(tǒng)的性能優(yōu)化[A];全國煉鋼連鑄過程自動化技術(shù)交流會論文集[C];2006年

4 趙海波;楊昭;方箏;徐振軍;;燃氣壓縮式熱泵系統(tǒng)全年季節(jié)性能優(yōu)化[A];中國制冷學會2007學術(shù)年會論文集[C];2007年

5 高明星;;DB2數(shù)據(jù)庫應(yīng)用性能優(yōu)化問題淺談[A];科技、工程與經(jīng)濟社會協(xié)調(diào)發(fā)展——中國科協(xié)第五屆青年學術(shù)年會論文集[C];2004年

6 奚宏生;唐昊;殷保群;周亞平;;Markov控制過程在緊致行動集上的性能優(yōu)化[A];第二十一屆中國控制會議論文集[C];2002年

7 高明星;;DB2數(shù)據(jù)庫應(yīng)用性能優(yōu)化問題淺談[A];鐵道部信息技術(shù)中心成立30周年暨鐵路運輸管理信息系統(tǒng)（TMIS）工程全面竣工投產(chǎn)TMIS工程建設(shè)論文專輯（二）[C];2005年

8 高明星;;DB2數(shù)據(jù)庫應(yīng)用性能優(yōu)化問題淺談[A];中國鐵道學會——2004年度學術(shù)活動優(yōu)秀論文評獎?wù)撐募痆C];2005年

9 杜勁松;李強;包勁松;;國產(chǎn)600MW機組循環(huán)效率試驗及性能優(yōu)化分析[A];2008中國可持續(xù)發(fā)展論壇論文集（3）[C];2008年

10 杜勁松;李強;包勁松;;國產(chǎn)600MW機組循環(huán)效率試驗及性能優(yōu)化分析[A];全國火電大機組（600MW級）競賽第十二屆年會論文集（上冊）[C];2008年

相關(guān)重要報紙文章 前4條

1 陳翔;性能優(yōu)化只能救火[N];中國計算機報;2007年

2 本報記者 郭平;EMC簡單高效實現(xiàn)私有云[N];計算機世界;2010年

3 ;安圖特引入新型數(shù)據(jù)加速解決方案[N];人民郵電;2008年

4 陳洪康 郭寶群 李雪梅;淺談VLDB性能優(yōu)化與維護[N];人民郵電;2001年

相關(guān)博士學位論文 前8條

1 李攀攀;云服務(wù)SLA合規(guī)性驗證及性能優(yōu)化研究[D];哈爾濱工業(yè)大學;2016年

2 陳偉鋒;大規(guī)模復雜過程系統(tǒng)的高性能優(yōu)化理論與方法研究[D];浙江大學;2011年

3 李磊;分布式系統(tǒng)中容錯機制性能優(yōu)化技術(shù)研究[D];國防科學技術(shù)大學;2007年

4 賈海鵬;面向GPU計算平臺的若干并行優(yōu)化關(guān)鍵技術(shù)研究[D];中國海洋大學;2012年

5 那俊;基于兩階段適應(yīng)的ASBS性能持續(xù)優(yōu)化方法研究[D];東北大學;2011年

6 魏丫丫;Web傳輸?shù)男阅軆?yōu)化[D];清華大學;2006年

7 何倩;P2P系統(tǒng)性能優(yōu)化若干關(guān)鍵技術(shù)研究[D];北京郵電大學;2010年

8 毛宏燕;基于部分計值的服務(wù)性能優(yōu)化研究[D];上海交通大學;2006年

相關(guān)碩士學位論文 前10條

1 鄒興偉;防偽纖維熒光檢測儀性能優(yōu)化研究[D];西南科技大學;2015年

2 邱能俊;科學大數(shù)據(jù)云分析服務(wù)的性能優(yōu)化技術(shù)研究[D];貴州大學;2015年

3 陳俊t，

本文編號：2144226