【摘要】：提高網(wǎng)頁瀏覽速度、提高用戶體驗(yàn)是所有網(wǎng)絡(luò)服務(wù)商面臨的共同挑戰(zhàn)和長(zhǎng)期的努力方向。代理服務(wù)器作為改善網(wǎng)絡(luò)服務(wù)質(zhì)量的基本手段之一,受到業(yè)界的廣泛關(guān)注和重視。 Squid是一款典型的代理服務(wù)器,支持HTTP、FTP等數(shù)據(jù)對(duì)象的代理,支持多樣化訪問控制以及多種操作系統(tǒng)平臺(tái),是全球范圍內(nèi)使用最廣泛的代理服務(wù)器。Squid使用網(wǎng)頁緩存來減少網(wǎng)絡(luò)帶寬并提高響應(yīng)速度。 本文針對(duì)Squid中的小文件的緩存進(jìn)行了深入研究,設(shè)計(jì)并實(shí)現(xiàn)了能有效識(shí)別熱點(diǎn)數(shù)據(jù),提高緩存命中率的算法并設(shè)計(jì)實(shí)現(xiàn)軟件模塊模塊。論文的主要工作如下: (1)本文的研究背景主要包括:分析研究提高網(wǎng)絡(luò)服務(wù)的方法,介紹代理服務(wù)器,研究已有的小文件存儲(chǔ)系統(tǒng)并總結(jié)優(yōu)化海量小文件存儲(chǔ)的方法。 (2)分析Squid的體系結(jié)構(gòu)和實(shí)現(xiàn)原理,尤其是對(duì)Coss存儲(chǔ)模塊的研究,提出該系統(tǒng)在小文件存儲(chǔ)中存在的關(guān)鍵問題。 (3)設(shè)計(jì)并實(shí)現(xiàn)了對(duì)冷熱數(shù)據(jù)分級(jí)緩存的方案,描述并實(shí)現(xiàn)了Relocation Cache方法。 (4)分析了分級(jí)緩存中如何識(shí)別熱點(diǎn)數(shù)據(jù)的關(guān)鍵問題,比較幾種識(shí)別熱點(diǎn)數(shù)據(jù)的方案之后,提出自適應(yīng)滑動(dòng)窗口機(jī)制,通過實(shí)現(xiàn)該方案來進(jìn)一步提升系統(tǒng)性能。 (5)選擇網(wǎng)絡(luò)代理服務(wù)中幾個(gè)關(guān)鍵的benchmark,分別對(duì)系統(tǒng)未優(yōu)化之前、第一次優(yōu)化以及第二次優(yōu)化之后的性能進(jìn)行測(cè)試分析。 測(cè)試表明優(yōu)化后的Coss存儲(chǔ)系統(tǒng)在面對(duì)大量小文件的存儲(chǔ)訪問時(shí),能更好的緩存熱點(diǎn)數(shù)據(jù),從而降低磁盤I/O操作,提高系統(tǒng)的整體性能。本論文的研究成果對(duì)于其它的海量小文件存儲(chǔ)系統(tǒng)的緩存設(shè)計(jì)也具有較好的借鑒價(jià)值。
[Abstract]:Improving web browsing speed and user experience is a common challenge and long-term direction for all web service providers. As one of the basic methods to improve the quality of network service, the proxy server is paid more and more attention by the industry. Squid is a typical proxy server, which supports the proxy of data objects such as HTTP and FTP. Supported by diversified access control and multiple operating system platforms, Squid is the most widely used proxy server in the world. Squid uses web caching to reduce network bandwidth and improve response speed. This paper studies the cache of small files in Squid, designs and implements an algorithm to identify hot data, improve the hit rate of cache, and design and implement software module. The main work of this paper is as follows: (1) the research background of this paper mainly includes: analyzing the methods of improving network service, introducing proxy server, The existing small file storage system is studied and the methods to optimize the mass small file storage are summarized. (2) the structure and implementation principle of Squid are analyzed, especially the research on Coss storage module. The key problems of the system in small file storage are put forward. (3) A scheme of grading buffer for cold and hot data is designed and implemented. This paper describes and implements the relocation cache method. (4) after analyzing the key problems of how to identify hot data in hierarchical cache and comparing several schemes to identify hot data, an adaptive sliding window mechanism is proposed. Through the implementation of the scheme to further improve the system performance. (5) selected several key network agent service benchmark, respectively before the system is not optimized, the first optimization and the second optimization after the performance of the test analysis. The test results show that the optimized Coss storage system can cache hot data better in the presence of a large number of small files, thus reducing the disk I / O operation and improving the overall performance of the system. The research results of this paper also have good reference value for the cache design of other mass small file storage systems.
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 沈京津;用DHCP服務(wù)器和Squid代理服務(wù)器對(duì)LAN上的用戶進(jìn)行存取控制[J];電腦編程技巧與維護(hù);2000年06期

2 楊英;Linux下用Squid實(shí)現(xiàn)局域網(wǎng)用戶訪問Internet的身份驗(yàn)證[J];計(jì)算機(jī)應(yīng)用研究;2000年10期

3 ;世界傳感器市場(chǎng)分析(十四)——超導(dǎo)量子干涉檢電傳感器[J];傳感器世界;2001年05期

4 王國(guó)平;通過SQUID代理服務(wù)器過濾黃色網(wǎng)站[J];現(xiàn)代圖書情報(bào)技術(shù);2004年11期

5 曲津莉,馬桂英;在Linux下用Squid實(shí)現(xiàn)代理上網(wǎng)[J];電腦知識(shí)與技術(shù);2005年05期

6 王曉輝,金新,童紅武,姚希賢;射頻SQUID內(nèi)稟噪聲的研究[J];低溫與超導(dǎo);1990年04期

7 謝飛翔,王世光,戴遠(yuǎn)東;低噪聲SQUID模擬器[J];低溫物理學(xué)報(bào);2000年03期

8 陶洪圖;一種用于0.5K以下范圍可自檢的銠鐵電阻式SQUID溫度計(jì)[J];低溫與超導(dǎo);1982年04期

9 范長(zhǎng)鑫,吳皖光,沈云虎;RF-SQUID測(cè)量系統(tǒng)的兩個(gè)單元電路[J];低溫與超導(dǎo);1987年04期

10 吳強(qiáng);Linux下代理服務(wù)器的安裝與調(diào)試[J];鐵道機(jī)車車輛工人;2002年03期

相關(guān)會(huì)議論文 前10條

1 ;Isolation and Characterization of Pepsin-Soluble Collagen from the Skin of Peru Squid(Dosidicus Gigas)[A];漁業(yè)科技創(chuàng)新與發(fā)展方式轉(zhuǎn)變——2011年中國(guó)水產(chǎn)學(xué)會(huì)學(xué)術(shù)年會(huì)論文摘要集[C];2011年

2 石惠敏;於亞飛;張智明;;在CircuitQED中用一個(gè)SQUID實(shí)現(xiàn)Toffoli門[A];第十五屆全國(guó)量子光學(xué)學(xué)術(shù)報(bào)告會(huì)報(bào)告摘要集[C];2012年

3 楊乾聲;陳賡華;杜寰;趙士平;徐鳳枝;;全鈮隧道結(jié)的工藝以及dc SQUID研究[A];第四屆全國(guó)低溫工程學(xué)術(shù)會(huì)議論文集[C];1999年

4 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

5 陶志闊;張榮;崔旭高;修向前;謝自力;顧書林;韓平;施毅;江若璉;鄭有p，

本文編號(hào)：2122084