【摘要】：提高網(wǎng)頁瀏覽速度、提高用戶體驗是所有網(wǎng)絡服務商面臨的共同挑戰(zhàn)和長期的努力方向。代理服務器作為改善網(wǎng)絡服務質量的基本手段之一,受到業(yè)界的廣泛關注和重視。 Squid是一款典型的代理服務器,支持HTTP、FTP等數(shù)據(jù)對象的代理,支持多樣化訪問控制以及多種操作系統(tǒng)平臺,是全球范圍內使用最廣泛的代理服務器。Squid使用網(wǎng)頁緩存來減少網(wǎng)絡帶寬并提高響應速度。 本文針對Squid中的小文件的緩存進行了深入研究,設計并實現(xiàn)了能有效識別熱點數(shù)據(jù),提高緩存命中率的算法并設計實現(xiàn)軟件模塊模塊。論文的主要工作如下: (1)本文的研究背景主要包括:分析研究提高網(wǎng)絡服務的方法,介紹代理服務器,研究已有的小文件存儲系統(tǒng)并總結優(yōu)化海量小文件存儲的方法。 (2)分析Squid的體系結構和實現(xiàn)原理,尤其是對Coss存儲模塊的研究,提出該系統(tǒng)在小文件存儲中存在的關鍵問題。 (3)設計并實現(xiàn)了對冷熱數(shù)據(jù)分級緩存的方案,描述并實現(xiàn)了Relocation Cache方法。 (4)分析了分級緩存中如何識別熱點數(shù)據(jù)的關鍵問題,比較幾種識別熱點數(shù)據(jù)的方案之后,提出自適應滑動窗口機制,通過實現(xiàn)該方案來進一步提升系統(tǒng)性能。 (5)選擇網(wǎng)絡代理服務中幾個關鍵的benchmark,分別對系統(tǒng)未優(yōu)化之前、第一次優(yōu)化以及第二次優(yōu)化之后的性能進行測試分析。 測試表明優(yōu)化后的Coss存儲系統(tǒng)在面對大量小文件的存儲訪問時,能更好的緩存熱點數(shù)據(jù),從而降低磁盤I/O操作,提高系統(tǒng)的整體性能。本論文的研究成果對于其它的海量小文件存儲系統(tǒng)的緩存設計也具有較好的借鑒價值。
[Abstract]:Improving web browsing speed and user experience is a common challenge and long-term direction for all web service providers. As one of the basic methods to improve the quality of network service, the proxy server is paid more and more attention by the industry. Squid is a typical proxy server, which supports the proxy of data objects such as HTTP and FTP. Supported by diversified access control and multiple operating system platforms, Squid is the most widely used proxy server in the world. Squid uses web caching to reduce network bandwidth and improve response speed. This paper studies the cache of small files in Squid, designs and implements an algorithm to identify hot data, improve the hit rate of cache, and design and implement software module. The main work of this paper is as follows: (1) the research background of this paper mainly includes: analyzing the methods of improving network service, introducing proxy server, The existing small file storage system is studied and the methods to optimize the mass small file storage are summarized. (2) the structure and implementation principle of Squid are analyzed, especially the research on Coss storage module. The key problems of the system in small file storage are put forward. (3) A scheme of grading buffer for cold and hot data is designed and implemented. This paper describes and implements the relocation cache method. (4) after analyzing the key problems of how to identify hot data in hierarchical cache and comparing several schemes to identify hot data, an adaptive sliding window mechanism is proposed. Through the implementation of the scheme to further improve the system performance. (5) selected several key network agent service benchmark, respectively before the system is not optimized, the first optimization and the second optimization after the performance of the test analysis. The test results show that the optimized Coss storage system can cache hot data better in the presence of a large number of small files, thus reducing the disk I / O operation and improving the overall performance of the system. The research results of this paper also have good reference value for the cache design of other mass small file storage systems.
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2012
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 沈京津;用DHCP服務器和Squid代理服務器對LAN上的用戶進行存取控制[J];電腦編程技巧與維護;2000年06期

2 楊英;Linux下用Squid實現(xiàn)局域網(wǎng)用戶訪問Internet的身份驗證[J];計算機應用研究;2000年10期

3 ;世界傳感器市場分析(十四)——超導量子干涉檢電傳感器[J];傳感器世界;2001年05期

4 王國平;通過SQUID代理服務器過濾黃色網(wǎng)站[J];現(xiàn)代圖書情報技術;2004年11期

5 曲津莉,馬桂英;在Linux下用Squid實現(xiàn)代理上網(wǎng)[J];電腦知識與技術;2005年05期

6 王曉輝,金新,童紅武,姚希賢;射頻SQUID內稟噪聲的研究[J];低溫與超導;1990年04期

7 謝飛翔,王世光,戴遠東;低噪聲SQUID模擬器[J];低溫物理學報;2000年03期

8 陶洪圖;一種用于0.5K以下范圍可自檢的銠鐵電阻式SQUID溫度計[J];低溫與超導;1982年04期

9 范長鑫,吳皖光,沈云虎;RF-SQUID測量系統(tǒng)的兩個單元電路[J];低溫與超導;1987年04期

10 吳強;Linux下代理服務器的安裝與調試[J];鐵道機車車輛工人;2002年03期

相關會議論文 前10條

1 ;Isolation and Characterization of Pepsin-Soluble Collagen from the Skin of Peru Squid(Dosidicus Gigas)[A];漁業(yè)科技創(chuàng)新與發(fā)展方式轉變——2011年中國水產(chǎn)學會學術年會論文摘要集[C];2011年

2 石惠敏;於亞飛;張智明;;在CircuitQED中用一個SQUID實現(xiàn)Toffoli門[A];第十五屆全國量子光學學術報告會報告摘要集[C];2012年

3 楊乾聲;陳賡華;杜寰;趙士平;徐鳳枝;;全鈮隧道結的工藝以及dc SQUID研究[A];第四屆全國低溫工程學術會議論文集[C];1999年

4 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲系統(tǒng)的設計[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

5 陶志闊;張榮;崔旭高;修向前;謝自力;顧書林;韓平;施毅;江若璉;鄭有p，

本文編號：2122084