本文關(guān)鍵詞：提升Web服務(wù)響應(yīng)的Cache調(diào)度技術(shù)的研究與實(shí)現(xiàn)

  更多相關(guān)文章： Web Cache 調(diào)度技術(shù) Web預(yù)取 日志分析 樸素貝葉斯算法

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展以及網(wǎng)民數(shù)量的快速增加,網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量呈指數(shù)級增加,導(dǎo)致了Web服務(wù)器過載以及用戶使用體驗(yàn)下降,Web Cache置換技術(shù)與網(wǎng)頁預(yù)取等調(diào)度技術(shù)成為了解決這一問題的主要方法。本文研究了Web Cache置換技術(shù)與Web預(yù)取技術(shù),提出基于學(xué)習(xí)的Cache置換算法(LBR, Learning Based Repalcement)以及基于用戶訪問序列匹配的網(wǎng)頁預(yù)取算法,并將二者有機(jī)結(jié)合,提出一種智能頁面快速置換系統(tǒng),并在Nginx服務(wù)器上實(shí)現(xiàn)。該系統(tǒng)主要由三個(gè)模塊組成：日志處理模塊、C ache置換模塊和Web預(yù)取模塊。(1)日志處理模塊對用戶歷史訪問日志分析,通過數(shù)據(jù)處理、用戶識(shí)別、會(huì)話識(shí)別和路徑填充這四個(gè)步驟,得到用戶歷史訪問序列以及Web精確日志記錄；(2)Cache置換模塊使用日志處理模塊產(chǎn)生的Web精確日志記錄,通過樸素貝葉斯算法中的貝努利模型分析處理,得到Cach e存儲(chǔ)器里Web對象被再次訪問到的權(quán)重,并形成權(quán)重表。當(dāng)Cache置換模塊接收到置換命令時(shí),就會(huì)根據(jù)權(quán)重表刪除那些權(quán)重較低的Web對象,直到釋放了占Cache存儲(chǔ)器5%內(nèi)存大小的空間；(3)Web預(yù)取模塊使用日志處理模塊產(chǎn)生的用戶歷史訪問序列,并用WAP樹保存,使用用戶歷史訪問序列與用戶當(dāng)前的訪問序列進(jìn)行匹配,將匹配到的Web頁面預(yù)取到Cache存儲(chǔ)器內(nèi)。最后,通過實(shí)驗(yàn)對Web預(yù)取算法中的預(yù)取閾值進(jìn)行了分析,計(jì)算了LBR算法的命中率HR以及字節(jié)命中率BHR。比較了系統(tǒng)開啟Cache與關(guān)閉C ache之間的性能差異,通過性能測試,給出了智能頁面快速置換系統(tǒng)的性能指標(biāo)。
【關(guān)鍵詞】：Web Cache 調(diào)度技術(shù) Web預(yù)取 日志分析 樸素貝葉斯算法
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333;TP393.09
【目錄】：

• 摘要4-5
• Abstract5-8
• 專用術(shù)語注釋表8-9
• 第一章 緒論9-12
• 1.1 課題的研究背景9-10
• 1.2 課題的研究內(nèi)容10-11
• 1.3 論文的組織結(jié)構(gòu)11-12
• 第二章 Web Cache優(yōu)化的概念與分析12-24
• 2.1 Web服務(wù)工作原理分析12-15
• 2.1.1 Web工作流程12-13
• 2.1.2 Web對象訪問特征13-15
• 2.2 Web Cache主要技術(shù)15-18
• 2.2.1 Web Cache思想15-16
• 2.2.2 Web預(yù)取工作原理16-17
• 2.2.3 Web Cache的性能指標(biāo)17-18
• 2.3 置換算法技術(shù)的研究18-22
• 2.3.1 基于訪問時(shí)間間隔的置換算法19
• 2.3.2 基于訪問次數(shù)的置換算法19-20
• 2.3.3 基于網(wǎng)頁大小的置換算法20
• 2.3.4 基于Web對象價(jià)值函數(shù)模型的置換算法20-21
• 2.3.5 算法結(jié)果對比分析21-22
• 2.4 預(yù)取技術(shù)的研究22-23
• 2.4.1 基于頁面鏈接的預(yù)取算法22
• 2.4.2 基于用戶訪問序列匹配的預(yù)取算法22-23
• 2.4.3 基于Web對象熱度的預(yù)取算法23
• 2.5 本章小結(jié)23-24
• 第三章 智能頁面快速置換系統(tǒng)概要設(shè)計(jì)24-52
• 3.1 需求分析24-26
• 3.2 設(shè)計(jì)思路26-27
• 3.3 日志處理模塊設(shè)計(jì)27-37
• 3.3.1 Web日志介紹28
• 3.3.2 Web日志處理流程28-37
• 3.4 Cache置換算法分析37-46
• 3.4.1 Cache置換算法問題描述37-39
• 3.4.2 Cache置換算法設(shè)計(jì)39-40
• 3.4.3 樸素貝葉斯算法40-41
• 3.4.4 置換模塊結(jié)構(gòu)41-42
• 3.4.5 Web日志學(xué)習(xí)42-45
• 3.4.6 LBR算法的置換策略45-46
• 3.5 預(yù)取算法分析46-50
• 3.5.1 網(wǎng)頁預(yù)取算法原理46-47
• 3.5.2 網(wǎng)頁預(yù)取算法設(shè)計(jì)47-50
• 3.6 智能頁面快速置換的工作流程50-51
• 3.7 本章小結(jié)51-52
• 第四章 智能頁面快速置換系統(tǒng)詳細(xì)設(shè)計(jì)52-79
• 4.1 服務(wù)器選擇52-60
• 4.1.1 Nginx服務(wù)器介紹52-53
• 4.1.2 Nginx Cache結(jié)構(gòu)53-57
• 4.1.3 Nginx Cache實(shí)現(xiàn)流程57-60
• 4.2 Cache監(jiān)視器的實(shí)現(xiàn)60-61
• 4.3 日志處理模塊詳細(xì)設(shè)計(jì)61-64
• 4.4 Cache置換模塊詳細(xì)設(shè)計(jì)64-70
• 4.4.1 Web日志學(xué)習(xí)方法64-69
• 4.4.2 LBR算法在Nginx服務(wù)器上的實(shí)現(xiàn)69-70
• 4.5 預(yù)取模塊詳細(xì)設(shè)計(jì)70-73
• 4.5.1 建立WAP歷史訪問序列樹70-71
• 4.5.2 序列匹配71-72
• 4.5.3 預(yù)取網(wǎng)頁72-73
• 4.6 各模塊之間的運(yùn)行調(diào)度73-74
• 4.7 模塊之間的通信機(jī)制設(shè)計(jì)74-78
• 4.8 本章小結(jié)78-79
• 第五章 實(shí)驗(yàn)以及結(jié)果分析79-93
• 5.1 實(shí)驗(yàn)平臺(tái)79
• 5.2 實(shí)驗(yàn)環(huán)境搭建79-82
• 5.3 日志處理82-85
• 5.4 網(wǎng)頁預(yù)取算法實(shí)驗(yàn)85-88
• 5.5 Cache置換算法實(shí)驗(yàn)88-89
• 5.6 系統(tǒng)性能實(shí)驗(yàn)89-92
• 5.7 本章小結(jié)92-93
• 第六章 總結(jié)與展望93-94
• 參考文獻(xiàn)94-96
• 致謝96

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉美華,古志民,曹元大;Load Balancing Algorithm for Cache Cluster[J];Journal of Beijing Institute of Technology(English Edition);2003年04期

2 趙學(xué)梅,葉以正,李曉明,時(shí)銳;一種低功耗高性能的滑動(dòng)Cache方案[J];計(jì)算機(jī)研究與發(fā)展;2004年11期

3 ;Design and Implementation of Hierarchy Cache Using Pagefile[J];Wuhan University Journal of Natural Sciences;2004年06期

4 VioLin;高容量L2Cache=高性能嗎[J];電腦應(yīng)用文萃;2004年10期

5 VioLin;電腦設(shè)備加速之Cache談[J];電腦應(yīng)用文萃;2004年11期

6 杜紅燕,田興彥,田新華;一種新穎的軟件可控Cache優(yōu)化方法[J];計(jì)算機(jī)工程與應(yīng)用;2005年21期

7 ;A Novel Cache Invalidation Scheme for Mobile Networks[J];Wuhan University Journal of Natural Sciences;2006年02期

8 唐雙燕;楊云仙;劉偉;;IA-32CPU Cache的一種特殊應(yīng)用[J];軟件導(dǎo)刊;2006年15期

9 楊君;李曦;仲力;周學(xué)海;;一種新型的嵌入式X路組相聯(lián)cache結(jié)構(gòu)[J];中國科學(xué)技術(shù)大學(xué)學(xué)報(bào);2007年02期

10 趙昊翔;;從程序員的角度看Cache[J];程序員;2008年09期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 所光;楊學(xué)軍;;雙核處理器性能最優(yōu)的共享Cache劃分[A];2008年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊)[C];2008年

2 石文強(qiáng);倪曉強(qiáng);金作霖;張民選;;Cache動(dòng)態(tài)插入策略模型研究[A];第十五屆計(jì)算機(jī)工程與工藝年會(huì)暨第一屆微處理器技術(shù)論壇論文集（B輯）[C];2011年

3 汪騰;楊少軍;;一種高效的指令Cache的結(jié)構(gòu)[A];中國聲學(xué)學(xué)會(huì)2001年青年學(xué)術(shù)會(huì)議[CYCA'01]論文集[C];2001年

4 ;Application of cache in Data Access Performance Optimization[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2011年

5 李凡;李建中;何震瀛;;XML數(shù)據(jù)Cache策略研究[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

6 ;Research on WEB Cache Prediction Recommend Mechanism Based on Usage Pattern[A];中國電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集（上冊）[C];2008年

7 宋杰;欒影;王廣奇;于戈;王大玲;;OR-Cache:一種有效的對象-關(guān)系映射模型[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2006年

8 張承義;郭維;周宏偉;;Cache漏流功耗的自適應(yīng)優(yōu)化:動(dòng)態(tài)容量調(diào)整[A];第十五屆計(jì)算機(jī)工程與工藝年會(huì)暨第一屆微處理器技術(shù)論壇論文集（B輯）[C];2011年

9 鄭涵;吳英;丁曉東;樂嘉錦;;基于Web的個(gè)性化智能Cache庫[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

10 周旋;馮玉才;李碧波;孫小薇;;多服務(wù)器DBMS的Cache管理[A];數(shù)據(jù)庫研究與進(jìn)展95——第十三屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1995年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 上海 李超;什么是Cache[N];電腦報(bào);2001年

2 徐春梅;國際品牌進(jìn)入中國：適應(yīng)是關(guān)鍵[N];中國經(jīng)營報(bào);2006年

3 劉昌勇;小緩存里的大學(xué)問[N];中國電腦教育報(bào);2004年

4 超頻者;K7-650（0015）最新實(shí)超報(bào)告[N];大眾科技報(bào);2000年

5 ;阿萌小辭典[N];電腦報(bào);2004年

6 山東 黃家貞;富有個(gè)性的離線瀏覽器——CacheX[N];電腦報(bào);2001年

7 中國計(jì)算機(jī)報(bào)測試實(shí)驗(yàn)室 王炳晨;Duron抵京，Thunderbird爭宏[N];中國計(jì)算機(jī)報(bào);2000年

8 廣東 李鋒;妙用 Cache 優(yōu)化 Windows 2000[N];電腦報(bào);2001年

9 巖公;電信網(wǎng)加速不難[N];中國計(jì)算機(jī)報(bào);2003年

10 北京共創(chuàng)開源軟件股份有限公司 董孝峰;共創(chuàng)NC的設(shè)計(jì)與實(shí)現(xiàn)[N];中國計(jì)算機(jī)報(bào);2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 黃安文;面向延遲優(yōu)化的多核處理器Cache數(shù)據(jù)管理機(jī)制研究[D];國防科學(xué)技術(shù)大學(xué);2013年

2 張軼;多核實(shí)時(shí)操作系統(tǒng)關(guān)鍵技術(shù)研究[D];東北大學(xué);2014年

3 鄭重;異構(gòu)眾核體系結(jié)構(gòu)Cache功耗和性能優(yōu)化關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

4 周宏偉;微處理器中Cache漏流功耗的體系結(jié)構(gòu)級優(yōu)化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

5 田新華;面向性能優(yōu)化的壓縮cache技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

6 陳黎明;嵌入式微處理器中動(dòng)態(tài)可配置Cache結(jié)構(gòu)的研究[D];華中科技大學(xué);2009年

7 付雄;利用程序分析和優(yōu)化提高Cache性能[D];中國科學(xué)技術(shù)大學(xué);2007年

8 賈小敏;多核處理器片上Cache訪問行為分析與優(yōu)化機(jī)制研究[D];國防科學(xué)技術(shù)大學(xué);2011年

9 唐軼軒;面向多線程應(yīng)用的Cache優(yōu)化策略及并行模擬研究[D];中國科學(xué)技術(shù)大學(xué);2012年

10 項(xiàng)曉燕;體系結(jié)構(gòu)級Cache功耗優(yōu)化技術(shù)研究[D];浙江大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 舒晰;支持多媒體計(jì)算的可重構(gòu)Cache研究與設(shè)計(jì)[D];湖南大學(xué);2008年

2 楊向峰;一種32位DSP cache的設(shè)計(jì)與驗(yàn)證技術(shù)研究[D];江南大學(xué);2008年

3 蘇小昆;基于Tournament Caching的低功耗動(dòng)態(tài)可重構(gòu)Cache研究[D];湖南大學(xué);2009年

4 郝玉艷;嵌入式系統(tǒng)中低功耗Cache的研究與設(shè)計(jì)[D];湖南大學(xué);2009年

5 潘麗君;動(dòng)態(tài)二進(jìn)制翻譯器中Code Cache管理策略的研究與分析[D];上海交通大學(xué);2009年

6 劉彬;基于路暫停方法的高性能低功耗Cache研究[D];湖南大學(xué);2007年

7 彭方;路預(yù)測與可重構(gòu)Cache的自適應(yīng)低能耗算法研究[D];湖南大學(xué);2008年

8 胡濤;面向存儲(chǔ)器完整性驗(yàn)證的Cache設(shè)計(jì)[D];華中科技大學(xué);2011年

9 劉清;嵌入式系統(tǒng)中低功耗可重構(gòu)Cache的研究與設(shè)計(jì)[D];湖南大學(xué);2012年

10 李冬妮;嵌入式系統(tǒng)中低功耗Cache的重構(gòu)技術(shù)研究[D];湖南大學(xué);2012年

，

本文編號：813632