本文關鍵詞：提升Web服務響應的Cache調(diào)度技術的研究與實現(xiàn)

  更多相關文章： Web Cache 調(diào)度技術 Web預取 日志分析 樸素貝葉斯算法

【摘要】：隨著互聯(lián)網(wǎng)技術的飛速發(fā)展以及網(wǎng)民數(shù)量的快速增加,網(wǎng)絡傳輸?shù)臄?shù)據(jù)量呈指數(shù)級增加,導致了Web服務器過載以及用戶使用體驗下降,Web Cache置換技術與網(wǎng)頁預取等調(diào)度技術成為了解決這一問題的主要方法。本文研究了Web Cache置換技術與Web預取技術,提出基于學習的Cache置換算法(LBR, Learning Based Repalcement)以及基于用戶訪問序列匹配的網(wǎng)頁預取算法,并將二者有機結合,提出一種智能頁面快速置換系統(tǒng),并在Nginx服務器上實現(xiàn)。該系統(tǒng)主要由三個模塊組成：日志處理模塊、C ache置換模塊和Web預取模塊。(1)日志處理模塊對用戶歷史訪問日志分析,通過數(shù)據(jù)處理、用戶識別、會話識別和路徑填充這四個步驟,得到用戶歷史訪問序列以及Web精確日志記錄；(2)Cache置換模塊使用日志處理模塊產(chǎn)生的Web精確日志記錄,通過樸素貝葉斯算法中的貝努利模型分析處理,得到Cach e存儲器里Web對象被再次訪問到的權重,并形成權重表。當Cache置換模塊接收到置換命令時,就會根據(jù)權重表刪除那些權重較低的Web對象,直到釋放了占Cache存儲器5%內(nèi)存大小的空間；(3)Web預取模塊使用日志處理模塊產(chǎn)生的用戶歷史訪問序列,并用WAP樹保存,使用用戶歷史訪問序列與用戶當前的訪問序列進行匹配,將匹配到的Web頁面預取到Cache存儲器內(nèi)。最后,通過實驗對Web預取算法中的預取閾值進行了分析,計算了LBR算法的命中率HR以及字節(jié)命中率BHR。比較了系統(tǒng)開啟Cache與關閉C ache之間的性能差異,通過性能測試,給出了智能頁面快速置換系統(tǒng)的性能指標。
【關鍵詞】：Web Cache 調(diào)度技術 Web預取 日志分析 樸素貝葉斯算法
【學位授予單位】：南京郵電大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP333;TP393.09
【目錄】：

• 摘要4-5
• Abstract5-8
• 專用術語注釋表8-9
• 第一章 緒論9-12
• 1.1 課題的研究背景9-10
• 1.2 課題的研究內(nèi)容10-11
• 1.3 論文的組織結構11-12
• 第二章 Web Cache優(yōu)化的概念與分析12-24
• 2.1 Web服務工作原理分析12-15
• 2.1.1 Web工作流程12-13
• 2.1.2 Web對象訪問特征13-15
• 2.2 Web Cache主要技術15-18
• 2.2.1 Web Cache思想15-16
• 2.2.2 Web預取工作原理16-17
• 2.2.3 Web Cache的性能指標17-18
• 2.3 置換算法技術的研究18-22
• 2.3.1 基于訪問時間間隔的置換算法19
• 2.3.2 基于訪問次數(shù)的置換算法19-20
• 2.3.3 基于網(wǎng)頁大小的置換算法20
• 2.3.4 基于Web對象價值函數(shù)模型的置換算法20-21
• 2.3.5 算法結果對比分析21-22
• 2.4 預取技術的研究22-23
• 2.4.1 基于頁面鏈接的預取算法22
• 2.4.2 基于用戶訪問序列匹配的預取算法22-23
• 2.4.3 基于Web對象熱度的預取算法23
• 2.5 本章小結23-24
• 第三章 智能頁面快速置換系統(tǒng)概要設計24-52
• 3.1 需求分析24-26
• 3.2 設計思路26-27
• 3.3 日志處理模塊設計27-37
• 3.3.1 Web日志介紹28
• 3.3.2 Web日志處理流程28-37
• 3.4 Cache置換算法分析37-46
• 3.4.1 Cache置換算法問題描述37-39
• 3.4.2 Cache置換算法設計39-40
• 3.4.3 樸素貝葉斯算法40-41
• 3.4.4 置換模塊結構41-42
• 3.4.5 Web日志學習42-45
• 3.4.6 LBR算法的置換策略45-46
• 3.5 預取算法分析46-50
• 3.5.1 網(wǎng)頁預取算法原理46-47
• 3.5.2 網(wǎng)頁預取算法設計47-50
• 3.6 智能頁面快速置換的工作流程50-51
• 3.7 本章小結51-52
• 第四章 智能頁面快速置換系統(tǒng)詳細設計52-79
• 4.1 服務器選擇52-60
• 4.1.1 Nginx服務器介紹52-53
• 4.1.2 Nginx Cache結構53-57
• 4.1.3 Nginx Cache實現(xiàn)流程57-60
• 4.2 Cache監(jiān)視器的實現(xiàn)60-61
• 4.3 日志處理模塊詳細設計61-64
• 4.4 Cache置換模塊詳細設計64-70
• 4.4.1 Web日志學習方法64-69
• 4.4.2 LBR算法在Nginx服務器上的實現(xiàn)69-70
• 4.5 預取模塊詳細設計70-73
• 4.5.1 建立WAP歷史訪問序列樹70-71
• 4.5.2 序列匹配71-72
• 4.5.3 預取網(wǎng)頁72-73
• 4.6 各模塊之間的運行調(diào)度73-74
• 4.7 模塊之間的通信機制設計74-78
• 4.8 本章小結78-79
• 第五章 實驗以及結果分析79-93
• 5.1 實驗平臺79
• 5.2 實驗環(huán)境搭建79-82
• 5.3 日志處理82-85
• 5.4 網(wǎng)頁預取算法實驗85-88
• 5.5 Cache置換算法實驗88-89
• 5.6 系統(tǒng)性能實驗89-92
• 5.7 本章小結92-93
• 第六章 總結與展望93-94
• 參考文獻94-96
• 致謝96

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉美華,古志民,曹元大;Load Balancing Algorithm for Cache Cluster[J];Journal of Beijing Institute of Technology(English Edition);2003年04期

2 趙學梅,葉以正,李曉明,時銳;一種低功耗高性能的滑動Cache方案[J];計算機研究與發(fā)展;2004年11期

3 ;Design and Implementation of Hierarchy Cache Using Pagefile[J];Wuhan University Journal of Natural Sciences;2004年06期

4 VioLin;高容量L2Cache=高性能嗎[J];電腦應用文萃;2004年10期

5 VioLin;電腦設備加速之Cache談[J];電腦應用文萃;2004年11期

6 杜紅燕,田興彥,田新華;一種新穎的軟件可控Cache優(yōu)化方法[J];計算機工程與應用;2005年21期

7 ;A Novel Cache Invalidation Scheme for Mobile Networks[J];Wuhan University Journal of Natural Sciences;2006年02期

8 唐雙燕;楊云仙;劉偉;;IA-32CPU Cache的一種特殊應用[J];軟件導刊;2006年15期

9 楊君;李曦;仲力;周學海;;一種新型的嵌入式X路組相聯(lián)cache結構[J];中國科學技術大學學報;2007年02期

10 趙昊翔;;從程序員的角度看Cache[J];程序員;2008年09期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 所光;楊學軍;;雙核處理器性能最優(yōu)的共享Cache劃分[A];2008年全國開放式分布與并行計算機學術會議論文集(上冊)[C];2008年

2 石文強;倪曉強;金作霖;張民選;;Cache動態(tài)插入策略模型研究[A];第十五屆計算機工程與工藝年會暨第一屆微處理器技術論壇論文集（B輯）[C];2011年

3 汪騰;楊少軍;;一種高效的指令Cache的結構[A];中國聲學學會2001年青年學術會議[CYCA'01]論文集[C];2001年

4 ;Application of cache in Data Access Performance Optimization[A];2011年全國電子信息技術與應用學術會議論文集[C];2011年

5 李凡;李建中;何震瀛;;XML數(shù)據(jù)Cache策略研究[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

6 ;Research on WEB Cache Prediction Recommend Mechanism Based on Usage Pattern[A];中國電子學會第十五屆信息論學術年會暨第一屆全國網(wǎng)絡編碼學術年會論文集（上冊）[C];2008年

7 宋杰;欒影;王廣奇;于戈;王大玲;;OR-Cache:一種有效的對象-關系映射模型[A];第二十三屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2006年

8 張承義;郭維;周宏偉;;Cache漏流功耗的自適應優(yōu)化:動態(tài)容量調(diào)整[A];第十五屆計算機工程與工藝年會暨第一屆微處理器技術論壇論文集（B輯）[C];2011年

9 鄭涵;吳英;丁曉東;樂嘉錦;;基于Web的個性化智能Cache庫[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2003年

10 周旋;馮玉才;李碧波;孫小薇;;多服務器DBMS的Cache管理[A];數(shù)據(jù)庫研究與進展95——第十三屆全國數(shù)據(jù)庫學術會議論文集[C];1995年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 上海 李超;什么是Cache[N];電腦報;2001年

2 徐春梅;國際品牌進入中國：適應是關鍵[N];中國經(jīng)營報;2006年

3 劉昌勇;小緩存里的大學問[N];中國電腦教育報;2004年

4 超頻者;K7-650（0015）最新實超報告[N];大眾科技報;2000年

5 ;阿萌小辭典[N];電腦報;2004年

6 山東 黃家貞;富有個性的離線瀏覽器——CacheX[N];電腦報;2001年

7 中國計算機報測試實驗室 王炳晨;Duron抵京，Thunderbird爭宏[N];中國計算機報;2000年

8 廣東 李鋒;妙用 Cache 優(yōu)化 Windows 2000[N];電腦報;2001年

9 巖公;電信網(wǎng)加速不難[N];中國計算機報;2003年

10 北京共創(chuàng)開源軟件股份有限公司 董孝峰;共創(chuàng)NC的設計與實現(xiàn)[N];中國計算機報;2004年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 黃安文;面向延遲優(yōu)化的多核處理器Cache數(shù)據(jù)管理機制研究[D];國防科學技術大學;2013年

2 張軼;多核實時操作系統(tǒng)關鍵技術研究[D];東北大學;2014年

3 鄭重;異構眾核體系結構Cache功耗和性能優(yōu)化關鍵技術研究[D];國防科學技術大學;2014年

4 周宏偉;微處理器中Cache漏流功耗的體系結構級優(yōu)化技術研究[D];國防科學技術大學;2007年

5 田新華;面向性能優(yōu)化的壓縮cache技術研究[D];國防科學技術大學;2007年

6 陳黎明;嵌入式微處理器中動態(tài)可配置Cache結構的研究[D];華中科技大學;2009年

7 付雄;利用程序分析和優(yōu)化提高Cache性能[D];中國科學技術大學;2007年

8 賈小敏;多核處理器片上Cache訪問行為分析與優(yōu)化機制研究[D];國防科學技術大學;2011年

9 唐軼軒;面向多線程應用的Cache優(yōu)化策略及并行模擬研究[D];中國科學技術大學;2012年

10 項曉燕;體系結構級Cache功耗優(yōu)化技術研究[D];浙江大學;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 舒晰;支持多媒體計算的可重構Cache研究與設計[D];湖南大學;2008年

2 楊向峰;一種32位DSP cache的設計與驗證技術研究[D];江南大學;2008年

3 蘇小昆;基于Tournament Caching的低功耗動態(tài)可重構Cache研究[D];湖南大學;2009年

4 郝玉艷;嵌入式系統(tǒng)中低功耗Cache的研究與設計[D];湖南大學;2009年

5 潘麗君;動態(tài)二進制翻譯器中Code Cache管理策略的研究與分析[D];上海交通大學;2009年

6 劉彬;基于路暫停方法的高性能低功耗Cache研究[D];湖南大學;2007年

7 彭方;路預測與可重構Cache的自適應低能耗算法研究[D];湖南大學;2008年

8 胡濤;面向存儲器完整性驗證的Cache設計[D];華中科技大學;2011年

9 劉清;嵌入式系統(tǒng)中低功耗可重構Cache的研究與設計[D];湖南大學;2012年

10 李冬妮;嵌入式系統(tǒng)中低功耗Cache的重構技術研究[D];湖南大學;2012年

，

本文編號：813632