【摘要】：Web預取技術是在分析用戶訪問的相關數(shù)據(jù)或行為的基礎上,主動預測其下一步可能瀏覽的頁面,通過隱性的請求加載,從而預先取得并存放在緩存中,以備用戶訪問,從而減少用戶訪問時因為網(wǎng)絡或服務器等各種可能問題造成的時延。基于Web訪問模式特性及預取與緩存的基本理論,本文在前人的基礎上充分發(fā)掘Web訪問過程中的規(guī)律和特性,采用概率統(tǒng)計、數(shù)學分析等方法,改進了包括日志處理,特征詞提取,資源預測及資源緩存與替換等算法,建立了一套預取一體化框架。在預取一體化框架的研究中,主要工作包括:(1)在日志數(shù)據(jù)處理時對路徑的補充工作提出了描點法,用以補充日志記錄中的訪問路徑序列遺漏、缺失的信息,以還原一個完整合理的訪問行為,該算法簡單有效,易于實現(xiàn);(2)在特征詞處理時對傳統(tǒng)的特征詞提取算法TF-IDF(Term Frequency Inverse Document Frequency)進行了改進,提出了TF-IDF-CD(Term Frequency Inverse Document Frequency-Categorical Description)算法,該算法解決了傳統(tǒng)特征詞提取過程中對于類別區(qū)分能力較弱的問題;(3)資源預測過程是在原馬爾可夫預取模型的基礎上對用戶進行分類,同時對用戶訪問路徑從語義的角度進行分析,提取用戶信息需求,從而形成了基于用戶分類的隱馬爾可夫預取模型,該算法將基于訪問路徑和基于語義兩類算法思想相結合,以達到更好的預測準確率。(4)在資源緩存與替換中,我們在GDS(Greedy-Dual-Size)和GDSF(Greedy-Dual-Size-Frequency)算法的基礎上,引入時間頻度概念,提出了GDSF-T(Greedy-Dual-Size-Frequency-Time)算法,該算法彌補了時間因素對訪問頻度的影響。最后,將該框架應用于一個基于微信端的農(nóng)產(chǎn)品產(chǎn)銷平臺中,以針對此類移動平臺特有的帶寬低、延遲高、間歇性連通等網(wǎng)絡特點,達到降低訪問時延、優(yōu)化系統(tǒng)性能的目的,并通過實驗對系統(tǒng)引入預取框架前后對系統(tǒng)性能的影響進行了測試和分析,測試結果顯示各項指標均良好。
[Abstract]:Web prefetching technology is based on the analysis of relevant data or behaviors accessed by the user, and actively predicts the pages it may visit next, and loads the pages through hidden requests, which can be obtained in advance and stored in the cache for the user to visit. Thus, the delay caused by various possible problems such as network or server is reduced when the user accesses. Based on the characteristics of Web access mode and the basic theory of prefetching and caching, this paper fully explores the rules and characteristics of Web access process on the basis of predecessors, and adopts the methods of probability statistics and mathematical analysis to improve the log processing. An integrated prefetching framework is established, such as feature extraction, resource prediction and resource cache and replacement. In the research of pre-fetching integrated framework, the main work includes: (1) in the process of log data processing, a new method is proposed to supplement the missing and missing information of access path sequence in log records. In order to restore a complete and reasonable access behavior, the algorithm is simple and effective and easy to implement. (2) the traditional feature word extraction algorithm TF-IDF (Term Frequency / Inverse Document Frequency) is improved, and the TF-IDF-CD (Term Frequency Inverse Document Frequency-Categorical Description algorithm is proposed. The algorithm solves the problem of weak classification ability in the traditional feature extraction process. (3) the resource prediction process classifies users on the basis of the original Markov prefetching model. At the same time, the user access path is analyzed from the point of view of semantics, and user information requirements are extracted, and a hidden Markov prefetching model based on user classification is formed. The algorithm combines two kinds of algorithms based on access path and semantics. In order to achieve better prediction accuracy. (4) in resource cache and replacement, based on GDS (Greedy-Dual-Size) and GDSF (Greedy-Dual-Size-Frequency) algorithm, we introduce the concept of time frequency, and propose GDSF-T (Greedy-Dual-Size-Frequency-Time) algorithm, which makes up for the influence of time factor on access frequency. Finally, the framework is applied to a production and marketing platform of agricultural products based on WeChat, in order to reduce the access delay and optimize the system performance in view of the unique characteristics of the mobile platform, such as low bandwidth, high delay, intermittent connectivity and so on. The performance of the system is tested and analyzed before and after the introduction of the prefetching frame. The test results show that the performance of the system is good.
【學位授予單位】：西安理工大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP393.0;O211.62

【相似文獻】

相關期刊論文 前10條

1 任昌榮,劉小紅;預取機制在WebGIS中的應用[J];現(xiàn)代計算機(專業(yè)版);2005年04期

2 班志杰;金瑜;;利用LMS規(guī)則的預取策略[J];武漢大學學報(信息科學版);2009年08期

3 鄒丹;;基于Web服務的醫(yī)院信息管理系統(tǒng)的設計與實現(xiàn)[J];大眾科技;2007年06期

4 彭玉華;;基于Web的學生信息管理系統(tǒng)的設計與實現(xiàn)[J];民營科技;2010年09期

5 李陶深,劉波,楊柳,嚴毅;基于Web的多媒體檔案管理信息系統(tǒng)設計與實現(xiàn)[J];廣西科學院學報;2000年S1期

6 侯劍,李斌,潘文林;WEB網(wǎng)絡考試系統(tǒng)實現(xiàn)技術研究[J];云南民族大學學報(自然科學版);2004年02期

7 陳煥東,吳淑雷;基于Web的數(shù)據(jù)挖掘技術淺析[J];海南師范學院學報(自然科學版);2004年03期

8 蔡猷花;張岐山;;Web使用模式挖掘及其在電子商務領域的應用[J];科技管理研究;2005年11期

9 黃勇;基于Web應用的網(wǎng)絡考試系統(tǒng)[J];實驗科學與技術;2005年01期

10 劉學黨;伊堯國;;基于WEB的城市三維地理信息系統(tǒng)構建方法研究[J];天津城市建設學院學報;2006年01期

相關會議論文 前10條

1 歐國東;潘國騰;羅莉;;兩階段數(shù)據(jù)預取線程評估方法[A];第十六屆計算機工程與工藝年會暨第二屆微處理器技術論壇論文集[C];2012年

2 劉正濤;毛宇光;應毅;;基于Web服務的分布式Web應用框架研究[A];第一屆全國Web信息系統(tǒng)及其應用會議（WISA2004）論文集[C];2004年

3 戴琦;;Web上的數(shù)據(jù)挖掘[A];全國計算機網(wǎng)絡應用年會論文集（2001）[C];2001年

4 王衛(wèi);;基于Web的數(shù)據(jù)庫應用[A];第十八屆中國（天津）’2004IT、網(wǎng)絡、信息技術、電子、儀器儀表創(chuàng)新學術會議論文集[C];2004年

5 張默;廖湖聲;杜金蓮;;基于Web服務的開放式地理信息系統(tǒng)的研究[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

6 鄭菊艷;續(xù)愛民;;基于WEB模式的科研項目管理系統(tǒng)的設計與實現(xiàn)[A];第十四屆中國科協(xié)年會第5分會場：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

7 鄭菊艷;續(xù)愛民;;基于WEB模式的科研項目管理系統(tǒng)的設計與實現(xiàn)[A];2012年MIS/S&A學術交流會議論文集[C];2012年

8 李勤;;基于WEB的計算機模擬病例考試系統(tǒng)在全科醫(yī)師培訓實踐能力測試中應用研究[A];2012年浙江省全科醫(yī)學學術年會論文匯編[C];2012年

9 黃海林;孫向陽;;基于Web的大學物理試題管理系統(tǒng)的設計[A];湖北省物理學會、武漢物理學會成立70周年慶典暨2002年學術年會論文集[C];2002年

10 于莉莉;張毅;;基于Web的人力資源管理系統(tǒng)研究與設計[A];2008全國制造業(yè)信息化標準化論壇論文集[C];2008年

相關重要報紙文章 前10條

1 本報記者 劉繼安;準備好了嗎？WEB教師[N];中國教育報;2001年

2 張承東;Web智能考核廣告[N];網(wǎng)絡世界;2009年

3 科訊;WEB教師——一個全新職業(yè)的透析[N];科技日報;2001年

4 王雅麗;博客社區(qū)齊上陣 銀行借Web 2.0拉攏未來客戶[N];中國計算機報;2008年

5 本報記者 黃智軍;Web應用呼喚新型安全系統(tǒng)[N];計算機世界;2009年

6 居易;WEB教師熱門起來[N];組織人事報;2001年

7 本報記者 趙曉濤;四問“Web防御與云安全”[N];網(wǎng)絡世界;2008年

8 本報記者 徐恒;手機瀏覽器：競爭不斷加劇 Web大勢所趨[N];中國電子報;2009年

9 電腦商報記者 張戈;Web應用安全正當時[N];電腦商報;2010年

10 李晨;Web應用安全應貫穿生命周期[N];人民郵電;2009年

相關博士學位論文 前10條

1 萬志遠;Web應用程序漏洞檢測關鍵技術研究[D];浙江大學;2014年

2 黃治虎;基于網(wǎng)頁信息和圖像特征的Web圖像檢索研究[D];重慶大學;2015年

3 張璞;Web評論文本情感分類方法研究[D];重慶大學;2015年

4 劉維東;Web短文本知識關聯(lián)模型及其語義連貫計算方法[D];上海大學;2016年

5 孫慧峰;基于協(xié)同過濾的個性化Web推薦[D];北京郵電大學;2012年

6 何儒漢;Web圖像的多模融合檢索研究[D];華中科技大學;2007年

7 張建武;面向Web應用的安全評測技術研究[D];北京郵電大學;2012年

8 龍慧云;基于進程代數(shù)的Web服務數(shù)據(jù)和組合的形式化方法研究[D];貴州大學;2009年

9 歐國東;基于線程的數(shù)據(jù)預取技術研究[D];國防科學技術大學;2011年

10 孫濤;面向市場情報分析的Web實體事件融合問題研究[D];山東大學;2014年

相關碩士學位論文 前10條

1 王釩霖;基于用戶分類的隱馬爾可夫WEB預取模型及應用研究[D];西安理工大學;2017年

2 姚南野;基于關聯(lián)分析的移動評教數(shù)據(jù)預取與緩存研究[D];華中師范大學;2015年

3 朱凌宇;基于數(shù)據(jù)訪問模式挖掘的磁盤數(shù)據(jù)預取技術研究[D];西南大學;2015年

4 王壘;全球剖分編碼海量瓦片文件的有序存儲和預取技術研究[D];國防科學技術大學;2013年

5 趙祥;基于應用程序訪存模式的硬件自適應預取技術的研究[D];國防科學技術大學;2014年

6 徐軒絢;面向社交網(wǎng)絡的流媒體預取技術研究[D];南京大學;2014年

7 洪偉;Web緩存與預取系統(tǒng)的設計與實現(xiàn)[D];華中科技大學;2014年

8 劉平;基于“YHFT-XDSP”XMC接口的預取結構的設計與實現(xiàn)[D];國防科學技術大學;2014年

9 湯明星;面向MapReduce數(shù)據(jù)本地化的調(diào)度方法研究[D];國防科學技術大學;2014年

10 王艷群;面向糾刪碼存儲集群的離線歸檔優(yōu)化研究[D];華中科技大學;2016年

，

本文編號：2220854