本文選題：搜索引擎 + 壓縮��； 參考：《華中科技大學(xué)》2012年碩士論文

【摘要】：隨著互聯(lián)網(wǎng)的飛速發(fā)展，，網(wǎng)絡(luò)信息呈現(xiàn)大爆炸的趨勢，獲取這些海量信息的搜索引擎應(yīng)運而生。面對搜索引擎獲取的海量信息，研究如何利用有效的技術(shù)來存儲和檢索這些信息具有重要的意義。目前搜索引擎中常見的方法是利用數(shù)據(jù)庫或索引來存儲這些信息并提供接口來檢索。本文實現(xiàn)了一種壓縮技術(shù)和索引相結(jié)合的技術(shù)方法來解決搜索引擎的網(wǎng)絡(luò)信息存儲和檢索問題。 本文首先介紹了搜索引擎相關(guān)技術(shù)，并詳細(xì)介紹了本文系統(tǒng)的方案所運用的Zip和GZip壓縮算法原理，為最終系統(tǒng)的實現(xiàn)奠定了理論基礎(chǔ)。 然后再針對搜索引擎的網(wǎng)絡(luò)信息特點進行重點分析。這種信息具有信息量大，時效性強，多媒體化信息，超鏈接方式等鮮明特點。設(shè)計了針對文本信息和非文本信息分別采用Zip算法和GZip算法的方案，進而設(shè)計了基于搜索引擎網(wǎng)絡(luò)信息的壓縮系統(tǒng)的方案。 接著實現(xiàn)了基于搜索引擎網(wǎng)絡(luò)信息的壓縮系統(tǒng)。系統(tǒng)分為三部分，首先采集網(wǎng)絡(luò)信息，然后通過壓縮算法處理并存儲這些數(shù)據(jù)，最后檢索時將數(shù)據(jù)解壓還原為原始信息。 最后通過實驗測試，從準(zhǔn)確性、壓縮率、壓縮速度三個指標(biāo)對本文設(shè)計的基于搜索引擎信息壓縮方案的效能進行評估。實驗數(shù)據(jù)證明了該壓縮系統(tǒng)方案的壓縮算法具有很高的壓縮率和壓縮速度且具有實用性，從而有效地解決了搜索引擎的數(shù)據(jù)存儲和檢索問題。
[Abstract]:With the rapid development of the Internet, the network information presents the trend of big explosion, the search engine that obtains these massive information emerges as the times require. In the face of the massive information obtained by search engines, it is of great significance to study how to use effective technology to store and retrieve these information. At present, the common method in search engine is to use database or index to store this information and provide interface to retrieve it. In this paper, a compression technique combined with index is implemented to solve the problem of web information storage and retrieval in search engines. This paper first introduces the search engine technology, and introduces in detail the Zip and GZip compression algorithms used in the scheme of the system, which lays a theoretical foundation for the final implementation of the system. Then focus on the characteristics of the search engine network information. This information has a large amount of information, strong timeliness, multimedia information, hyperlinks and other distinct characteristics. The scheme of Zip algorithm and GZip algorithm for text information and non-text information are designed, and then the scheme of compression system based on search engine network information is designed. Then the compression system based on search engine network information is implemented. The system is divided into three parts. Firstly, the network information is collected, then the data is processed and stored by the compression algorithm, and the data is decompressed and restored to the original information when the data is retrieved. Finally, the efficiency of the information compression scheme based on search engine is evaluated from three indexes: accuracy, compression ratio and compression speed. The experimental data show that the compression algorithm of this scheme has high compression rate, compression speed and practicability, thus effectively solving the problem of data storage and retrieval in search engines.
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP391.3

【參考文獻】

相關(guān)期刊論文 前10條

1 王泉,齊春,羅新民,梁嵩;LZW壓縮算法的改進及其參數(shù)優(yōu)化分析[J];重慶郵電學(xué)院學(xué)報(自然科學(xué)版);2005年03期

2 肖武德;;幾種無損數(shù)據(jù)壓縮算法的探討及在JAVA Web程序中的應(yīng)用[J];甘肅科技;2010年04期

3 靳鴻,裴東興,祖靜;無損數(shù)據(jù)壓縮在數(shù)據(jù)采集系統(tǒng)中的應(yīng)用探討[J];華北工學(xué)院學(xué)報;2003年01期

4 吳國清;陳虹;;一種科學(xué)數(shù)據(jù)無損壓縮方法[J];計算機工程與應(yīng)用;2006年05期

5 姚國祥;羅偉其;沈鎮(zhèn)林;;網(wǎng)上信息搜索技術(shù)與搜索引擎[J];計算機科學(xué);2000年07期

6 馮志全,范平,張少白,王玉茹,成謝鋒;一種無失真圖像數(shù)據(jù)壓縮算法[J];計算機應(yīng)用;2001年S1期

7 李志蜀,李果;中文搜索引擎的原理剖析及開發(fā)實現(xiàn)技術(shù)[J];計算機應(yīng)用研究;2001年11期

8 劉俊平,李書振,張志毅;智能搜索引擎實例分析[J];計算機應(yīng)用研究;2003年01期

9 劉祖斌,王永成,劉椿年;中文全文檢索系統(tǒng)中的壓縮模型和模式匹配技術(shù)[J];中文信息學(xué)報;2000年04期

10 李振東,費翔林;基于概念的信息檢索模型研究[J];南京大學(xué)學(xué)報(自然科學(xué)版);2002年01期

相關(guān)碩士學(xué)位論文 前2條

1 常曉燕;基于Java的新聞搜索引擎的設(shè)計與實現(xiàn)[D];西南交通大學(xué);2004年

2 陳杰;主題搜索引擎中網(wǎng)絡(luò)蜘蛛搜索策略研究[D];浙江大學(xué);2006年

本文編號：2032475