【摘要】：傳統(tǒng)搜索引擎采用集中式的信息爬取和索引方式,對網(wǎng)絡(luò)上深層內(nèi)容、動態(tài)內(nèi)容和私有內(nèi)容的處理具有一定局限性。分布式信息檢索則能夠更好的適應(yīng)對各種異構(gòu)資源的檢索。它可以對多種來源的信息進行有效的整合和處理,提供更為多樣化的檢索服務(wù)。其檢索流程可分為資源描述、資源選擇、查詢分發(fā)和結(jié)果融合四個階段。其中查詢分發(fā)階段會伴隨著大量的網(wǎng)絡(luò)通信,使用一般的IO模型和通信方式會造成較大的開銷,因此需要進行特殊的設(shè)計。此外,檢索系統(tǒng)還需要具備良好的可擴展性,以便處理異構(gòu)的資源和多樣化的查詢需求。服務(wù)注冊、服務(wù)管理、服務(wù)發(fā)現(xiàn)和服務(wù)監(jiān)控等基礎(chǔ)設(shè)施對于分布式系統(tǒng)的穩(wěn)定運行也起著關(guān)鍵的作用。本文的工作重點即是設(shè)計和實現(xiàn)一個高效、穩(wěn)定、可擴展的分布式信息檢索系統(tǒng)。主要包括以下幾個部分:(1)分布式信息檢索系統(tǒng)的整體架構(gòu)設(shè)計,根據(jù)分布式信息檢索的特點,劃分系統(tǒng)的功能模塊,分析和選擇系統(tǒng)所使用的IO模型和通信方式。(2)設(shè)計和實現(xiàn)系統(tǒng)的服務(wù)注冊、服務(wù)管理、服務(wù)發(fā)現(xiàn)和服務(wù)監(jiān)控等基礎(chǔ)組件,保證系統(tǒng)各節(jié)點服務(wù)間的訪問和通信能夠穩(wěn)定、可靠的進行。(3)在系統(tǒng)的核心檢索模塊中,定義資源選擇、查詢分發(fā)和結(jié)果融合的接口,并實現(xiàn)相應(yīng)的算法。設(shè)計和實現(xiàn)插件機制,以支持對核心檢索模塊算法和功能的靈活擴展。實現(xiàn)資源選擇和查詢分發(fā)的緩存功能,以提升系統(tǒng)的吞吐量,減少查詢的響應(yīng)時間,節(jié)約帶寬。(4)建立中央抽樣庫,保存各個資源庫的抽樣文檔,以支持資源選擇過程。實現(xiàn)查詢抽樣工具,基于資源庫的檢索接口,對資源庫進行查詢抽樣,并將結(jié)果導(dǎo)入中央抽樣庫中。(5)對系統(tǒng)的功能和性能進行測試,比較和分析系統(tǒng)在不同查詢參數(shù)、資源庫響應(yīng)時間、資源庫數(shù)量以及不同并發(fā)數(shù)下的性能變化情況。
[Abstract]:The traditional search engine adopts a centralized information crawling and indexing method, and has certain limitation on the deep content, dynamic content and the processing of the private content on the network. The distributed information retrieval can be better adapted to the retrieval of various heterogeneous resources. It can effectively integrate and process the information of a variety of sources, and provide more diversified interactive services. The retrieval process can be divided into four stages: resource description, resource selection, query distribution and result fusion. In which the query distribution stage is accompanied by a large number of network communication, and a general IO model and a communication mode can be used to cause a large overhead, so a special design is required. In addition, the retrieval system needs to have good scalability to handle heterogeneous resources and diverse query requirements. Infrastructure for service registration, service management, service discovery and service monitoring also plays a key role in the stable operation of distributed systems. The focus of this paper is to design and implement a highly efficient, stable and scalable distributed information retrieval system. The paper mainly includes the following parts: (1) The overall architecture design of the distributed information retrieval system, according to the characteristics of the distributed information retrieval, the functional module of the division system, the IO model and the communication mode used by the analysis and selection system. (2) The basic components such as service registration, service management, service discovery and service monitoring of the system shall be designed and implemented so as to ensure the access and communication among all the service nodes of the system to be stable and reliable. And (3) in the core search module of the system, a resource selection, a query distribution and a result fusion interface are defined, and a corresponding algorithm is realized. The plug-in mechanism is designed and implemented to support a flexible extension of the core search module algorithm and functionality. And the cache function of resource selection and query distribution is realized, so that the throughput of the system is improved, the response time of the query is reduced, and the bandwidth is saved. (4) establishing a central sampling bank, and storing the sampling documents of each resource library so as to support the resource selection process. The query sampling tool is implemented, the resource pool is queried and sampled based on the retrieval interface of the resource pool, and the result is imported into the central sampling library. (5) The function and performance of the system are tested, and the performance changes of the system under different query parameters, resource pool response time, resource pool quantity and different concurrent numbers are compared and analyzed.
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP391.3

【相似文獻】

相關(guān)期刊論文 前10條

1 徐亞非;分布式信息監(jiān)管體系[J];計算機安全;2004年05期

2 大千;分布式信息檢索[J];國家圖書館學(xué)刊;2004年02期

3 梁小芝,陽小華;萬維網(wǎng)分布式信息收集機器人的最佳作用范圍劃分[J];中南工學(xué)院學(xué)報;2000年03期

4 陸渝;楊斌;王連東;;企業(yè)網(wǎng)中分布式信息檢索查詢系統(tǒng)的實現(xiàn)[J];石油工業(yè)計算機應(yīng)用;2001年02期

5 徐煒,高敬瑜,徐汀榮;移動agent在分布式信息查詢業(yè)務(wù)中的應(yīng)用[J];南通紡織職業(yè)技術(shù)學(xué)院學(xué)報;2005年02期

6 雙林平;;分布式信息檢索技術(shù)探析[J];圖書館學(xué)刊;2012年04期

7 曲衛(wèi)紅;;基于移動agent的分布式信息檢索的研究[J];現(xiàn)代情報;2006年01期

8 楊建偉,杜艷平,孫健;分布式信息共享技術(shù)的研究[J];太原重型機械學(xué)院學(xué)報;2004年03期

9 賀凌云;李明哲;;高速公路網(wǎng)分布式信息報送系統(tǒng)的設(shè)計[J];現(xiàn)代電子技術(shù);2013年07期

10 楊則正;分布式信息管理系統(tǒng)[J];管理科學(xué)文摘;1994年10期

相關(guān)會議論文 前1條

1 張剛;周昭濤;王斌;;基于主題的分布式信息檢索研究[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2004年

相關(guān)博士學(xué)位論文 前3條

1 沈鵬程;分布式信息論學(xué)習(xí)[D];浙江大學(xué);2016年

2 馮錫煒;分布式信息資源主動發(fā)現(xiàn)模型研究與應(yīng)用[D];大連海事大學(xué);2010年

3 何川;分布式信息檢索中的若干重要問題研究[D];北京郵電大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 洪瑞琦;分布式信息檢索系統(tǒng)的優(yōu)化設(shè)計和實現(xiàn)[D];華南理工大學(xué);2016年

2 劉華普;基于現(xiàn)場總線的分布式信息融合算法及其應(yīng)用[D];鄭州大學(xué);2007年

3 劉永強;分布式信息協(xié)同交互模型在企業(yè)信息系統(tǒng)中的應(yīng)用研究[D];中南大學(xué);2003年

4 陳莉勤;分布式信息檢索中移動Agent技術(shù)的應(yīng)用研究[D];武漢理工大學(xué);2008年

5 陳智星;利用.NET技術(shù)構(gòu)建企業(yè)分布式信息流支撐系統(tǒng)[D];大連海事大學(xué);2005年

6 許王建;分布式信息管理系統(tǒng)的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2010年

7 周杰;基于XPCOM的分布式信息交流系統(tǒng)的設(shè)計與實現(xiàn)[D];西安電子科技大學(xué);2011年

8 李俊;可確保安全的分布式信息共享系統(tǒng)—設(shè)計與實現(xiàn)[D];上海交通大學(xué);2007年

9 陳斌;分布式信息檢索結(jié)果融合算法的研究及實現(xiàn)[D];華南理工大學(xué);2011年

10 張真;基于Ontology的分布式信息檢索技術(shù)研究[D];中國海洋大學(xué);2006年

，

本文編號：2448826