發(fā)布時(shí)間：2019-03-28 11:46

【摘要】：傳統(tǒng)搜索引擎采用集中式的信息爬取和索引方式,對(duì)網(wǎng)絡(luò)上深層內(nèi)容、動(dòng)態(tài)內(nèi)容和私有內(nèi)容的處理具有一定局限性。分布式信息檢索則能夠更好的適應(yīng)對(duì)各種異構(gòu)資源的檢索。它可以對(duì)多種來源的信息進(jìn)行有效的整合和處理,提供更為多樣化的檢索服務(wù)。其檢索流程可分為資源描述、資源選擇、查詢分發(fā)和結(jié)果融合四個(gè)階段。其中查詢分發(fā)階段會(huì)伴隨著大量的網(wǎng)絡(luò)通信,使用一般的IO模型和通信方式會(huì)造成較大的開銷,因此需要進(jìn)行特殊的設(shè)計(jì)。此外,檢索系統(tǒng)還需要具備良好的可擴(kuò)展性,以便處理異構(gòu)的資源和多樣化的查詢需求。服務(wù)注冊(cè)、服務(wù)管理、服務(wù)發(fā)現(xiàn)和服務(wù)監(jiān)控等基礎(chǔ)設(shè)施對(duì)于分布式系統(tǒng)的穩(wěn)定運(yùn)行也起著關(guān)鍵的作用。本文的工作重點(diǎn)即是設(shè)計(jì)和實(shí)現(xiàn)一個(gè)高效、穩(wěn)定、可擴(kuò)展的分布式信息檢索系統(tǒng)。主要包括以下幾個(gè)部分:(1)分布式信息檢索系統(tǒng)的整體架構(gòu)設(shè)計(jì),根據(jù)分布式信息檢索的特點(diǎn),劃分系統(tǒng)的功能模塊,分析和選擇系統(tǒng)所使用的IO模型和通信方式。(2)設(shè)計(jì)和實(shí)現(xiàn)系統(tǒng)的服務(wù)注冊(cè)、服務(wù)管理、服務(wù)發(fā)現(xiàn)和服務(wù)監(jiān)控等基礎(chǔ)組件,保證系統(tǒng)各節(jié)點(diǎn)服務(wù)間的訪問和通信能夠穩(wěn)定、可靠的進(jìn)行。(3)在系統(tǒng)的核心檢索模塊中,定義資源選擇、查詢分發(fā)和結(jié)果融合的接口,并實(shí)現(xiàn)相應(yīng)的算法。設(shè)計(jì)和實(shí)現(xiàn)插件機(jī)制,以支持對(duì)核心檢索模塊算法和功能的靈活擴(kuò)展。實(shí)現(xiàn)資源選擇和查詢分發(fā)的緩存功能,以提升系統(tǒng)的吞吐量,減少查詢的響應(yīng)時(shí)間,節(jié)約帶寬。(4)建立中央抽樣庫(kù),保存各個(gè)資源庫(kù)的抽樣文檔,以支持資源選擇過程。實(shí)現(xiàn)查詢抽樣工具,基于資源庫(kù)的檢索接口,對(duì)資源庫(kù)進(jìn)行查詢抽樣,并將結(jié)果導(dǎo)入中央抽樣庫(kù)中。(5)對(duì)系統(tǒng)的功能和性能進(jìn)行測(cè)試,比較和分析系統(tǒng)在不同查詢參數(shù)、資源庫(kù)響應(yīng)時(shí)間、資源庫(kù)數(shù)量以及不同并發(fā)數(shù)下的性能變化情況。
[Abstract]:The traditional search engine adopts a centralized information crawling and indexing method, and has certain limitation on the deep content, dynamic content and the processing of the private content on the network. The distributed information retrieval can be better adapted to the retrieval of various heterogeneous resources. It can effectively integrate and process the information of a variety of sources, and provide more diversified interactive services. The retrieval process can be divided into four stages: resource description, resource selection, query distribution and result fusion. In which the query distribution stage is accompanied by a large number of network communication, and a general IO model and a communication mode can be used to cause a large overhead, so a special design is required. In addition, the retrieval system needs to have good scalability to handle heterogeneous resources and diverse query requirements. Infrastructure for service registration, service management, service discovery and service monitoring also plays a key role in the stable operation of distributed systems. The focus of this paper is to design and implement a highly efficient, stable and scalable distributed information retrieval system. The paper mainly includes the following parts: (1) The overall architecture design of the distributed information retrieval system, according to the characteristics of the distributed information retrieval, the functional module of the division system, the IO model and the communication mode used by the analysis and selection system. (2) The basic components such as service registration, service management, service discovery and service monitoring of the system shall be designed and implemented so as to ensure the access and communication among all the service nodes of the system to be stable and reliable. And (3) in the core search module of the system, a resource selection, a query distribution and a result fusion interface are defined, and a corresponding algorithm is realized. The plug-in mechanism is designed and implemented to support a flexible extension of the core search module algorithm and functionality. And the cache function of resource selection and query distribution is realized, so that the throughput of the system is improved, the response time of the query is reduced, and the bandwidth is saved. (4) establishing a central sampling bank, and storing the sampling documents of each resource library so as to support the resource selection process. The query sampling tool is implemented, the resource pool is queried and sampled based on the retrieval interface of the resource pool, and the result is imported into the central sampling library. (5) The function and performance of the system are tested, and the performance changes of the system under different query parameters, resource pool response time, resource pool quantity and different concurrent numbers are compared and analyzed.
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐亞非;分布式信息監(jiān)管體系[J];計(jì)算機(jī)安全;2004年05期

2 大千;分布式信息檢索[J];國(guó)家圖書館學(xué)刊;2004年02期

3 梁小芝,陽(yáng)小華;萬維網(wǎng)分布式信息收集機(jī)器人的最佳作用范圍劃分[J];中南工學(xué)院學(xué)報(bào);2000年03期

4 陸渝;楊斌;王連東;;企業(yè)網(wǎng)中分布式信息檢索查詢系統(tǒng)的實(shí)現(xiàn)[J];石油工業(yè)計(jì)算機(jī)應(yīng)用;2001年02期

5 徐煒,高敬瑜,徐汀榮;移動(dòng)agent在分布式信息查詢業(yè)務(wù)中的應(yīng)用[J];南通紡織職業(yè)技術(shù)學(xué)院學(xué)報(bào);2005年02期

6 雙林平;;分布式信息檢索技術(shù)探析[J];圖書館學(xué)刊;2012年04期

7 曲衛(wèi)紅;;基于移動(dòng)agent的分布式信息檢索的研究[J];現(xiàn)代情報(bào);2006年01期

8 楊建偉,杜艷平,孫健;分布式信息共享技術(shù)的研究[J];太原重型機(jī)械學(xué)院學(xué)報(bào);2004年03期

9 賀凌云;李明哲;;高速公路網(wǎng)分布式信息報(bào)送系統(tǒng)的設(shè)計(jì)[J];現(xiàn)代電子技術(shù);2013年07期

10 楊則正;分布式信息管理系統(tǒng)[J];管理科學(xué)文摘;1994年10期

相關(guān)會(huì)議論文 前1條

1 張剛;周昭濤;王斌;;基于主題的分布式信息檢索研究[A];NCIRCS2004第一屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2004年

相關(guān)博士學(xué)位論文 前3條

1 沈鵬程;分布式信息論學(xué)習(xí)[D];浙江大學(xué);2016年

2 馮錫煒;分布式信息資源主動(dòng)發(fā)現(xiàn)模型研究與應(yīng)用[D];大連海事大學(xué);2010年

3 何川;分布式信息檢索中的若干重要問題研究[D];北京郵電大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 洪瑞琦;分布式信息檢索系統(tǒng)的優(yōu)化設(shè)計(jì)和實(shí)現(xiàn)[D];華南理工大學(xué);2016年

2 劉華普;基于現(xiàn)場(chǎng)總線的分布式信息融合算法及其應(yīng)用[D];鄭州大學(xué);2007年

3 劉永強(qiáng);分布式信息協(xié)同交互模型在企業(yè)信息系統(tǒng)中的應(yīng)用研究[D];中南大學(xué);2003年

4 陳莉勤;分布式信息檢索中移動(dòng)Agent技術(shù)的應(yīng)用研究[D];武漢理工大學(xué);2008年

5 陳智星;利用.NET技術(shù)構(gòu)建企業(yè)分布式信息流支撐系統(tǒng)[D];大連海事大學(xué);2005年

6 許王建;分布式信息管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2010年

7 周杰;基于XPCOM的分布式信息交流系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2011年

8 李俊;可確保安全的分布式信息共享系統(tǒng)—設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2007年

9 陳斌;分布式信息檢索結(jié)果融合算法的研究及實(shí)現(xiàn)[D];華南理工大學(xué);2011年

10 張真;基于Ontology的分布式信息檢索技術(shù)研究[D];中國(guó)海洋大學(xué);2006年

，

本文編號(hào)：2448826