發(fā)布時間：2018-02-27 12:28

  本文關鍵詞： 自然語言理解 倒排索引 全文搜索 中文分詞 局部索引　出處：《湖北大學》2013年碩士論文　論文類型：學位論文

【摘要】：隨著網(wǎng)絡技術的發(fā)展,網(wǎng)絡中存在的信息量也越來越大,如何高效、快速、準確地從龐大的信息海中獲取到滿足要求的信息已經(jīng)成為人們重點關注的問題。傳統(tǒng)的信息檢索技術僅僅是從關鍵字的角度出發(fā)進行信息的機械匹配,現(xiàn)在越來越多的人已經(jīng)開始將自然語言與搜索引擎技術結合研究,探索智能搜索引擎的開發(fā)。本文分析研究了信息檢索技術中比較主流的全文搜索技術,全文搜索技術對非結構化文本的處理就是將文檔中的所有內(nèi)容作為研究對象,經(jīng)過文本處理得到可以被索引的純文本信息,然后對文本信息分詞建立索引形成索引庫,當有用戶進行信息檢索時,對用戶輸入的關鍵字進行一定的處理再與索引庫中的索引關鍵字進行匹配,從索引庫中提取出滿足用戶要求的信息。在全文搜索技術的基礎上,加入自然語言理解的中文分詞處理層次,具體的研究內(nèi)容和成果如下： ①分析研究了全文搜索、自然語言理解的關鍵原理及處理機制,在理論的基礎上,結合SS (Struts+Spring)框架開發(fā)出一個基于自然語言理解全切分中文分詞的全文搜索系統(tǒng)原型,此系統(tǒng)原型是針對目前各種典型非結構化文檔的全部內(nèi)容進行文本預處理、中文分詞、建立索引庫、在索引庫中進行信息檢索； ②已開發(fā)出的系統(tǒng)原型對于文檔信息量較小的文檔庫進行建立索引庫檢索信息的效率、準確率都比較高。但是可以預想,當文檔庫所包含的信息量非常大,對文檔全部內(nèi)容進行預處理,再分詞建立索引庫,時空耗費必然也相當龐大。針對這一缺陷,本文提出了一種對文檔內(nèi)容建立局部索引的思想,并且在已開發(fā)完成的系統(tǒng)原型基礎上進一步研究,比較兩種不同的文檔處理機制,經(jīng)過試驗,得出對文檔內(nèi)容建立局部索引在信息檢索領域是相當有研究價值的。
[Abstract]:With the development of network technology, the amount of information in the network is increasing. It has become a focus of attention to get the information that meets the requirements from the huge information sea accurately. Traditional information retrieval technology is only to carry out the mechanical matching of information from the perspective of keywords. Now more and more people have begun to combine natural language and search engine technology to explore the development of intelligent search engine. Full-text search technology for unstructured text processing is to take all the contents of the document as the research object, through the text processing can be indexed pure text information, and then the text information participle is indexed to form an index library. When a user carries out information retrieval, the keywords entered by the user are processed and matched with the index keywords in the index library, and the information that meets the user's requirements is extracted from the index library. On the basis of full-text search technology, Add the Chinese word segmentation processing level of natural language understanding, the specific research contents and results are as follows:. 1. The key principles and processing mechanisms of full-text search and natural language understanding are analyzed and studied. On the basis of the theory, a full-text search system based on natural language understanding is developed based on the framework of SS Struts Spring. The prototype of the system is to carry out text preprocessing, Chinese word segmentation, index database and information retrieval in various typical unstructured documents. (2) the prototype of the developed system is more efficient and accurate in building index library for document library with less document information. However, it can be expected that when the document library contains a large amount of information, In order to preprocess all the contents of a document and build an index database with word segmentation, the cost of time and space is bound to be very large. In view of this defect, this paper puts forward a kind of idea of building local index to the document content. And on the basis of the system prototype that has been developed, this paper compares two different document processing mechanisms. Through experiments, it is concluded that local indexing of document content is of considerable value in the field of information retrieval.
【學位授予單位】：湖北大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP391.3

【參考文獻】

相關期刊論文 前10條

1 曹元大,賀海軍,涂哲明;中文Web文檔全文檢索系統(tǒng)的設計及實現(xiàn)[J];北京理工大學學報;2002年01期

2 譚義紅;王鑫;周鐵軍;;基于概念檢索的中文搜索引擎的設計與實現(xiàn)[J];計算機應用與軟件;2006年05期

3 鄭倫衛(wèi);自然語言在全文檢索系統(tǒng)中的應用及發(fā)展對策[J];圖書館理論與實踐;2004年03期

4 余海燕,張仲義;基于單漢字索引的全文檢索系統(tǒng)的優(yōu)化研究[J];中文信息學報;2001年04期

5 王燦輝;張敏;馬少平;;自然語言處理在信息檢索中的應用綜述[J];中文信息學報;2007年02期

6 耿騫;賴茂生;;自然語言檢索的實現(xiàn)及其關鍵問題[J];情報科學;2007年05期

7 何莘;王琬蕪;;自然語言檢索中的中文分詞技術研究進展及應用[J];情報科學;2008年05期

8 張琪玉;自然語言檢索中各種因素對檢索效率的影響[J];情報理論與實踐;1997年05期

9 張琪玉;關于自然語言檢索問題[J];圖書館論壇;2004年06期

10 高琰,谷士文,譚立球,費耀平;基于Lucene的搜索引擎設計與實現(xiàn)[J];微機發(fā)展;2004年10期

，

本文編號：1542666