發(fā)布時(shí)間：2017-05-07 11:13

  本文關(guān)鍵詞：基于Lucene的站內(nèi)檢索系統(tǒng)的設(shè)計(jì)與優(yōu)化，由筆耕文化傳播整理發(fā)布。

【摘要】：伴隨著信息技術(shù)與互聯(lián)網(wǎng)技術(shù)的發(fā)展,接踵而來的則是信息量的爆炸式增長,人類社會已全面進(jìn)入信息化的時(shí)代。人們在享受互聯(lián)網(wǎng)進(jìn)步帶來的便利的同時(shí),如何在海量信息數(shù)據(jù)中迅速找到符合用戶需求的信息,成為了信息檢索的關(guān)鍵技術(shù)。面對互聯(lián)網(wǎng)內(nèi)容的不斷產(chǎn)生、更新或者消失,搜索引擎技術(shù)的誕生打破了互聯(lián)網(wǎng)復(fù)雜的局面,為用戶找到所需求的信息提供了有力的手段。Lucene作為開源搜索架構(gòu),具有開放、面向?qū)ο蟮葍?yōu)點(diǎn),通過采用Lucene作為核心,從而構(gòu)建出適用于不同環(huán)境下的獨(dú)立的檢索系統(tǒng)。本文通過對Lucene技術(shù)框架進(jìn)行分析和研究,闡述了基于全文檢索系統(tǒng)的檢索方法及其基本原理,結(jié)合目前網(wǎng)站信息多樣化的特點(diǎn),分析了基于關(guān)系型數(shù)據(jù)庫全文檢索技術(shù)的不足,進(jìn)而開發(fā)出一套實(shí)用性強(qiáng)、通用性高的站內(nèi)全文檢索系統(tǒng),解決了網(wǎng)絡(luò)用戶的站內(nèi)搜索需求。論文的工作和成果主要體現(xiàn)在以下幾個(gè)方面:(1)深入分析了全文檢索引擎Lucene的結(jié)構(gòu)及原理,通過對Lucene的分詞算法原理進(jìn)行研究,結(jié)合中文語義設(shè)計(jì)并改進(jìn)了中文分詞器,構(gòu)建了同義詞詞庫引擎以實(shí)現(xiàn)自定義同義詞檢索功能。(2)針對Lucene只能對文本類型數(shù)據(jù)進(jìn)行檢索的特點(diǎn),提出一種新的文本解析方法,該方法采用Tika文本解析器對信息進(jìn)行抽取,用以建立索引,適用于各種類型文檔。避免了針對不同文檔使用多種解析器的復(fù)雜性。(3)設(shè)計(jì)了一個(gè)站內(nèi)留言發(fā)布系統(tǒng),用于對檢索系統(tǒng)進(jìn)行測試,該留言發(fā)布系統(tǒng)具有較為完善的內(nèi)容發(fā)布機(jī)制,通過結(jié)合數(shù)據(jù)庫的設(shè)計(jì)和檢索系統(tǒng)的優(yōu)化改進(jìn),實(shí)現(xiàn)了站內(nèi)內(nèi)容的搜索。(4)設(shè)計(jì)并實(shí)現(xiàn)搜索模塊的擴(kuò)展功能,如高亮搜索、近實(shí)時(shí)搜索和全文檢索服務(wù)器Solr。近實(shí)時(shí)搜索的引入,使得系統(tǒng)中的內(nèi)容能更快地被索引與搜索,減少了系統(tǒng)提交索引操作時(shí)所產(chǎn)生的開銷,而高亮搜索和Solr的應(yīng)用則提高了系統(tǒng)的穩(wěn)定性和用戶體驗(yàn)性。
【關(guān)鍵詞】：全文檢索 中文分詞 文本解析器 近實(shí)時(shí)搜索 Solr
【學(xué)位授予單位】：浙江工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP391.3
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第1章 緒論10-16
• 1.1 課題研究背景及意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-14
• 1.2.1 站內(nèi)搜索研究現(xiàn)狀11-12
• 1.2.2 全文檢索研究現(xiàn)狀12-14
• 1.3 主要研究工作14
• 1.4 論文組織結(jié)構(gòu)與章節(jié)安排14-15
• 1.5 本章小結(jié)15-16
• 第2章 Lucene全文檢索相關(guān)技術(shù)16-30
• 2.1 全文檢索的原理概述16-17
• 2.2 倒排索引關(guān)鍵技術(shù)17-21
• 2.2.1 倒排索引算法概述17-19
• 2.2.2 倒排索引的分詞技術(shù)19
• 2.2.3 倒排索引文件的壓縮技術(shù)19-21
• 2.3 索引的建立21-22
• 2.4 基于Lucene的全文檢索框架22-25
• 2.4.1 Lucene簡介23
• 2.4.2 Lucene的優(yōu)點(diǎn)23-24
• 2.4.3 系統(tǒng)架構(gòu)與數(shù)據(jù)流分析24-25
• 2.5 索引的搜索25-29
• 2.5.1 檢索模型25-26
• 2.5.2 索引搜索過程26-29
• 2.6 本章小結(jié)29-30
• 第3章 站內(nèi)全文檢索系統(tǒng)關(guān)鍵技術(shù)研究30-44
• 3.1 中文分詞技術(shù)30-34
• 3.1.1 中文分詞算法30-33
• 3.1.2 分詞器比較33-34
• 3.2 文本解析工具34-39
• 3.2.1 傳統(tǒng)文本解析工具35-38
• 3.2.2 多類型文本解析器Tika38-39
• 3.3 索引查看工具Luke39-40
• 3.4 搜索應(yīng)用服務(wù)器Solr40-43
• 3.4.1 Solr簡介40-41
• 3.4.2 Solr特點(diǎn)及優(yōu)勢41-42
• 3.4.3 SolrJ客戶端42-43
• 3.5 本章小結(jié)43-44
• 第4章 系統(tǒng)分析與概要設(shè)計(jì)44-61
• 4.1 系統(tǒng)總體設(shè)計(jì)44-47
• 4.1.1 系統(tǒng)設(shè)計(jì)原則44
• 4.1.2 系統(tǒng)需求分析44-46
• 4.1.3 系統(tǒng)架構(gòu)設(shè)計(jì)46-47
• 4.2 中文分詞器的設(shè)計(jì)47-51
• 4.2.1 分詞器的結(jié)構(gòu)屬性48-49
• 4.2.2 分詞器的設(shè)計(jì)思路49-51
• 4.3 索引數(shù)據(jù)庫的設(shè)計(jì)51-53
• 4.4 高亮搜索模塊設(shè)計(jì)53-55
• 4.5 近實(shí)時(shí)搜索模塊設(shè)計(jì)55-56
• 4.6 Solr服務(wù)器的配置56-60
• 4.6.1 Tomcat的介紹與配置56-58
• 4.6.2 在Tomcat上部署并運(yùn)行Solr58-60
• 4.7 本章小結(jié)60-61
• 第5章 系統(tǒng)的實(shí)現(xiàn)及性能測試61-75
• 5.1 系統(tǒng)開發(fā)環(huán)境61
• 5.2 系統(tǒng)模塊實(shí)現(xiàn)和測試61-71
• 5.2.1 中文分詞模塊實(shí)現(xiàn)與測試分析62-63
• 5.2.2 數(shù)據(jù)庫模塊的實(shí)現(xiàn)與查看63-66
• 5.2.3 高亮搜索模塊的實(shí)現(xiàn)與測試66-69
• 5.2.4 近實(shí)時(shí)搜索的實(shí)現(xiàn)與測試69-70
• 5.2.5 系統(tǒng)服務(wù)器部署實(shí)現(xiàn)與測試70-71
• 5.3 系統(tǒng)運(yùn)行流程分析71-72
• 5.4 系統(tǒng)運(yùn)行測試72-74
• 5.5 本章小結(jié)74-75
• 第6章 總結(jié)與展望75-77
• 6.1 論文工作總結(jié)75-76
• 6.2 研究工作展望76-77
• 參考文獻(xiàn)77-80
• 致謝80-81
• 攻讀學(xué)位期間參加的科研項(xiàng)目和成果81

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 黃澤霖;;縱橫交錯(cuò),點(diǎn)面結(jié)合,全面構(gòu)筑年鑒六大檢索系統(tǒng)[J];年鑒信息與研究;2006年03期

2 李明;;中科院聲學(xué)所推出基于哼唱旋律或口說歌詞的歌曲檢索系統(tǒng)[J];應(yīng)用聲學(xué);2006年04期

3 ;國際常用六大著名檢索系統(tǒng)[J];溫州職業(yè)技術(shù)學(xué)院學(xué)報(bào);2009年02期

4 ;國際常用六大著名檢索系統(tǒng)[J];昆明冶金高等專科學(xué)校學(xué)報(bào);2010年03期

5 李華;;淺析檢索系統(tǒng)中錯(cuò)誤數(shù)據(jù)的控制[J];黑龍江科技信息;2011年05期

6 臧國全;;后控詞表檢索系統(tǒng)研究[J];情報(bào)科學(xué);1988年02期

7 本刊編輯部;《物理》已成為世界六大檢索系統(tǒng)的“座上客”[J];物理;1991年07期

8 ;新華社建成并開放新聞資料檢索系統(tǒng)[J];視聽界;1992年06期

9 馬文筠;圖書館公共檢索系統(tǒng)初探[J];現(xiàn)代圖書情報(bào)技術(shù);2000年S2期

10 蔣國華;氣象圖像產(chǎn)品的屏幕截取和檢索系統(tǒng)的編程及使用[J];廣東氣象;2002年02期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 楊光復(fù);;論年鑒的檢索系統(tǒng)和信息開發(fā)[A];創(chuàng)新與發(fā)展——云南省年鑒論文選（續(xù)集）[C];2006年

2 許潔萍;袁斌;劉怡;;音樂檢索系統(tǒng)中用戶哼唱旋律錯(cuò)誤的研究[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議(HHME2006)——第15屆中國多媒體學(xué)術(shù)會議(NCMT'06)論文集[C];2006年

3 張剛;孫健;丁國棟;米嘉;王斌;;海量數(shù)據(jù)的索引與檢索系統(tǒng)[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會’2004論文集[C];2004年

4 顧寄南;陳曉燕;;檢索系統(tǒng)專業(yè)化和智能化的研究與實(shí)現(xiàn)[A];走中國特色農(nóng)業(yè)機(jī)械化道路——中國農(nóng)業(yè)機(jī)械學(xué)會2008年學(xué)術(shù)年會論文集（下冊）[C];2008年

5 徐英進(jìn);王愈;蔡銳;蔡蓮紅;;一種基于“樂紋”的海量音樂檢索系統(tǒng)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議(HHME2006)——第15屆中國多媒體學(xué)術(shù)會議(NCMT'06)論文集[C];2006年

6 劉超彪;宋鴻陟;司國東;傅熠;;應(yīng)用于移動學(xué)習(xí)的樹木檢索系統(tǒng)[A];第八屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2012)論文集CHCI[C];2012年

7 王寧;范志新;胡運(yùn)發(fā);;虛擬圖書館檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];數(shù)據(jù)庫研究進(jìn)展97——第十四屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（下）[C];1997年

8 高鵬;梁家恩;王曉瑞;徐波;;一個(gè)面向海量視音頻應(yīng)用的快速關(guān)鍵音檢索系統(tǒng)[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

9 穆飛;李維佳;薛巍;舒繼武;;一種分布式信息檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集（下冊）[C];2007年

10 張浩;黃厚寬;;基于OAI協(xié)議的統(tǒng)一檢索系統(tǒng)研究與實(shí)現(xiàn)[A];首屆中國CAE工程分析技術(shù)年會暨2005全國計(jì)算機(jī)輔助工程(CAE)技術(shù)與應(yīng)用高級研討會論文集[C];2005年

中國重要報(bào)紙全文數(shù)據(jù)庫 前9條

1 王津東 李會霞;南京市江寧區(qū) 法律法規(guī)檢索系統(tǒng)推進(jìn)工作信息化[N];中國社會報(bào);2008年

2 楊申武;工程建設(shè)標(biāo)準(zhǔn)強(qiáng)制性條文檢索系統(tǒng)即將開通運(yùn)行[N];中國建設(shè)報(bào);2012年

3 本報(bào)記者 汪建根;想不起歌名,你就哼一聲[N];中國文化報(bào);2011年

4 葛濤;人文社科期刊怎樣進(jìn)入國際權(quán)威領(lǐng)域[N];中華讀書報(bào);2003年

5 記者 侯梅竹;漢語語料檢索系統(tǒng)問世[N];計(jì)算機(jī)世界;2004年

6 柯文;找音樂？會哼幾句就行[N];人民日報(bào);2006年

7 本報(bào)記者 侯闖;讓企業(yè)不再“眼花”[N];計(jì)算機(jī)世界;2003年

8 ;讓法治細(xì)胞在網(wǎng)絡(luò)上繁衍[N];人民法院報(bào);2002年

9 清華大學(xué)計(jì)算機(jī)系智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室 張敏 金奕江;實(shí)驗(yàn)與實(shí)用系統(tǒng)[N];計(jì)算機(jī)世界;2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 王君澤;基于大規(guī)模問答語料的問題檢索系統(tǒng)[D];華中科技大學(xué);2010年

2 張毅波;中文結(jié)構(gòu)化信息檢索系統(tǒng)的研究與實(shí)現(xiàn)[D];中國科學(xué)院研究生院（軟件研究所）;2001年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陳志敏;聯(lián)邦檢索系統(tǒng)的關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

2 周翔;基于E2LSH的音樂哼唱檢索系統(tǒng)的研究[D];電子科技大學(xué);2014年

3 吳莉莉;基于內(nèi)容的多媒體哼唱檢索系統(tǒng)軟件研究與設(shè)計(jì)[D];電子科技大學(xué);2014年

4 趙垠蘭;基于xPlore的統(tǒng)一資源檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

5 曹清然;電臺音樂檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

6 高巍;異構(gòu)數(shù)據(jù)聯(lián)合檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2013年

7 魏宇嵩;基于Microsoft Azure的影片目錄檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2015年

8 吳娟;基于數(shù)字指紋的音樂哼唱檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南師范大學(xué);2015年

9 顏培園;樂搜資源檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

10 羅惠峰;基于Lucene的站內(nèi)檢索系統(tǒng)的設(shè)計(jì)與優(yōu)化[D];浙江工業(yè)大學(xué);2015年

  本文關(guān)鍵詞：基于Lucene的站內(nèi)檢索系統(tǒng)的設(shè)計(jì)與優(yōu)化，，由筆耕文化傳播整理發(fā)布。

本文編號：349758