本文關(guān)鍵詞：主題搜索引擎索引技術(shù)的研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

《重慶交通大學(xué)》 2011年

主題搜索引擎索引技術(shù)的研究與實現(xiàn)

唐華姣  

【摘要】：互聯(lián)網(wǎng)作為信息的載體已經(jīng)成為人們獲取信息不可缺少的工具�；ヂ�(lián)網(wǎng)的發(fā)展給人類帶來了巨大的便利,人們可以跨越時間和空間的距離來共享大量信息。但是,隨著互聯(lián)網(wǎng)的迅速發(fā)展,網(wǎng)絡(luò)上的資源日新月異、內(nèi)容豐富多彩,如何快速有效的找到用戶有用的信息成為獲取信息技術(shù)亟待解決的問題,這時為滿足廣大群眾信息檢索需求的通用搜索引擎便應(yīng)運而生了。 通用搜索引擎的產(chǎn)生,極大的提高了人們檢索信息的效率,因此,通用搜索引擎得到了廣泛的應(yīng)用。據(jù)CNNIC(中國互聯(lián)網(wǎng)網(wǎng)絡(luò)信息中心)第二十六次互聯(lián)網(wǎng)調(diào)查顯示,搜索以76.3%的絕對優(yōu)勢成為用戶從互聯(lián)網(wǎng)上獲得信息的主要方式。在全球絕大多數(shù)的調(diào)查中,搜索引擎都是互聯(lián)網(wǎng)上使用程度僅次于電子郵箱的服務(wù)。但是隨著信息多元化的增長,這些通用搜索引擎在檢索某一學(xué)科或主題的信息時,無論是檢索效率還是檢索精度都無法滿足人們的需要。這是因為:對于任何用戶,只要用戶輸入的關(guān)鍵詞相同,通用搜索引擎反饋的結(jié)果就相同,它沒有考慮到用戶興趣和需求的差異。但對不同的用戶,他們的興趣和需求往往存在一定的差異。例如,牙醫(yī)和陶瓷愛好者對于“陶瓷”一詞的關(guān)注點就會不同。為了能夠更加快速、準(zhǔn)確、有效的檢索某一學(xué)科或主題的信息,有必要開發(fā)針對特定領(lǐng)域的信息檢索系統(tǒng),即主題搜索引擎。 與通用搜索引擎不同,主題搜索引擎只采集web中的部分信息,并對網(wǎng)頁進(jìn)行主題相關(guān)度判斷,只保存與主題相關(guān)的網(wǎng)頁,同時還運用專業(yè)領(lǐng)域知識、相關(guān)度計算、機器學(xué)習(xí)等智能化策略,以彌補通用搜索引擎搜索結(jié)果數(shù)量大,相關(guān)度較低等缺陷,因此主題搜索引擎在查詢的準(zhǔn)確率和效率上較通用搜索引擎都有顯著的提高。 索引技術(shù)是搜索引擎的核心技術(shù)之一,索引技術(shù)的好壞直接影響到搜索引擎的查準(zhǔn)率以及對用戶的響應(yīng)速度,因此對搜索引擎索引技術(shù)的研究是十分必要的。本文在深入了解搜索引擎相關(guān)索引技術(shù)的基礎(chǔ)上,對開源源代碼——Lucene進(jìn)行剖析與實踐,分析了Lucene的系統(tǒng)組織結(jié)構(gòu)、基本數(shù)據(jù)類型、索引邏輯結(jié)構(gòu)以及索引數(shù)據(jù)庫的文件結(jié)構(gòu),深刻理解其索引機制、索引權(quán)重的控制、索引優(yōu)化的方法。在此基礎(chǔ)上,以計算機主題為例,利用Lucene提供的API接口,對Lucene源代碼進(jìn)行了如下幾個方面的改進(jìn): ①改進(jìn)索引詞典文件結(jié)構(gòu)。用戶利用計算機主題搜索引擎進(jìn)行查詢時,其檢索詞大部分會是計算機專業(yè)詞匯,如果像Lucene一樣將整個索引詞典文件導(dǎo)入內(nèi)存,無疑會花費更多的檢索響應(yīng)時間,但如果將檢索詞按計算機專業(yè)詞匯和非計算機專業(yè)詞匯進(jìn)行分類,分別放入兩個索引詞典文件中,并對它們進(jìn)行分組排序,檢索時只將存放計算機專業(yè)詞匯的索引詞典文件導(dǎo)入內(nèi)存中,將會減少不必要的檢索響應(yīng)時間。 ②對待索引文檔設(shè)置權(quán)值。由于Lucene面對的不是某一個學(xué)科或主題的信息,因此其文檔得分機制缺乏針對性,從而沒有對待索引文檔設(shè)置權(quán)值。為了滿足計算機主題檢索的需要,有必要根據(jù)待索引文檔的類型和檢索的需求對待索引文檔設(shè)置不同的權(quán)值,有效地提高計算機專業(yè)文檔的權(quán)重,以提高檢索計算機主題信息的精度。 ③改變索引方式。Lucene提供的默認(rèn)的索引方式是通過單個索引器在磁盤上建立索引文件,這樣會頻繁的進(jìn)行I/O操作,導(dǎo)致建立索引的效率下降。本文結(jié)合FSDirectory(文件系統(tǒng)路徑)和RAMDirectory(內(nèi)存中的一塊區(qū)域)這兩種目錄的優(yōu)點,設(shè)計了采用以內(nèi)存為緩沖區(qū)建索引文件的分布式并行索引方法建立索引,以縮短索引的建立時間。 最后根據(jù)上述改進(jìn)方法實現(xiàn)了計算機主題搜索引擎的索引器部分,并通過設(shè)計一個適合計算機主題檢索的全文檢索系統(tǒng)與Lucene全文檢索系統(tǒng)進(jìn)行對比試驗,以驗證本文所實現(xiàn)的索引器的可行性與有效性。實驗結(jié)果表明:與Lucene相比,本文所實現(xiàn)的索引器無論是檢索響應(yīng)時間還是檢索結(jié)果的精度都更適合計算機主題信息的檢索,創(chuàng)建索引的效率也明顯高于Lucene創(chuàng)建索引的效率。

【關(guān)鍵詞】：
【學(xué)位授予單位】：重慶交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2011
【分類號】：TP391.3
【目錄】：

下載全文 更多同類文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 黃琛;;十大著名中文搜索引擎的特征及其比較[J];現(xiàn)代情報;2006年01期

2 韓升;劉廣志;;全文檢索系統(tǒng)的數(shù)據(jù)預(yù)處理研究[J];計算機技術(shù)與發(fā)展;2006年03期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 潘亭瀝;基于Lucene的面向商業(yè)應(yīng)用的搜索引擎研究與實現(xiàn)[D];電子科技大學(xué);2007年

2 江毅銘;專業(yè)搜索引擎索引技術(shù)的研究與實現(xiàn)[D];北京化工大學(xué);2005年

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 景虹;詹海生;;基于Web Services的個性化學(xué)習(xí)資源獲取[J];中國遠(yuǎn)程教育;2006年08期

2 徐甜;田有貴;;數(shù)據(jù)挖掘在Web中的應(yīng)用研究[J];福建電腦;2006年09期

3 李彥,賈愛軍,占向輝,李翔龍;面向創(chuàng)新設(shè)計的多層次Web信息檢索研究[J];工程設(shè)計學(xué)報;2005年03期

4 劉杰;談個人數(shù)字圖書館[J];甘肅科技;2004年04期

5 張強弓,喻國寶,廖湖聲,隋樹林;一種元搜索引擎的查詢結(jié)果處理模型[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2004年S1期

6 董民輝;;海洋類學(xué)科數(shù)字圖書館門戶體系建設(shè)與實踐初探[J];海洋信息;2006年01期

7 李孝明,曹萬華;艦載作戰(zhàn)指揮系統(tǒng)軟件構(gòu)件庫技術(shù)研究(續(xù)三):檢索和管理[J];艦船電子工程;2005年03期

8 陳金陽,蔣建中,張良勝;FTP協(xié)議分析及其客戶端程序?qū)崿F(xiàn)[J];計算機工程與應(yīng)用;2005年32期

9 潘靜,饒若楠;基于Web數(shù)據(jù)挖掘的信息獲取系統(tǒng)的研究及設(shè)計[J];計算機工程;2004年S1期

10 劉東飛;陳智賢;鄧俊濤;余俊;;一種輔助翻譯搜索引擎的研究與實現(xiàn)[J];計算機工程;2007年01期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 王虎;王潛平;;對整詞二分自動分詞機制的改進(jìn)[A];中國計算技術(shù)與語言問題研究——第七屆中文信息處理國際會議論文集[C];2007年

2 吐爾地·托合提;維尼拉·木沙江;艾斯卡爾·艾木都拉;;基于Web的民文信息檢索中維、哈、柯文關(guān)鍵詞的預(yù)處理[A];中國計算技術(shù)與語言問題研究——第七屆中文信息處理國際會議論文集[C];2007年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 張宏斌;信息獲取中的兩類不確定問題研究[D];華中科技大學(xué);2004年

2 南凱;面向關(guān)系型數(shù)據(jù)共享的數(shù)據(jù)網(wǎng)格中間件研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2006年

3 朱婕;網(wǎng)絡(luò)環(huán)境下個體信息獲取行為研究[D];吉林大學(xué);2007年

4 王輝;基于質(zhì)心具有增量性質(zhì)的主題爬行[D];吉林大學(xué);2007年

5 王鑫印;無結(jié)構(gòu)和半結(jié)構(gòu)信息檢索相關(guān)技術(shù)研究[D];復(fù)旦大學(xué);2007年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 胡堅;基于本體的機械產(chǎn)品領(lǐng)域智能信息檢索系統(tǒng)研究[D];浙江工業(yè)大學(xué);2005年

2 侯麗敏;基于網(wǎng)絡(luò)的智能答疑系統(tǒng)的研究與實現(xiàn)[D];河南大學(xué);2005年

3 張校乾;基于Lucene的全文檢索系統(tǒng)的研究與應(yīng)用[D];大連理工大學(xué);2005年

4 肖燕華;基于特征分塊的面向?qū)I(yè)領(lǐng)域的網(wǎng)絡(luò)信息搜索系統(tǒng)的研究與實現(xiàn)[D];東華大學(xué);2004年

5 陳菡;基于Web的遠(yuǎn)程答疑系統(tǒng)的研究與開發(fā)[D];上海師范大學(xué);2004年

6 董志勇;Web信息檢索中基于超鏈接的網(wǎng)頁評估算法的研究[D];河海大學(xué);2004年

7 鄭大慶;基于Multi-Agent Systems（MAS）的商務(wù)智能系統(tǒng)及其信息搜索引擎研究[D];廣東工業(yè)大學(xué);2004年

8 胡珍新;面向用戶的查詢擴展研究與實現(xiàn)[D];江西師范大學(xué);2004年

9 吳福英;面向用戶的信息過濾研究與實現(xiàn)[D];江西師范大學(xué);2004年

10 萬中英;基于投影尋蹤中文網(wǎng)頁自動分類[D];江西師范大學(xué);2004年

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 曹元大,賀海軍,涂哲明;中文Web文檔全文檢索系統(tǒng)的設(shè)計及實現(xiàn)[J];北京理工大學(xué)學(xué)報;2002年01期

2 吳海鷹;如何用好《中國學(xué)術(shù)期刊(光盤版)》全文檢索系統(tǒng)[J];大學(xué)圖書情報學(xué)刊;1999年03期

3 丁璇,侯漢清,章成志;中文網(wǎng)頁標(biāo)引源主題表達(dá)能力的調(diào)查統(tǒng)計[J];大學(xué)圖書館學(xué)報;2002年06期

4 趙新民;全文檢索在數(shù)字圖書館中的發(fā)展與應(yīng)用[J];高校圖書館工作;2001年01期

5 王德峰;李東;;搜索引擎Google的體系結(jié)構(gòu)及其核心技術(shù)研究[J];哈爾濱商業(yè)大學(xué)學(xué)報(自然科學(xué)版);2006年01期

6 雷鳴,劉建國,王建勇,陳葆玨;一種基于詞典的搜索引擎系統(tǒng)動態(tài)更新模型[J];計算機研究與發(fā)展;2000年10期

7 王繼成,蕭嶸,孫正興,張福炎;Web信息檢索研究進(jìn)展[J];計算機研究與發(fā)展;2001年02期

8 劉群,張華平,俞鴻魁,程學(xué)旗;基于層疊隱馬模型的漢語詞法分析[J];計算機研究與發(fā)展;2004年08期

9 陳燕娜,邵志清;基于全文搜索的中文搜索引擎設(shè)計技術(shù)[J];計算機工程與應(yīng)用;2002年17期

10 彭波;搜索引擎的混合索引技術(shù)[J];計算機工程與應(yīng)用;2004年22期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 壽周翔;專業(yè)搜索引擎的研究與設(shè)計[D];浙江大學(xué);2005年

2 張校乾;基于Lucene的全文檢索系統(tǒng)的研究與應(yīng)用[D];大連理工大學(xué);2005年

3 劉雪芹;單漢字全文檢索技術(shù)研究[D];河北工業(yè)大學(xué);2005年

4 劉平冰;基于Lucene的Web站內(nèi)信息搜索系統(tǒng)[D];電子科技大學(xué);2005年

5 江毅銘;專業(yè)搜索引擎索引技術(shù)的研究與實現(xiàn)[D];北京化工大學(xué);2005年

6 王堅;化工類專業(yè)搜索引擎中的中文分詞設(shè)計[D];北京化工大學(xué);2005年

7 程傳鵬;基于分類的智能信息檢索研究與實現(xiàn)[D];云南師范大學(xué);2005年

8 劉壁松;策略可擴展的搜索引擎研究和實現(xiàn)[D];清華大學(xué);2005年

9 吳海明;基于Lucene的搜索引擎技術(shù)的研究與改進(jìn)[D];暨南大學(xué);2006年

10 劉強國;主題搜索引擎設(shè)計與研究[D];電子科技大學(xué);2007年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 王改香;;搜索引擎的體系結(jié)構(gòu)與索引技術(shù)探析[J];長江大學(xué)學(xué)報(自然科學(xué)版);2011年03期

2 劉俊熙;搜索引擎關(guān)鍵技術(shù)在檢索層面上的分析理解[J];圖書館學(xué)刊;2005年05期

3 劉俊熙;搜索引擎的搜索、索引和檢索技術(shù)的關(guān)聯(lián)分析[J];圖書館學(xué)研究;2005年09期

4 趙麗紅;維尼拉·木沙江;;維、哈、柯多語種搜索引擎中改進(jìn)索引創(chuàng)建的新方法的構(gòu)思[J];現(xiàn)代計算機;2011年06期

5 趙鑫,武剛;搜索引擎的發(fā)展與展望[J];河北林果研究;2004年01期

6 徐舒;;淺談搜索引擎的體系結(jié)構(gòu)與索引技術(shù)[J];中國新技術(shù)新產(chǎn)品;2010年01期

7 任惠靜;;基于Lucene的面向主題搜索引擎的索引技術(shù)的研究[J];電腦知識與技術(shù);2010年04期

8 王鋒;;一種基于DTD模式的XML索引技術(shù)研究[J];安徽科技學(xué)院學(xué)報;2010年01期

9 王圓;蔡增玉;王興杰;;WEB搜索引擎關(guān)鍵技術(shù)研究[J];科技資訊;2008年23期

10 黃少林;王華;張玉紅;蔣一峰;;基于Lucene的索引系統(tǒng)的設(shè)計與實現(xiàn)[J];現(xiàn)代情報;2009年07期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國中醫(yī)藥信息研究會第二屆理事大會暨學(xué)術(shù)交流會議論文匯編[C];2003年

3 鄧長壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2001年

4 維尼拉·木沙江;吐爾洪·吾司曼;;維、哈、柯文搜索引擎中網(wǎng)頁爬行器的設(shè)計與實現(xiàn)[A];少數(shù)民族青年自然語言處理技術(shù)研究與進(jìn)展——第三屆全國少數(shù)民族青年自然語言信息處理、第二屆全國多語言知識庫建設(shè)聯(lián)合學(xué)術(shù)研討會論文集[C];2010年

5 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計算機學(xué)會2008年年會論文集[C];2008年

6 姚樹宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國開放式分布與并行計算學(xué)術(shù)會議論文集[C];2005年

7 倪俊峰;;基于黃頁搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計與實現(xiàn)[A];2005年中國索引學(xué)會年會暨學(xué)術(shù)研討會論文集[C];2005年

8 孫宇;劉憬;張宇;劉挺;;基于分詞和倒排索引的短文本檢索技術(shù)的研究與實現(xiàn)[A];黑龍江省計算機學(xué)會2007年學(xué)術(shù)交流年會論文集[C];2007年

9 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國索引學(xué)會年會暨學(xué)術(shù)研討會論文集[C];2010年

10 陳援非;何哲;朱珍民;;基于普適計算的個性化搜索技術(shù)[A];第二屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議(HHME2006)——第2屆中國普適計算學(xué)術(shù)會議(PCC'06)論文集[C];2006年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 李一鑫;[N];財經(jīng)時報;2007年

2 周文林;[N];經(jīng)濟參考報;2007年

3 惠正一;[N];第一財經(jīng)日報;2005年

4 賽迪顧問股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;[N];中國計算機報;2005年

5 陳珊;[N];人民郵電;2005年

6 趙法忠;[N];中國經(jīng)營報;2005年

7 金朝力;[N];北京商報;2006年

8 本報記者　 趙曉輝 孟昭麗;[N];中國證券報;2006年

9 孫琎;[N];第一財經(jīng)日報;2006年

10 姜蕊;[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 王镠璞;基于用戶體驗的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評估研究[D];吉林大學(xué);2010年

8 李莎莎;面向搜索引擎的自然語言處理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

9 白玉琪;空間信息搜索引擎研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

10 費巍;搜索引擎檢索功能的性能評價研究[D];武漢大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 薛云;Internet上元搜索引擎的研究與設(shè)計[D];太原理工大學(xué);2003年

2 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

3 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

4 董晨;基于模糊聚類的個性化搜索引擎的研究[D];福州大學(xué);2005年

5 封俊;基于Hadoop的分布式搜索引擎研究與實現(xiàn)[D];太原理工大學(xué);2010年

6 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實現(xiàn)[D];華南理工大學(xué);2010年

7 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

8 李建平;智能化WEB信息搜索引擎的研究與實現(xiàn)[D];大慶石油學(xué)院;2003年

9 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實踐[D];新疆大學(xué);2004年

10 歐建斌;基于Web挖掘與信息分類的個性化搜索引擎研究[D];暨南大學(xué);2010年

  本文關(guān)鍵詞：主題搜索引擎索引技術(shù)的研究與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：78171