本文關(guān)鍵詞：基于Lucene和Heritrix的主題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

《北京郵電大學(xué)》 2012年

基于Lucene和Heritrix的主題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)

劉顯一  

【摘要】：隨著網(wǎng)絡(luò)時(shí)代發(fā)展,用戶對(duì)搜索引擎的要求也發(fā)生了變化。從最初的設(shè)法找到更多的信息到設(shè)法找到更準(zhǔn)確、更有價(jià)值的信息。網(wǎng)絡(luò)用戶對(duì)網(wǎng)絡(luò)檢索數(shù)據(jù)的各方面要求提高直接促使了搜索引擎的大幅進(jìn)步,在這種形式下主題搜索引擎應(yīng)運(yùn)而生并不斷發(fā)展壯大。 主題搜索引擎又稱為專業(yè)搜索引擎、專用搜索引擎、實(shí)時(shí)搜索引擎等。目前主題搜索引擎在搜索引擎發(fā)展過(guò)程當(dāng)中具有重要意義。主題搜索引擎主要著力于某一特定領(lǐng)域,并對(duì)這一領(lǐng)域內(nèi)的信息的完全收錄并及時(shí)更新,避免通用搜索引擎搜索出來(lái)的信息包羅萬(wàn)象,容易被各種無(wú)用信息的干擾。從而保證了搜索出的關(guān)鍵信息的準(zhǔn)確度和時(shí)效性。 本文分析了遼寧大學(xué)門戶網(wǎng)站對(duì)遼寧大學(xué)相關(guān)工作的重要性,指出遼寧大學(xué)門戶網(wǎng)站是集遼大新聞介紹、校務(wù)公告、各職能部門門戶入口等功能于一體的門戶網(wǎng)站。由此可見(jiàn)遼大網(wǎng)的信息量是相當(dāng)龐大的、功能設(shè)計(jì)也是相當(dāng)豐富的。因此對(duì)于一個(gè)陌生的使用者來(lái)說(shuō),需要一個(gè)好的搜索引擎來(lái)為其進(jìn)行信息導(dǎo)航以更方便的找到相關(guān)信息,以便了解遼大或者與遼大取得聯(lián)系是十分必要的。 引擎確立了實(shí)現(xiàn)包括對(duì)網(wǎng)站新增信息的自動(dòng)添加索引、網(wǎng)站信息的自動(dòng)分類、索引的維護(hù)、自動(dòng)網(wǎng)站信息與標(biāo)簽的提取、關(guān)鍵詞檢索、對(duì)后臺(tái)數(shù)據(jù)庫(kù)中自定義分類的維護(hù)等功能的搜索引擎設(shè)計(jì)目標(biāo)。 最終基于lucene和heritrix這兩個(gè)核心技術(shù),設(shè)計(jì)出一個(gè)服務(wù)于遼寧大學(xué)相關(guān)用戶群的針對(duì)遼寧大學(xué)門戶網(wǎng)站的主題搜索引擎的原型系統(tǒng),該系統(tǒng)提供了在線的查詢接口和友好的用戶界面�？梢詽M足遼大在校專任教師、遼大行政管理人員和其他工作人員、遼大在校學(xué)生以及關(guān)心遼大的社會(huì)人士對(duì)遼寧大學(xué)門戶網(wǎng)站內(nèi)各自感興趣的信息進(jìn)行快速搜索和準(zhǔn)確定位。本系統(tǒng)目前是初次開(kāi)發(fā)版本,整體來(lái)說(shuō)系統(tǒng)的成熟度不高。但其查詢查準(zhǔn)查全率高、中文解析分詞準(zhǔn)確、用戶界面友好且響應(yīng)迅速。

【關(guān)鍵詞】：
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP391.3
【目錄】：

下載全文 更多同類文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購(gòu)買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前5條

1 郎小偉;王申康;;基于Lucene的全文檢索系統(tǒng)研究與開(kāi)發(fā)[J];計(jì)算機(jī)工程;2006年04期

2 白坤;耿國(guó)華;;基于Lucene/Heritrix的垂直搜索引擎的研究與應(yīng)用[J];計(jì)算機(jī)應(yīng)用與軟件;2009年01期

3 胡蓉,周經(jīng)野;搜索引擎的發(fā)展與個(gè)性化技術(shù)研究[J];寧波職業(yè)技術(shù)學(xué)院學(xué)報(bào);2005年02期

4 何曉陽(yáng),吳強(qiáng),吳治蓉;HITS算法與PageRank算法比較分析[J];情報(bào)雜志;2004年02期

5 羅立宏;陳志;;基于語(yǔ)義分析的垂直搜索網(wǎng)絡(luò)蜘蛛[J];計(jì)算機(jī)工程與設(shè)計(jì);2008年18期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前5條

1 王曉偉;垂直搜索引擎若干關(guān)鍵技術(shù)的研究[D];浙江大學(xué);2007年

2 謝冬松;基于Web的主題搜索應(yīng)用技術(shù)研究[D];黑龍江大學(xué);2007年

3 吳建強(qiáng);垂直搜索引擎爬蟲(chóng)系統(tǒng)的研究與實(shí)現(xiàn)[D];貴州大學(xué);2008年

4 尤波;垂直搜索中XML索引及頁(yè)面排序技術(shù)研究[D];哈爾濱工程大學(xué);2009年

5 陳哲;面向垂直搜索引擎的網(wǎng)頁(yè)抓取器的設(shè)計(jì)和實(shí)現(xiàn)[D];中國(guó)海洋大學(xué);2009年

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 蘭富軍;李春霆;高海忠;;農(nóng)業(yè)主題垂直搜索引擎過(guò)濾技術(shù)研究[J];安徽農(nóng)業(yè)科學(xué);2010年09期

2 陶鎮(zhèn)威;周雨程;;基于Compass框架的高級(jí)搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];重慶理工大學(xué)學(xué)報(bào)(自然科學(xué));2011年08期

3 蔡兵;胡敏;;基于Lucene2.0的書(shū)目搜索引擎設(shè)計(jì)[J];重慶圖情研究;2009年01期

4 張淑華;;圖書(shū)館參考咨詢系統(tǒng)新技術(shù)探析[J];黑龍江檔案;2011年05期

5 周楊;;基于Lucene的小型搜索引擎系統(tǒng)的架構(gòu)與實(shí)現(xiàn)[J];電腦編程技巧與維護(hù);2010年11期

6 謝峰;劉洪星;;基于Lucene的Web站內(nèi)搜索引擎的研究[J];電腦知識(shí)與技術(shù);2008年04期

7 葉琳莉;林嵩凱;;基于Web結(jié)構(gòu)挖掘算法的網(wǎng)站構(gòu)建[J];電腦知識(shí)與技術(shù);2008年34期

8 林晶;;全文檢索模型的檢索性能研究[J];電腦知識(shí)與技術(shù);2010年04期

9 宋永生;;基于Android的商品比價(jià)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2011年18期

10 陶榮;陳燕;;基于Lucene小型搜索引擎的研究與實(shí)現(xiàn)[J];大眾科技;2010年02期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 寇月;Deep Web實(shí)體搜索的關(guān)鍵技術(shù)研究[D];東北大學(xué);2009年

2 米楊;基于頂級(jí)本體整合的醫(yī)學(xué)領(lǐng)域語(yǔ)義標(biāo)注研究[D];吉林大學(xué);2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 汪永偉;搜索引擎中網(wǎng)頁(yè)排序算法的研究與實(shí)現(xiàn)[D];哈爾濱工程大學(xué);2010年

2 馮效棟;垂直搜索引擎技術(shù)在網(wǎng)絡(luò)輿情巡控中的研究與應(yīng)用[D];中國(guó)海洋大學(xué);2010年

3 李永春;主題搜索引擎的研究與實(shí)現(xiàn)[D];哈爾濱理工大學(xué);2010年

4 費(fèi)洪剛;個(gè)性化網(wǎng)站的研究與應(yīng)用[D];長(zhǎng)春工業(yè)大學(xué);2010年

5 樊春雷;基于語(yǔ)義分析的糖尿病健康教育系統(tǒng)研究與實(shí)現(xiàn)[D];華東理工大學(xué);2011年

6 趙彥勝;基于web的無(wú)線電監(jiān)測(cè)站遠(yuǎn)程故障診斷系統(tǒng)分析與設(shè)計(jì)[D];西安電子科技大學(xué);2009年

7 馬靜;基于web的數(shù)字化資源全文檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

8 劉照然;遠(yuǎn)程教育中智能答疑系統(tǒng)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

9 席敏;基于單漢字索引的全文檢索系統(tǒng)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

10 吳代文;基于Lucene的二次全文檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2009年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 潘以鋒;;基于Lucene的網(wǎng)站全文檢索系統(tǒng)的開(kāi)發(fā)[J];廣西教育學(xué)院學(xué)報(bào);2006年05期

2 黃建蓮;中國(guó)搜索引擎服務(wù)市場(chǎng)的現(xiàn)狀及發(fā)展[J];華北科技學(xué)院學(xué)報(bào);2005年03期

3 宋暉,張嶺,葉允明,馬范援;基于標(biāo)記樹(shù)對(duì)象抽取技術(shù)的Hidden Web獲取研究[J];計(jì)算機(jī)工程與應(yīng)用;2002年23期

4 譚漢松,李紅;基于信息過(guò)濾后的Web內(nèi)容挖掘[J];計(jì)算機(jī)工程與應(yīng)用;2003年30期

5 李學(xué)勇,歐陽(yáng)柳波,李國(guó)徽,鐘敏娟;網(wǎng)絡(luò)蜘蛛搜索策略比較研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年04期

6 鄒娟;周經(jīng)野;鄧成;;一種基于語(yǔ)義分析的中文特征值提取方法[J];計(jì)算機(jī)工程與應(yīng)用;2005年36期

7 梁毅,周建國(guó),晏蒲柳;基于有色Petri網(wǎng)和移動(dòng)Agent的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)[J];計(jì)算機(jī)工程;2003年16期

8 王劍波,高潔,王明哲;基于CPN的城市智能交通信號(hào)控制系統(tǒng)建模[J];計(jì)算機(jī)工程;2004年08期

9 王培龍,劉文遠(yuǎn);基于Colored Petri 網(wǎng)的工作流建模及應(yīng)用[J];計(jì)算機(jī)工程;2004年18期

10 楊建武,陳曉鷗;基于倒排索引的文本相似搜索[J];計(jì)算機(jī)工程;2005年05期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 孫猛;基于分類語(yǔ)義的搜索引擎中若干關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D];東北大學(xué);2005年

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 陶榮;陳燕;;基于Lucene小型搜索引擎的研究與實(shí)現(xiàn)[J];大眾科技;2010年02期

2 任惠靜;;基于Lucene的面向主題搜索引擎的索引技術(shù)的研究[J];電腦知識(shí)與技術(shù);2010年04期

3 朱海豐;秦杰;;基于Lucene與JSF的搜索引擎[J];福建電腦;2008年10期

4 鄭如濱;撒力;謝婷;;基于Heritrix與Lucene的垂直搜索引擎研究[J];電腦知識(shí)與技術(shù);2008年29期

5 劉敏娜;葛萌;陳娟;;基于Lucene的全文搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[J];福建電腦;2009年05期

6 侯云;;構(gòu)建基于Lucene的網(wǎng)站站內(nèi)搜索[J];信息與電腦(理論版);2010年02期

7 溫艷鴻;;基于lucene的文件搜索引擎的設(shè)計(jì)與擴(kuò)展[J];福建電腦;2007年08期

8 劉建湘;楊文濤;;基于Lucene的搜索引擎在Struts中的應(yīng)用[J];軟件導(dǎo)刊;2007年03期

9 陳滄;沈潔;高鶯;;基于Lucene的校園網(wǎng)Web搜索服務(wù)研究與實(shí)現(xiàn)[J];中國(guó)教育信息化;2008年15期

10 任曉娜;;基于Lucene的全文搜索引擎的研究與實(shí)現(xiàn)[J];湖北廣播電視大學(xué)學(xué)報(bào);2010年05期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國(guó)中醫(yī)藥信息研究會(huì)第二屆理事大會(huì)暨學(xué)術(shù)交流會(huì)議論文匯編[C];2003年

3 鄧長(zhǎng)壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

4 維尼拉·木沙江;吐?tīng)柡椤の崴韭?;維、哈、柯文搜索引擎中網(wǎng)頁(yè)爬行器的設(shè)計(jì)與實(shí)現(xiàn)[A];少數(shù)民族青年自然語(yǔ)言處理技術(shù)研究與進(jìn)展——第三屆全國(guó)少數(shù)民族青年自然語(yǔ)言信息處理、第二屆全國(guó)多語(yǔ)言知識(shí)庫(kù)建設(shè)聯(lián)合學(xué)術(shù)研討會(huì)論文集[C];2010年

5 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計(jì)算機(jī)學(xué)會(huì)2008年年會(huì)論文集[C];2008年

6 姚樹(shù)宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集[C];2005年

7 倪俊峰;;基于黃頁(yè)搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

8 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2010年

9 陳援非;何哲;朱珍民;;基于普適計(jì)算的個(gè)性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

10 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報(bào)編輯論叢（第十一集）[C];2003年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 李一鑫;[N];財(cái)經(jīng)時(shí)報(bào);2007年

2 周文林;[N];經(jīng)濟(jì)參考報(bào);2007年

3 惠正一;[N];第一財(cái)經(jīng)日?qǐng)?bào);2005年

4 賽迪顧問(wèn)股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;[N];中國(guó)計(jì)算機(jī)報(bào);2005年

5 陳珊;[N];人民郵電;2005年

6 趙法忠;[N];中國(guó)經(jīng)營(yíng)報(bào);2005年

7 金朝力;[N];北京商報(bào);2006年

8 本報(bào)記者　 趙曉輝 孟昭麗;[N];中國(guó)證券報(bào);2006年

9 孫琎;[N];第一財(cái)經(jīng)日?qǐng)?bào);2006年

10 姜蕊;[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2006年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 王镠璞;基于用戶體驗(yàn)的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評(píng)估研究[D];吉林大學(xué);2010年

8 李莎莎;面向搜索引擎的自然語(yǔ)言處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

9 白玉琪;空間信息搜索引擎研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

10 費(fèi)巍;搜索引擎檢索功能的性能評(píng)價(jià)研究[D];武漢大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 聞崢;基于Lucene的搜索引擎優(yōu)化[D];北京交通大學(xué);2011年

2 張彬;基于lucene的搜索引擎[D];上海師范大學(xué);2010年

3 徐財(cái)應(yīng);基于Lucene的搜索引擎技術(shù)的研究與改進(jìn)[D];長(zhǎng)春理工大學(xué);2010年

4 楊曉丹;基于Lucene的主題搜索引擎模板的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江工商大學(xué);2011年

5 李建林;基于Lucene的Web搜索引擎的研究[D];蘭州理工大學(xué);2010年

6 劉運(yùn)佳;基于Lucene和Heririx構(gòu)建搜索引擎的研究和示例實(shí)現(xiàn)[D];電子科技大學(xué);2008年

7 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

8 潘亭瀝;基于Lucene的面向商業(yè)應(yīng)用的搜索引擎研究與實(shí)現(xiàn)[D];電子科技大學(xué);2007年

9 何世林;基于Java技術(shù)的搜索引擎研究與實(shí)現(xiàn)[D];西南交通大學(xué);2006年

10 劉平冰;基于Lucene的Web站內(nèi)信息搜索系統(tǒng)[D];電子科技大學(xué);2005年

  本文關(guān)鍵詞：基于Lucene和Heritrix的主題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：78523