本文關鍵詞：基于Java技術的搜索引擎研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

《西南交通大學》 2006年

基于Java技術的搜索引擎研究與實現(xiàn)

何世林  

【摘要】：在互聯(lián)網(wǎng)蓬勃發(fā)展的今天,互聯(lián)網(wǎng)上的信息更是浩如煙海。人們在享受互連網(wǎng)帶來的便利的同時,卻面臨著一個如何在如此海量的內(nèi)容中準確、快捷地找到自己所需要的信息的問題,由此互聯(lián)網(wǎng)搜索引擎應運而生。當前對于搜索引擎的研究是互聯(lián)網(wǎng)技術中最熱門的領域。 本文對搜索引擎的原理、組成、數(shù)據(jù)結(jié)構(gòu)、工作流程等方面做了深入而細致地研究與分析。搜索引擎的未來發(fā)展方向是個性化、智能化。對于不同類型的用戶群搜索相同的內(nèi)容將得到不同的更適合用戶的搜索結(jié)果,這就是搜索引擎的個性化;而智能化則指搜索引擎具有自我學習的功能,能自動地適應用戶的查詢需求,并能對用戶進行智能分類從而為搜索引擎的個性化提供依據(jù)。 在理論研究的基礎上,本文還利用Java技術對搜索引擎的三個核心部分即網(wǎng)絡蜘蛛、網(wǎng)頁索引、搜索進行了實現(xiàn)。網(wǎng)絡蜘蛛部分采用了非遞歸爬取方式和Java的多線程機制,利用一個基于內(nèi)存的作業(yè)隊列管理器負責網(wǎng)頁抓取過程中URL鏈接的加入、分配、處理等作業(yè),同時使用線程池管理多個抓取線程,并發(fā)抓取網(wǎng)頁。索引和搜索部分借助Lucene全文搜索引擎庫中的Java類進行實現(xiàn)。Lucene是Apache軟件基金會的一個開源項目,完全由Java實現(xiàn),適用于需要全文搜索能力的應用程序,并具有良好的跨平臺能力。最后采用JSP(Java Server Pages)技術設計了一個簡易的搜索引擎客戶端。

【關鍵詞】：
【學位授予單位】：西南交通大學
【學位級別】：碩士
【學位授予年份】：2006
【分類號】：TP391.3
【目錄】：

第1章 緒論9-15

1.1 概述9

1.2 搜索引擎的現(xiàn)狀9-13

1.2.1 搜索引擎的發(fā)展歷史9-10

1.2.2 搜索引擎的分類10-12

1.2.3 當前主流搜索引擎簡介12-13

1.3 本文研究的主要內(nèi)容13-15

第2章 基本組成及數(shù)據(jù)結(jié)構(gòu)15-28

2.1 基本組成及工作流程16-18

2.2 存儲結(jié)構(gòu)18-23

2.2.1 頁面存儲庫18-19

2.2.2 詞典庫19-20

2.2.3 Hits列表20-23

2.3 索引結(jié)構(gòu)23-28

2.3.1 文檔索引庫24-25

2.3.2 前向索引表25-26

2.3.3 后向索引表26-28

第3章 網(wǎng)頁抓取技術28-39

3.1 抓取技術的協(xié)議分析28-31

3.1.1 通信協(xié)議28-30

3.1.2 HTML解析30-31

3.2 網(wǎng)頁抓取方法31-34

3.3 網(wǎng)頁抓取應考慮的問題34-39

3.3.1 抓取周期分析34-35

3.3.2 抓取內(nèi)容分析35-36

3.3.3 網(wǎng)絡蜘蛛的排斥機制36-39

第4章 索引技術及搜索39-50

4.1 網(wǎng)頁內(nèi)容分析39-43

4.1.1 什么是中文分詞39-40

4.1.2 中文分詞技術40-41

4.1.3 索引的建立41-43

4.2 頁面優(yōu)先度算法43-47

4.2.1 基于鏈接分析的算法43-46

4.2.2 基于網(wǎng)頁內(nèi)容的算法46-47

4.3 搜索及結(jié)果排序47-50

第5章 搜索引擎的軟件實現(xiàn)50-74

5.1 軟件開發(fā)環(huán)境50-56

5.1.1 Java的Internet連接技術50-51

5.1.2 Java中的中文處理51-53

5.1.3 Java的多線程機制53-55

5.1.4 JDBC應用55-56

5.2 網(wǎng)絡蜘蛛的實現(xiàn)56-59

5.3 利用LUCENE實現(xiàn)索引和搜索59-74

5.3.1 Lucene的核心類61-64

5.3.2 利用Lucene實現(xiàn)索引和搜索64-74

結(jié)論74-77

致謝77-78

參考文獻78-82

攻讀碩士學位期間發(fā)表的論文82

下載全文 更多同類文獻

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉金亮;蘇琳;石云;;基于Nutch的垂直搜索技術研究[J];電腦知識與技術;2011年24期

2 劉金松;;搜索引擎的原理及spider程序淺析[J];電腦知識與技術;2011年25期

3 ;李彥宏論搜索引擎三個定律[J];新電子;2001年02期

4 相春雷;;2009年中國搜索引擎市場趨勢分析[J];軟件世界;2010年02期

5 ;揭秘搜索引擎收錄網(wǎng)站的秘密[J];計算機與網(wǎng)絡;2010年Z1期

6 馬玥;;王小川:絕境之外[J];中國經(jīng)濟和信息化;2011年12期

7 鄭曉波;;智能電網(wǎng)中基于電力資源庫的搜索引擎的研究[J];硅谷;2011年14期

8 魏蕾如;;基于搜索引擎的網(wǎng)絡中文信息檢索工具評價[J];數(shù)字技術與應用;2011年06期

9 ;創(chuàng)新工業(yè)搜索引擎[J];中國制造業(yè)信息化;2011年12期

10 胡風華;王磊;;基于知識庫系統(tǒng)的智能搜索引擎研究[J];中國新技術新產(chǎn)品;2011年18期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 李賀華;付鶴崗;;多Agent Web信息檢索應用研究[A];2008年計算機應用技術交流會論文集[C];2008年

2 陳援非;何哲;朱珍民;;基于普適計算的個性化搜索技術[A];第二屆和諧人機環(huán)境聯(lián)合學術會議(HHME2006)——第2屆中國普適計算學術會議(PCC'06)論文集[C];2006年

3 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學會第五屆學術年會論文集[C];2008年

4 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國中醫(yī)藥信息研究會第二屆理事大會暨學術交流會議論文匯編[C];2003年

5 鄧長壽;郭景峰;楊焱林;鄧安遠;;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2001年

6 維尼拉·木沙江;吐爾洪·吾司曼;;維、哈、柯文搜索引擎中網(wǎng)頁爬行器的設計與實現(xiàn)[A];少數(shù)民族青年自然語言處理技術研究與進展——第三屆全國少數(shù)民族青年自然語言信息處理、第二屆全國多語言知識庫建設聯(lián)合學術研討會論文集[C];2010年

7 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計算機學會2008年年會論文集[C];2008年

8 姚樹宇;趙少東;;一種使用分布式技術的搜索引擎[A];2005年全國開放式分布與并行計算學術會議論文集[C];2005年

9 倪俊峰;;基于黃頁搜索引擎的關鍵字排名廣告系統(tǒng)的設計與實現(xiàn)[A];2005年中國索引學會年會暨學術研討會論文集[C];2005年

10 張怡;查貴庭;;SEO在信息服務中的應用研究[A];2010年中國索引學會年會暨學術研討會論文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 秦可;[N];中國工業(yè)報;2007年

2 海磊;[N];中國電腦教育報;2005年

3 江蘇 劉波;[N];中國電腦教育報;2000年

4 主持人　陳建棟;[N];光明日報;2005年

5 本報記者　陳建棟;[N];光明日報;2005年

6 曾正樂;[N];經(jīng)濟日報;2005年

7 本報記者 秦海波;[N];經(jīng)濟日報;2005年

8 FN記者 柳立;[N];金融時報;2005年

9 閆輝;[N];計算機世界;2005年

10 本報記者 李劍;[N];通信信息報;2005年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學;2011年

2 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學;2010年

3 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學;2011年

4 蘇君華;面向搜索引擎的技術接受模型研究[D];南京大學;2011年

5 劉佐達;分布協(xié)作式搜索引擎模型及算法研究[D];清華大學;2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學;2012年

7 王镠璞;基于用戶體驗的互聯(lián)網(wǎng)搜索引擎醫(yī)學信息檢索可用性評估研究[D];吉林大學;2010年

8 李莎莎;面向搜索引擎的自然語言處理關鍵技術研究[D];國防科學技術大學;2011年

9 白玉琪;空間信息搜索引擎研究[D];中國科學院研究生院（遙感應用研究所）;2003年

10 王德吉;復雜環(huán)境下自適應智能決策支持系統(tǒng)研究[D];中國科學技術大學;2007年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 薛建春;垂直搜索引擎中網(wǎng)絡蜘蛛的設計與實現(xiàn)[D];中國地質(zhì)大學（北京）;2007年

2 何世林;基于Java技術的搜索引擎研究與實現(xiàn)[D];西南交通大學;2006年

3 任嚴;基于網(wǎng)絡視頻業(yè)務的搜索引擎的設計與實現(xiàn)[D];北京交通大學;2008年

4 胡曉翠;站點搜索引擎的研究與實現(xiàn)[D];武漢科技大學;2009年

5 張維維;搜索引擎的研究與實現(xiàn)[D];長春理工大學;2008年

6 葉昭暉;網(wǎng)絡信息雷達系統(tǒng)的研究與設計[D];國防科學技術大學;2005年

7 許彥彬;基于Java技術的生物資源專業(yè)搜索引擎的研究與開發(fā)[D];昆明理工大學;2004年

8 陳杰;主題搜索引擎中網(wǎng)絡蜘蛛搜索策略研究[D];浙江大學;2006年

9 郭謝;基于Web Community識別的專業(yè)搜索引擎研究[D];浙江大學;2006年

10 沈堅;一種專題式搜索引擎Spider的設計與實現(xiàn)[D];北京化工大學;2008年

  本文關鍵詞：基于Java技術的搜索引擎研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

，

本文編號：70758