本文關(guān)鍵詞：基于移動(dòng)Agent的主題搜索引擎研究，由筆耕文化傳播整理發(fā)布。

《上海海事大學(xué)》 2006年

基于移動(dòng)Agent的主題搜索引擎研究

劉賓  

【摘要】：信息技術(shù)的飛速發(fā)展，導(dǎo)致了Internet上的信息量不斷膨脹，網(wǎng)絡(luò)已經(jīng)成為人們獲得信息的必要途徑和重要手段，盡管通用搜索引擎已經(jīng)在某種程度上緩減了人們對(duì)Internet信息獲取的難度，但隨著技術(shù)的發(fā)展和信息總量的增多，人們對(duì)于搜索引擎提出了更多的要求，主題資源搜索便是人們期望的目標(biāo)之一。Web主題資源自動(dòng)搜索技術(shù)可以充分利用Web上大量的免費(fèi)資源，通過自動(dòng)化的主題搜索過程，構(gòu)建主題資源庫(kù)，可以提高人們對(duì)于主題信息資源獲取的效率與質(zhì)量。 本文首先分析了搜索引擎的發(fā)展?fàn)顩r，闡述了搜索引擎各主要部分的工作原理，在此基礎(chǔ)之上，探討了主題搜索引擎的研究背景，分析了主題型Web搜索研究興起的原因，，及其潛在的研究?jī)r(jià)值，通過閱讀文獻(xiàn)，給出了一些比較有代表性的系統(tǒng)的描述。詳盡地分析了主題搜索中的幾個(gè)關(guān)鍵技術(shù)，包括主題概念定義、主題資源發(fā)現(xiàn)技術(shù)，主題爬行器的構(gòu)造、主題爬行的啟發(fā)策略及其算法實(shí)現(xiàn)，闡述了主題搜索的內(nèi)涵與外延。 在分析主題搜索引擎頁面爬行特點(diǎn)的基礎(chǔ)之上，結(jié)合Agent技術(shù)的相關(guān)知識(shí)，提出了使用移動(dòng)Agent進(jìn)行主題信息收集的方法，分析了采用這種方法能帶來的潛在的爬行效率的提升，尤其是網(wǎng)絡(luò)帶寬資源占用情況方面的改善，給出了一個(gè)基于移動(dòng)Agent的主題搜索引擎系統(tǒng)原型，并描述了各個(gè)部分的主要功能，并對(duì)其中的幾個(gè)關(guān)鍵部分給出了具體實(shí)現(xiàn)的方法，包括：主題特征的提取、移動(dòng)Agent的系統(tǒng)框架、移動(dòng)Agent的具體工作過程、主題頁面的采集與內(nèi)容解析和主題相關(guān)度的計(jì)算等。此外，作為主題搜索引擎的擴(kuò)展，簡(jiǎn)述了用戶自定義主題信息搜索的方法。 最后，在移動(dòng)Agent平臺(tái)——IBM aglets上設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于移動(dòng)Agent的主題信息爬行器，并通過實(shí)驗(yàn)，對(duì)比分析了基于移動(dòng)Agent的主題頁面爬行方式與以往工作方式的性能效率差異。實(shí)驗(yàn)表明，此種方法能有效減少傳統(tǒng)方法下獲取頁面時(shí)，無關(guān)信息造成的網(wǎng)絡(luò)負(fù)載，提高主題信息的獲取效率。

【關(guān)鍵詞】：
【學(xué)位授予單位】：上海海事大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2006
【分類號(hào)】：TP391.3
【目錄】：

第1章 緒論9-13

1.1 研究背景9-10

1.2 研究現(xiàn)況概述10-11

1.3 本文的主要工作及內(nèi)容組織11-13

第2章 搜索引擎的發(fā)展及其實(shí)現(xiàn)原理13-23

2.1 搜索引擎簡(jiǎn)介13

2.2 搜索引擎的發(fā)展歷史13-14

2.3 搜索引擎分類14-15

2.4 搜索引擎的工作原理15-20

2.4.1 爬行器技術(shù)16-17

2.4.2 存儲(chǔ)技術(shù)17-18

2.4.3 索引技術(shù)18-20

2.4.4 檢索技術(shù)20

2.5 搜索引擎的幾類研究方向20-22

2.5.1 基于整個(gè)Web構(gòu)建的搜索引擎20-21

2.5.2 基于主題的搜索引擎21

2.5.3 個(gè)性化的Web搜索引擎21

2.5.4 基于Agent的搜索引擎21-22

2.6 小結(jié)22-23

第3章 主題搜索引擎23-34

3.1 主題搜索研究背景23

3.2 主題搜索的研究現(xiàn)況23-25

3.3 主題搜索的特點(diǎn)25-26

3.4 主題搜索關(guān)鍵技術(shù)26-32

3.4.1 “主題”的概念26

3.4.2 主題資源發(fā)現(xiàn)技術(shù)26-28

3.4.3 主題爬行器28-29

3.4.4 主題爬行器的啟發(fā)策略29-32

3.4.4.1 Best First搜索策略30

3.4.4.2 Fish Search搜索策略30-31

3.4.4.3 Shark Search搜索策略31-32

3.4.5 主題搜索中的隧道穿越技術(shù)32

3.5 主題搜索的內(nèi)涵與外延32-33

3.6 小結(jié)33-34

第4章 Agent技術(shù)34-41

4.1 Agent概念及其產(chǎn)生背景34

4.2 Agent的特性34-35

4.3 Agent的類型35

4.4 Agent的結(jié)構(gòu)及其平臺(tái)參考模型35-37

4.5 移動(dòng)Agent技術(shù)37-39

4.6 Agent的主要應(yīng)用及常見應(yīng)用平臺(tái)39-40

4.6.1 Agent主要應(yīng)用39

4.6.2 常見Agent平臺(tái)/系統(tǒng)簡(jiǎn)介39-40

4.7 小結(jié)40-41

第5章 基于移動(dòng)Agent的主題搜索引擎41-63

5.1 基于移動(dòng)Agent的主題搜索引擎系統(tǒng)概述41-43

5.2 基于移動(dòng)Agent的主題搜索引擎各模塊功能描述43-45

5.3 各部分的具體實(shí)現(xiàn)45-62

5.3.1 主題定義模板45-47

5.3.1.1 基于統(tǒng)計(jì)的特征提取算法46-47

5.3.1.2 支持向量機(jī)(SVM)47

5.3.1.3 中文分詞47

5.3.2 Agent運(yùn)行平臺(tái)及其工作方式47-51

5.3.2.1 Aglet系統(tǒng)框架48

5.3.2.2 Aglet對(duì)象模型及遷移方式48-51

5.3.3 主題信息搜索Agent的構(gòu)造及工作過程51-53

5.3.4 一種AgCrawler遷移目標(biāo)的更新策略53-54

5.3.5 主題頁面的采集與分析54-60

5.3.5.1 頁面信息獲取過程55-56

5.3.5.2 優(yōu)先爬行機(jī)理56-58

5.3.5.3 Web頁面內(nèi)容的解析及噪音信息的過濾58-60

5.3.6 URL主題相關(guān)度的計(jì)算60-61

5.3.7 用戶自定義主題信息搜索61-62

5.4 小結(jié)62-63

第6章 實(shí)驗(yàn)及結(jié)果分析63-68

6.1 Tahiti平臺(tái)上Aglets的運(yùn)行63-64

6.2 主題特征的構(gòu)造64-65

6.3 實(shí)驗(yàn)過程及結(jié)果分析65-67

6.4 小結(jié)67-68

第7章 總結(jié)與進(jìn)一步工作68-70

7.1 本文總結(jié)68-69

7.2 進(jìn)一步工作69-70

致謝70-71

參考文獻(xiàn)71-74

附錄A 部分程序代碼74-78

附錄B 攻讀碩士學(xué)位期間發(fā)表的論文和參與的科研項(xiàng)目78

下載全文 更多同類文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購(gòu)買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 ;李彥宏論搜索引擎三個(gè)定律[J];新電子;2001年02期

2 相春雷;;2009年中國(guó)搜索引擎市場(chǎng)趨勢(shì)分析[J];軟件世界;2010年02期

3 ;揭秘搜索引擎收錄網(wǎng)站的秘密[J];計(jì)算機(jī)與網(wǎng)絡(luò);2010年Z1期

4 馬玥;;王小川:絕境之外[J];中國(guó)經(jīng)濟(jì)和信息化;2011年12期

5 魏蕾如;;基于搜索引擎的網(wǎng)絡(luò)中文信息檢索工具評(píng)價(jià)[J];數(shù)字技術(shù)與應(yīng)用;2011年06期

6 ;創(chuàng)新工業(yè)搜索引擎[J];中國(guó)制造業(yè)信息化;2011年12期

7 胡風(fēng)華;王磊;;基于知識(shí)庫(kù)系統(tǒng)的智能搜索引擎研究[J];中國(guó)新技術(shù)新產(chǎn)品;2011年18期

8 方亞會(huì);;Google失敗后快速切換搜索引擎[J];電腦迷;2011年11期

9 ;成長(zhǎng)中的谷歌[J];IT時(shí)代周刊;2011年18期

10 林麗華;;用好SOSO的微博搜索功能[J];電腦迷;2011年16期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國(guó)中醫(yī)藥信息研究會(huì)第二屆理事大會(huì)暨學(xué)術(shù)交流會(huì)議論文匯編[C];2003年

3 鄧長(zhǎng)壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

4 維尼拉·木沙江;吐爾洪·吾司曼;;維、哈、柯文搜索引擎中網(wǎng)頁爬行器的設(shè)計(jì)與實(shí)現(xiàn)[A];少數(shù)民族青年自然語言處理技術(shù)研究與進(jìn)展——第三屆全國(guó)少數(shù)民族青年自然語言信息處理、第二屆全國(guó)多語言知識(shí)庫(kù)建設(shè)聯(lián)合學(xué)術(shù)研討會(huì)論文集[C];2010年

5 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計(jì)算機(jī)學(xué)會(huì)2008年年會(huì)論文集[C];2008年

6 姚樹宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國(guó)開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集[C];2005年

7 倪俊峰;;基于黃頁搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

8 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2010年

9 陳援非;何哲;朱珍民;;基于普適計(jì)算的個(gè)性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

10 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報(bào)編輯論叢（第十一集）[C];2003年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 王宏亮;[N];財(cái)經(jīng)時(shí)報(bào);2006年

2 主持人　陳建棟;[N];光明日?qǐng)?bào);2005年

3 本報(bào)記者　陳建棟;[N];光明日?qǐng)?bào);2005年

4 曾正樂;[N];經(jīng)濟(jì)日?qǐng)?bào);2005年

5 本報(bào)記者 秦海波;[N];經(jīng)濟(jì)日?qǐng)?bào);2005年

6 FN記者 柳立;[N];金融時(shí)報(bào);2005年

7 閆輝;[N];計(jì)算機(jī)世界;2005年

8 本報(bào)記者 李劍;[N];通信信息報(bào);2005年

9 華夏;[N];江蘇科技報(bào);2008年

10 記者 毛濤濤;[N];北京商報(bào);2008年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 王镠璞;基于用戶體驗(yàn)的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評(píng)估研究[D];吉林大學(xué);2010年

8 李莎莎;面向搜索引擎的自然語言處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

9 白玉琪;空間信息搜索引擎研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

10 費(fèi)巍;搜索引擎檢索功能的性能評(píng)價(jià)研究[D];武漢大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 聶頌;具有自動(dòng)分類功能的主題搜索引擎的研究[D];天津大學(xué);2004年

2 任妤;基于Nutch的科技主題搜索引擎Crawler的研究與實(shí)現(xiàn)[D];內(nèi)蒙古科技大學(xué);2011年

3 羅偉;基于移動(dòng)Agent的主題搜索引擎研究[D];中南民族大學(xué);2008年

4 薛云;Internet上元搜索引擎的研究與設(shè)計(jì)[D];太原理工大學(xué);2003年

5 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

6 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

7 董晨;基于模糊聚類的個(gè)性化搜索引擎的研究[D];福州大學(xué);2005年

8 封俊;基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

9 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實(shí)現(xiàn)[D];華南理工大學(xué);2010年

10 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

  本文關(guān)鍵詞：基于移動(dòng)Agent的主題搜索引擎研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：58731