【摘要】：針對用戶在進行農(nóng)業(yè)信息主題或相關(guān)領(lǐng)域的網(wǎng)絡(luò)查詢時,通用搜索引擎返回的信息過多且主題相關(guān)性不強等不足,提出了一種面向農(nóng)業(yè)信息的主題爬蟲的設(shè)計方案,詳細討論了該主題爬蟲的爬行策略、結(jié)構(gòu)設(shè)計、原理及實現(xiàn)。初步試驗結(jié)果表明,基于該設(shè)計方案的主題爬蟲在抓取農(nóng)業(yè)信息主題網(wǎng)頁時的準確率、全面率及成功率明顯優(yōu)于普通爬蟲。
[Abstract]:In order to solve the problem that the general search engine returns too much information and the theme correlation is not strong when users are querying the agricultural information subject or related fields, a design scheme of the subject crawler for agricultural information is proposed in this paper. The crawling strategy, structure design, principle and implementation of this topic are discussed in detail. The preliminary experimental results show that the accuracy, total rate and success rate of the theme crawler based on the design scheme are obviously better than that of the common crawler when grabbing the agricultural information theme web page.
【作者單位】： 昆明理工大學(xué)現(xiàn)代農(nóng)業(yè)工程學(xué)院;
【分類號】：TP391.3

【參考文獻】

相關(guān)期刊論文 前4條

1 常為領(lǐng);孫瑞志;高萬林;;基于ROBOT的農(nóng)業(yè)信息搜索引擎設(shè)計[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2006年08期

2 周立柱,林玲;聚焦爬蟲技術(shù)研究綜述[J];計算機應(yīng)用;2005年09期

3 龍宇巍,王永成,許歡慶;定題搜索引擎Robot的設(shè)計與算法[J];計算機仿真;2004年04期

4 宋聚平,王永成,滕偉,許歡慶;搜索引擎中Robot搜索算法的優(yōu)化[J];情報學(xué)報;2002年02期

【共引文獻】

相關(guān)期刊論文 前10條

1 孫素芬;羅長壽;張峻峰;于峰;張樹亮;;農(nóng)業(yè)信息資源整合系統(tǒng)研究與應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2007年22期

2 廉捷;劉云;;網(wǎng)絡(luò)輿情中的信息預(yù)處理與自動摘要算法[J];北京交通大學(xué)學(xué)報;2010年05期

3 任斌;毛應(yīng)爽;;基于本體的主動學(xué)習(xí)主題爬行的研究與實現(xiàn)[J];長春工程學(xué)院學(xué)報(自然科學(xué)版);2011年01期

4 查志琴;;基于行模式的網(wǎng)頁信息提取算法[J];常州工學(xué)院學(xué)報;2007年04期

5 高波;;一種面向主題的搜索引擎的實現(xiàn)[J];常州工學(xué)院學(xué)報;2008年02期

6 張戩慧;;專業(yè)智能搜索系統(tǒng)在動物醫(yī)學(xué)領(lǐng)域中的應(yīng)用[J];東北農(nóng)業(yè)大學(xué)學(xué)報;2009年09期

7 劉德仿;王斌;;面向教學(xué)領(lǐng)域的智能搜索引擎的研究與開發(fā)[J];電化教育研究;2007年05期

8 高磊;徐東平;;啟發(fā)式算法在搜索引擎的應(yīng)用[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年02期

9 吳聰聰;趙建立;;基于本體的主題爬蟲的研究[J];電腦知識與技術(shù);2011年03期

10 蒯曉童,王銀娣;搜索引擎Robot技術(shù)的優(yōu)化算法研究[J];地理空間信息;2004年04期

相關(guān)會議論文 前6條

1 楊衛(wèi)明;;獨立式搜索引擎原理及存在問題分析[A];2008年計算機應(yīng)用技術(shù)交流會論文集[C];2008年

2 王棟;陳勇;徐建良;;基于預(yù)測的BitTorrent種子評估方法[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

3 戴玉剛;;藏文網(wǎng)頁采集技術(shù)研究[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會論文集[C];2007年

4 丁軍平;蔡皖東;;基于SVM主動學(xué)習(xí)算法的元信息獲取研究[A];Proceedings of 2010 International Conference on Circuit and Signal Processing & 2010 Second IITA International Joint Conference on Artificial Intelligence(Volume 2)[C];2010年

5 ;The Model and Optimization of Search Engine Based on Hadoop[A];Proceedings of 2010 International Conference on Services Science, Management and Engineering(Volume 1)[C];2010年

6 劉兵;胡學(xué)鋼;;基于多鏈接分析的主題爬蟲設(shè)計實現(xiàn)[A];全國第20屆計算機技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集（上冊）[C];2009年

相關(guān)博士學(xué)位論文 前8條

1 吳羽;面向時間敏感對象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

2 張宏斌;信息獲取中的兩類不確定問題研究[D];華中科技大學(xué);2004年

3 杜亞軍;搜索引擎智能行為的研究及實現(xiàn)[D];西南交通大學(xué);2005年

4 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

5 王英;Deep Web數(shù)據(jù)集成關(guān)鍵技術(shù)研究[D];吉林大學(xué);2010年

6 鄧斌;B2C在線評論中的客戶知識管理研究[D];電子科技大學(xué);2010年

7 張翔;文本挖掘技術(shù)研究及其在綜合風(fēng)險信息網(wǎng)絡(luò)中的應(yīng)用[D];西北大學(xué);2011年

8 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測系統(tǒng)研究[D];北京郵電大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 呂芳芳;基于查詢擴展的垂直搜索研究[D];山東科技大學(xué);2010年

2 翁巖青;網(wǎng)頁抓取策略研究[D];哈爾濱工程大學(xué);2010年

3 蔡宇虹;基于主題的元搜索引擎關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2010年

4 史煒;個性化搜索引擎的研究與設(shè)計[D];電子科技大學(xué);2010年

5 丁寶瓊;網(wǎng)絡(luò)文本信息采集分析關(guān)鍵技術(shù)研究與實現(xiàn)[D];解放軍信息工程大學(xué);2009年

6 沙有闖;基于Web文本挖掘的網(wǎng)絡(luò)口碑監(jiān)測系統(tǒng)研究[D];安徽大學(xué);2010年

7 魏一帆;分布式信息采集系統(tǒng)Web劃分技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2010年

8 郝陽;基于語義分析的產(chǎn)品評論挖掘技術(shù)研究[D];天津大學(xué);2010年

9 常曉燕;基于Java的新聞搜索引擎的設(shè)計與實現(xiàn)[D];西南交通大學(xué);2004年

10 區(qū)玉明;客戶保持中兩個問題的研究：對網(wǎng)站感興趣用戶的識別和網(wǎng)站質(zhì)量評價[D];廣西師范大學(xué);2004年

【二級參考文獻】

相關(guān)期刊論文 前1條

1 王桂云;基于Robot搜索引擎的自動檢索技術(shù)[J];中國信息導(dǎo)報;2003年01期

【相似文獻】

相關(guān)期刊論文 前10條

1 董志昕;淺談農(nóng)業(yè)信息搜索引擎的設(shè)計制作[J];計算機與農(nóng)業(yè);2002年08期

2 夏崇鐠;康麗;;基于敘詞表的主題爬蟲技術(shù)研究[J];現(xiàn)代圖書情報技術(shù);2007年05期

3 陳晨;;基于主題爬蟲的個性化搜索引擎技術(shù)研究[J];黑龍江科技信息;2010年31期

4 趙思佳;尹婷;;基于規(guī)則引擎的個性化主題網(wǎng)頁爬蟲的研究[J];計算機技術(shù)與發(fā)展;2011年03期

5 秦學(xué)勇;;基于互聯(lián)網(wǎng)資源的學(xué)科Ontology構(gòu)建研究[J];廊坊師范學(xué)院學(xué)報(自然科學(xué)版);2011年02期

6 高靈霞;;基于主題爬蟲的個性化搜索引擎技術(shù)分析[J];電腦知識與技術(shù);2009年32期

7 何毅;;建筑院校主題搜索引擎設(shè)計與實現(xiàn)[J];吉林建筑工程學(xué)院學(xué)報;2010年05期

8 劉國靖;康麗;羅長壽;;基于遺傳算法的主題爬蟲策略[J];計算機應(yīng)用;2007年S2期

9 任輝;;基于關(guān)鍵詞的生物主題爬蟲設(shè)計[J];圖書情報工作;2009年09期

10 池勇敏;郝泳濤;;分布式主題爬蟲的設(shè)計與實現(xiàn)[J];計算機應(yīng)用與軟件;2010年12期

相關(guān)會議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國中醫(yī)藥信息研究會第二屆理事大會暨學(xué)術(shù)交流會議論文匯編[C];2003年

3 鄧長壽;郭景峰;楊焱林;鄧安遠;;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2001年

4 維尼拉·木沙江;吐爾洪·吾司曼;;維、哈、柯文搜索引擎中網(wǎng)頁爬行器的設(shè)計與實現(xiàn)[A];少數(shù)民族青年自然語言處理技術(shù)研究與進展——第三屆全國少數(shù)民族青年自然語言信息處理、第二屆全國多語言知識庫建設(shè)聯(lián)合學(xué)術(shù)研討會論文集[C];2010年

5 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計算機學(xué)會2008年年會論文集[C];2008年

6 姚樹宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國開放式分布與并行計算學(xué)術(shù)會議論文集[C];2005年

7 倪俊峰;;基于黃頁搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計與實現(xiàn)[A];2005年中國索引學(xué)會年會暨學(xué)術(shù)研討會論文集[C];2005年

8 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國索引學(xué)會年會暨學(xué)術(shù)研討會論文集[C];2010年

9 陳援非;何哲;朱珍民;;基于普適計算的個性化搜索技術(shù)[A];第二屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議(HHME2006)——第2屆中國普適計算學(xué)術(shù)會議(PCC'06)論文集[C];2006年

10 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報編輯論叢（第十一集）[C];2003年

相關(guān)重要報紙文章 前10條

1 李一鑫;搜索排名的紅與黑[N];財經(jīng)時報;2007年

2 周文林;搜狗3.0能否撼動搜索市場[N];經(jīng)濟參考報;2007年

3 惠正一;比爾·蓋茨:微軟不怕Google[N];第一財經(jīng)日報;2005年

4 賽迪顧問股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;搜索，，還是門戶[N];中國計算機報;2005年

5 陳珊;浙江移動推出手機搜索引擎服務(wù)[N];人民郵電;2005年

6 趙法忠;搜索引擎還需悠著點[N];中國經(jīng)營報;2005年

7 金朝力;搜索引擎火拼搜索質(zhì)量[N];北京商報;2006年

8 本報記者　 趙曉輝 孟昭麗;搜索引擎駛?cè)搿氨茱L(fēng)港”[N];中國證券報;2006年

9 孫t;搜索引擎驚喜侵權(quán)官司止于“避風(fēng)港”？[N];第一財經(jīng)日報;2006年

10 姜蕊;問天下誰識搜索？[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2006年

相關(guān)博士學(xué)位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學(xué);2011年

5 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

6 王昤璞;基于用戶體驗的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評估研究[D];吉林大學(xué);2010年

7 李莎莎;面向搜索引擎的自然語言處理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

8 白玉琪;空間信息搜索引擎研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

9 費巍;搜索引擎檢索功能的性能評價研究[D];武漢大學(xué);2010年

10 黃河;農(nóng)業(yè)復(fù)雜自適應(yīng)搜索模型研究及實現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

2 溫泉;基于聚焦相關(guān)度排序的搜索引擎研究與應(yīng)用[D];東華大學(xué);2010年

3 薛云;Internet上元搜索引擎的研究與設(shè)計[D];太原理工大學(xué);2003年

4 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

5 董晨;基于模糊聚類的個性化搜索引擎的研究[D];福州大學(xué);2005年

6 封俊;基于Hadoop的分布式搜索引擎研究與實現(xiàn)[D];太原理工大學(xué);2010年

7 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實現(xiàn)[D];華南理工大學(xué);2010年

8 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

9 李建平;智能化WEB信息搜索引擎的研究與實現(xiàn)[D];大慶石油學(xué)院;2003年

10 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實踐[D];新疆大學(xué);2004年

本文編號：2248586