發(fā)布時(shí)間：2018-09-18 17:15

【摘要】：針對(duì)用戶在進(jìn)行農(nóng)業(yè)信息主題或相關(guān)領(lǐng)域的網(wǎng)絡(luò)查詢時(shí),通用搜索引擎返回的信息過(guò)多且主題相關(guān)性不強(qiáng)等不足,提出了一種面向農(nóng)業(yè)信息的主題爬蟲(chóng)的設(shè)計(jì)方案,詳細(xì)討論了該主題爬蟲(chóng)的爬行策略、結(jié)構(gòu)設(shè)計(jì)、原理及實(shí)現(xiàn)。初步試驗(yàn)結(jié)果表明,基于該設(shè)計(jì)方案的主題爬蟲(chóng)在抓取農(nóng)業(yè)信息主題網(wǎng)頁(yè)時(shí)的準(zhǔn)確率、全面率及成功率明顯優(yōu)于普通爬蟲(chóng)。
[Abstract]:In order to solve the problem that the general search engine returns too much information and the theme correlation is not strong when users are querying the agricultural information subject or related fields, a design scheme of the subject crawler for agricultural information is proposed in this paper. The crawling strategy, structure design, principle and implementation of this topic are discussed in detail. The preliminary experimental results show that the accuracy, total rate and success rate of the theme crawler based on the design scheme are obviously better than that of the common crawler when grabbing the agricultural information theme web page.
【作者單位】： 昆明理工大學(xué)現(xiàn)代農(nóng)業(yè)工程學(xué)院;
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 常為領(lǐng);孫瑞志;高萬(wàn)林;;基于ROBOT的農(nóng)業(yè)信息搜索引擎設(shè)計(jì)[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2006年08期

2 周立柱,林玲;聚焦爬蟲(chóng)技術(shù)研究綜述[J];計(jì)算機(jī)應(yīng)用;2005年09期

3 龍宇巍,王永成,許歡慶;定題搜索引擎Robot的設(shè)計(jì)與算法[J];計(jì)算機(jī)仿真;2004年04期

4 宋聚平,王永成,滕偉,許歡慶;搜索引擎中Robot搜索算法的優(yōu)化[J];情報(bào)學(xué)報(bào);2002年02期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫素芬;羅長(zhǎng)壽;張峻峰;于峰;張樹(shù)亮;;農(nóng)業(yè)信息資源整合系統(tǒng)研究與應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2007年22期

2 廉捷;劉云;;網(wǎng)絡(luò)輿情中的信息預(yù)處理與自動(dòng)摘要算法[J];北京交通大學(xué)學(xué)報(bào);2010年05期

3 任斌;毛應(yīng)爽;;基于本體的主動(dòng)學(xué)習(xí)主題爬行的研究與實(shí)現(xiàn)[J];長(zhǎng)春工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年01期

4 查志琴;;基于行模式的網(wǎng)頁(yè)信息提取算法[J];常州工學(xué)院學(xué)報(bào);2007年04期

5 高波;;一種面向主題的搜索引擎的實(shí)現(xiàn)[J];常州工學(xué)院學(xué)報(bào);2008年02期

6 張戩慧;;專業(yè)智能搜索系統(tǒng)在動(dòng)物醫(yī)學(xué)領(lǐng)域中的應(yīng)用[J];東北農(nóng)業(yè)大學(xué)學(xué)報(bào);2009年09期

7 劉德仿;王斌;;面向教學(xué)領(lǐng)域的智能搜索引擎的研究與開(kāi)發(fā)[J];電化教育研究;2007年05期

8 高磊;徐東平;;啟發(fā)式算法在搜索引擎的應(yīng)用[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年02期

9 吳聰聰;趙建立;;基于本體的主題爬蟲(chóng)的研究[J];電腦知識(shí)與技術(shù);2011年03期

10 蒯曉童,王銀娣;搜索引擎Robot技術(shù)的優(yōu)化算法研究[J];地理空間信息;2004年04期

相關(guān)會(huì)議論文 前6條

1 楊衛(wèi)明;;獨(dú)立式搜索引擎原理及存在問(wèn)題分析[A];2008年計(jì)算機(jī)應(yīng)用技術(shù)交流會(huì)論文集[C];2008年

2 王棟;陳勇;徐建良;;基于預(yù)測(cè)的BitTorrent種子評(píng)估方法[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

3 戴玉剛;;藏文網(wǎng)頁(yè)采集技術(shù)研究[A];民族語(yǔ)言文字信息技術(shù)研究——第十一屆全國(guó)民族語(yǔ)言文字信息學(xué)術(shù)研討會(huì)論文集[C];2007年

4 丁軍平;蔡皖東;;基于SVM主動(dòng)學(xué)習(xí)算法的元信息獲取研究[A];Proceedings of 2010 International Conference on Circuit and Signal Processing & 2010 Second IITA International Joint Conference on Artificial Intelligence(Volume 2)[C];2010年

5 ;The Model and Optimization of Search Engine Based on Hadoop[A];Proceedings of 2010 International Conference on Services Science, Management and Engineering(Volume 1)[C];2010年

6 劉兵;胡學(xué)鋼;;基于多鏈接分析的主題爬蟲(chóng)設(shè)計(jì)實(shí)現(xiàn)[A];全國(guó)第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國(guó)第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

相關(guān)博士學(xué)位論文 前8條

1 吳羽;面向時(shí)間敏感對(duì)象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

2 張宏斌;信息獲取中的兩類不確定問(wèn)題研究[D];華中科技大學(xué);2004年

3 杜亞軍;搜索引擎智能行為的研究及實(shí)現(xiàn)[D];西南交通大學(xué);2005年

4 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

5 王英;Deep Web數(shù)據(jù)集成關(guān)鍵技術(shù)研究[D];吉林大學(xué);2010年

6 鄧斌;B2C在線評(píng)論中的客戶知識(shí)管理研究[D];電子科技大學(xué);2010年

7 張翔;文本挖掘技術(shù)研究及其在綜合風(fēng)險(xiǎn)信息網(wǎng)絡(luò)中的應(yīng)用[D];西北大學(xué);2011年

8 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測(cè)系統(tǒng)研究[D];北京郵電大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 呂芳芳;基于查詢擴(kuò)展的垂直搜索研究[D];山東科技大學(xué);2010年

2 翁巖青;網(wǎng)頁(yè)抓取策略研究[D];哈爾濱工程大學(xué);2010年

3 蔡宇虹;基于主題的元搜索引擎關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2010年

4 史煒;個(gè)性化搜索引擎的研究與設(shè)計(jì)[D];電子科技大學(xué);2010年

5 丁寶瓊;網(wǎng)絡(luò)文本信息采集分析關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];解放軍信息工程大學(xué);2009年

6 沙有闖;基于Web文本挖掘的網(wǎng)絡(luò)口碑監(jiān)測(cè)系統(tǒng)研究[D];安徽大學(xué);2010年

7 魏一帆;分布式信息采集系統(tǒng)Web劃分技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2010年

8 郝陽(yáng);基于語(yǔ)義分析的產(chǎn)品評(píng)論挖掘技術(shù)研究[D];天津大學(xué);2010年

9 常曉燕;基于Java的新聞搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];西南交通大學(xué);2004年

10 區(qū)玉明;客戶保持中兩個(gè)問(wèn)題的研究：對(duì)網(wǎng)站感興趣用戶的識(shí)別和網(wǎng)站質(zhì)量評(píng)價(jià)[D];廣西師范大學(xué);2004年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 王桂云;基于Robot搜索引擎的自動(dòng)檢索技術(shù)[J];中國(guó)信息導(dǎo)報(bào);2003年01期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董志昕;淺談農(nóng)業(yè)信息搜索引擎的設(shè)計(jì)制作[J];計(jì)算機(jī)與農(nóng)業(yè);2002年08期

2 夏崇鐠;康麗;;基于敘詞表的主題爬蟲(chóng)技術(shù)研究[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2007年05期

3 陳晨;;基于主題爬蟲(chóng)的個(gè)性化搜索引擎技術(shù)研究[J];黑龍江科技信息;2010年31期

4 趙思佳;尹婷;;基于規(guī)則引擎的個(gè)性化主題網(wǎng)頁(yè)爬蟲(chóng)的研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2011年03期

5 秦學(xué)勇;;基于互聯(lián)網(wǎng)資源的學(xué)科Ontology構(gòu)建研究[J];廊坊師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年02期

6 高靈霞;;基于主題爬蟲(chóng)的個(gè)性化搜索引擎技術(shù)分析[J];電腦知識(shí)與技術(shù);2009年32期

7 何毅;;建筑院校主題搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[J];吉林建筑工程學(xué)院學(xué)報(bào);2010年05期

8 劉國(guó)靖;康麗;羅長(zhǎng)壽;;基于遺傳算法的主題爬蟲(chóng)策略[J];計(jì)算機(jī)應(yīng)用;2007年S2期

9 任輝;;基于關(guān)鍵詞的生物主題爬蟲(chóng)設(shè)計(jì)[J];圖書(shū)情報(bào)工作;2009年09期

10 池勇敏;郝泳濤;;分布式主題爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2010年12期

相關(guān)會(huì)議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國(guó)中醫(yī)藥信息研究會(huì)第二屆理事大會(huì)暨學(xué)術(shù)交流會(huì)議論文匯編[C];2003年

3 鄧長(zhǎng)壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

4 維尼拉·木沙江;吐?tīng)柡椤の崴韭?;維、哈、柯文搜索引擎中網(wǎng)頁(yè)爬行器的設(shè)計(jì)與實(shí)現(xiàn)[A];少數(shù)民族青年自然語(yǔ)言處理技術(shù)研究與進(jìn)展——第三屆全國(guó)少數(shù)民族青年自然語(yǔ)言信息處理、第二屆全國(guó)多語(yǔ)言知識(shí)庫(kù)建設(shè)聯(lián)合學(xué)術(shù)研討會(huì)論文集[C];2010年

5 湯薇;曾艷;;構(gòu)建校園網(wǎng)搜索引擎必要性分析[A];廣西計(jì)算機(jī)學(xué)會(huì)2008年年會(huì)論文集[C];2008年

6 姚樹(shù)宇;趙少東;;一種使用分布式技術(shù)的搜索引擎[A];2005年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集[C];2005年

7 倪俊峰;;基于黃頁(yè)搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

8 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2010年

9 陳援非;何哲;朱珍民;;基于普適計(jì)算的個(gè)性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

10 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報(bào)編輯論叢（第十一集）[C];2003年

相關(guān)重要報(bào)紙文章 前10條

1 李一鑫;搜索排名的紅與黑[N];財(cái)經(jīng)時(shí)報(bào);2007年

2 周文林;搜狗3.0能否撼動(dòng)搜索市場(chǎng)[N];經(jīng)濟(jì)參考報(bào);2007年

3 惠正一;比爾·蓋茨:微軟不怕Google[N];第一財(cái)經(jīng)日?qǐng)?bào);2005年

4 賽迪顧問(wèn)股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;搜索，，還是門戶[N];中國(guó)計(jì)算機(jī)報(bào);2005年

5 陳珊;浙江移動(dòng)推出手機(jī)搜索引擎服務(wù)[N];人民郵電;2005年

6 趙法忠;搜索引擎還需悠著點(diǎn)[N];中國(guó)經(jīng)營(yíng)報(bào);2005年

7 金朝力;搜索引擎火拼搜索質(zhì)量[N];北京商報(bào);2006年

8 本報(bào)記者　 趙曉輝 孟昭麗;搜索引擎駛?cè)搿氨茱L(fēng)港”[N];中國(guó)證券報(bào);2006年

9 孫t;搜索引擎驚喜侵權(quán)官司止于“避風(fēng)港”？[N];第一財(cái)經(jīng)日?qǐng)?bào);2006年

10 姜蕊;問(wèn)天下誰(shuí)識(shí)搜索？[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

5 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

6 王昤璞;基于用戶體驗(yàn)的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評(píng)估研究[D];吉林大學(xué);2010年

7 李莎莎;面向搜索引擎的自然語(yǔ)言處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

8 白玉琪;空間信息搜索引擎研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

9 費(fèi)巍;搜索引擎檢索功能的性能評(píng)價(jià)研究[D];武漢大學(xué);2010年

10 黃河;農(nóng)業(yè)復(fù)雜自適應(yīng)搜索模型研究及實(shí)現(xiàn)[D];中國(guó)科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

2 溫泉;基于聚焦相關(guān)度排序的搜索引擎研究與應(yīng)用[D];東華大學(xué);2010年

3 薛云;Internet上元搜索引擎的研究與設(shè)計(jì)[D];太原理工大學(xué);2003年

4 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

5 董晨;基于模糊聚類的個(gè)性化搜索引擎的研究[D];福州大學(xué);2005年

6 封俊;基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

7 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實(shí)現(xiàn)[D];華南理工大學(xué);2010年

8 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

9 李建平;智能化WEB信息搜索引擎的研究與實(shí)現(xiàn)[D];大慶石油學(xué)院;2003年

10 田生偉;基于涉農(nóng)詞典的搜索引擎的研究與實(shí)踐[D];新疆大學(xué);2004年

本文編號(hào)：2248586