【摘要】：針對(duì)通用搜索引擎的信息量大、查詢不準(zhǔn)確、深度不夠等問題,給出了面向主題的垂直搜索引擎的體系結(jié)構(gòu),設(shè)計(jì)了垂直搜索引擎系統(tǒng)的爬行策略,對(duì)系統(tǒng)核心信息采集模塊運(yùn)用了多線程技術(shù)及基于VSM的主題相關(guān)度判斷算法進(jìn)行主題網(wǎng)頁爬行,并通過Lucene.Net的索引與檢索技術(shù)建立系統(tǒng)的檢索算法,實(shí)現(xiàn)了一個(gè)面向特定主題的垂直搜索引擎應(yīng)用系統(tǒng).實(shí)驗(yàn)測(cè)試結(jié)果表明,該系統(tǒng)具有較高的提取效率,其檢索的準(zhǔn)確率、召回率均大大高于通用搜索引擎,具有較好的實(shí)用價(jià)值和商業(yè)應(yīng)用前景.
[Abstract]:Aiming at the problems of large amount of information, inaccurate query and insufficient depth of general search engine, the architecture of topic-oriented vertical search engine is presented, and the crawling strategy of vertical search engine system is designed. Multi-thread technology and subject correlation judgment algorithm based on VSM are applied to the core information collection module of the system, and the retrieval algorithm of the system is established by the index and retrieval technology of Lucene.Net. A specific topic oriented vertical search engine application system is implemented. The experimental results show that the system has high extraction efficiency, its retrieval accuracy and recall rate are much higher than that of the general search engine, and it has good practical value and commercial application prospect.
【作者單位】： 上海理工大學(xué)管理學(xué)院;南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院;
【基金】：國家自然科學(xué)基金項(xiàng)目(61003001,71071098) 江蘇省自然科學(xué)基金項(xiàng)目(BK2010280) 南通市科技計(jì)劃項(xiàng)目(K2008018,K2008031)
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 趙洋;滕桂法;張玉新;何冬梅;;基于Internet的農(nóng)業(yè)信息垂直搜索引擎的設(shè)計(jì)[J];河北農(nóng)業(yè)大學(xué)學(xué)報(bào);2009年06期

2 劉運(yùn)強(qiáng);;垂直搜索引擎的研究與設(shè)計(jì)[J];計(jì)算機(jī)應(yīng)用與軟件;2010年07期

3 李廣麗;劉覺夫;;垂直搜索引擎系統(tǒng)的研究與實(shí)現(xiàn)[J];情報(bào)雜志;2009年10期

4 張昌年;;一種基于VSM的檢測(cè)相似重復(fù)記錄的方法[J];微電子學(xué)與計(jì)算機(jī);2008年08期

5 劉海峰;姚澤清;汪澤焱;張學(xué)仁;;基于位置的文本特征加權(quán)方法研究[J];微電子學(xué)與計(jì)算機(jī);2009年02期

6 吳金紅;張玉峰;王翠波;;面向主題的網(wǎng)絡(luò)競(jìng)爭(zhēng)情報(bào)采集系統(tǒng)[J];現(xiàn)代圖書情報(bào)技術(shù);2006年12期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 曹建軍;刁興春;杜瀊;王芳瀟;張瀟毅;;基于蟻群特征選擇的相似重復(fù)記錄分類檢測(cè)[J];兵工學(xué)報(bào);2010年09期

2 趙洋;滕桂法;張玉新;何冬梅;;基于Internet的農(nóng)業(yè)信息垂直搜索引擎的設(shè)計(jì)[J];河北農(nóng)業(yè)大學(xué)學(xué)報(bào);2009年06期

3 馬翔;;粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)用于重復(fù)記錄檢測(cè)[J];遼寧工程技術(shù)大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年05期

4 朱學(xué)芳;馮曦曦;;面向農(nóng)業(yè)主題搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[J];安徽農(nóng)業(yè)科學(xué);2011年35期

5 馬翔;;基于粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的重復(fù)記錄檢測(cè)方法[J];湖南涉外經(jīng)濟(jì)學(xué)院學(xué)報(bào);2010年04期

6 曹建軍;刁興春;汪挺;王芳瀟;;領(lǐng)域無關(guān)數(shù)據(jù)清洗研究綜述[J];計(jì)算機(jī)科學(xué);2010年05期

7 劉海峰;劉守生;汪澤焱;;一種基于類別信息的改進(jìn)文本特征選擇[J];計(jì)算機(jī)應(yīng)用與軟件;2010年06期

8 馬偉平;;網(wǎng)上農(nóng)業(yè)信息資源開發(fā)與應(yīng)用的現(xiàn)狀及前景[J];內(nèi)蒙古科技與經(jīng)濟(jì);2010年16期

9 吳慶輝;蔡海洋;呂精巧;;基于改進(jìn)型遺傳神經(jīng)網(wǎng)絡(luò)的相似重復(fù)記錄檢測(cè)[J];計(jì)算機(jī)測(cè)量與控制;2011年05期

10 康亞娟;;站內(nèi)搜索的研究與實(shí)現(xiàn)[J];信息技術(shù);2011年08期

相關(guān)會(huì)議論文 前1條

1 蔣勇青;楊奕虹;楊賀;;論數(shù)據(jù)清洗對(duì)信息檢索質(zhì)量的影響及清洗方法[A];2011年中國索引學(xué)會(huì)年會(huì)暨成立二十周年慶典論文集[C];2011年

相關(guān)碩士學(xué)位論文 前10條

1 馮葉磊;基于隱語義的中醫(yī)藥文獻(xiàn)搜索引擎[D];浙江大學(xué);2011年

2 宋艷輝;基于語義Web Service的競(jìng)爭(zhēng)情報(bào)系統(tǒng)構(gòu)建研究[D];華中師范大學(xué);2009年

3 趙治軍;OAI-PMH中元數(shù)據(jù)相似度計(jì)算的研究與實(shí)現(xiàn)[D];太原科技大學(xué);2009年

4 周震;基于語義的知識(shí)資源搜索與集成研究[D];東華大學(xué);2010年

5 陳向東;寵物用品垂直搜索引擎研究與設(shè)計(jì)[D];西北農(nóng)林科技大學(xué);2010年

6 鄔亞文;威客垂直搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

7 孫華昱;Lucene在醫(yī)學(xué)影像資源檢索平臺(tái)中的應(yīng)用[D];沈陽工業(yè)大學(xué);2011年

8 杜洪偉;軟件安全領(lǐng)域垂直搜索引擎的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)[D];天津大學(xué);2010年

9 張朝威;面向企業(yè)競(jìng)爭(zhēng)情報(bào)的主題搜索研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

10 王培順;互聯(lián)網(wǎng)教育輿情監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中師范大學(xué);2011年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 丁璇,侯漢清,章成志;中文網(wǎng)頁標(biāo)引源主題表達(dá)能力的調(diào)查統(tǒng)計(jì)[J];大學(xué)圖書館學(xué)報(bào);2002年06期

2 張紅斌;;網(wǎng)上求職機(jī)器人的軟件設(shè)計(jì)[J];華東交通大學(xué)學(xué)報(bào);2006年01期

3 劉遷;賈惠波;;中文信息處理中自動(dòng)分詞技術(shù)的研究與展望[J];計(jì)算機(jī)工程與應(yīng)用;2006年03期

4 林海霞;原福永;陳金森;劉俊峰;;一種改進(jìn)的主題網(wǎng)絡(luò)蜘蛛搜索算法[J];計(jì)算機(jī)工程與應(yīng)用;2007年10期

5 俞榮華;田增平;周傲英;;一種檢測(cè)多語言文本相似重復(fù)記錄的綜合方法[J];計(jì)算機(jī)科學(xué);2002年01期

6 張裔智;趙毅;湯小斌;;MD5算法研究[J];計(jì)算機(jī)科學(xué);2008年07期

7 歐陽柳波,李學(xué)勇,李國徽,王鑫;專業(yè)搜索引擎搜索策略綜述[J];計(jì)算機(jī)工程;2004年13期

8 邱越峰,田增平,季文，

本文編號(hào)：2155576