【摘要】：在分析、評(píng)價(jià)常用主題搜索ROBOT爬行策略的基礎(chǔ)上,將三重過濾技術(shù)與改進(jìn)的Shark啟發(fā)式搜索算法相結(jié)合,設(shè)計(jì)了自動(dòng)主題搜索引擎ROBOT的綜合爬行策略。由于綜合爬行策略在爬行中兼顧了網(wǎng)頁的相關(guān)性、主題精度和網(wǎng)頁質(zhì)量,因此應(yīng)用綜合爬行策略在Web上下載主題相關(guān)網(wǎng)頁時(shí),既可利用鏈接分析擴(kuò)大某個(gè)主題的資源覆蓋度,又可保證搜索結(jié)果與主題高度相關(guān)。
[Abstract]:Based on the analysis and evaluation of the common topic search ROBOT crawling strategy, a comprehensive crawling strategy for ROBOT, an automatic subject search engine, is designed by combining the triple filtering technique with the improved Shark heuristic search algorithm. Because the integrated crawling strategy takes into account the relevance of the web page, the precision of the topic and the quality of the web page in the crawling process, when the integrated crawling strategy is used to download the relevant web pages on the Web, the link analysis can be used to expand the coverage of the resources of a topic. It also ensures that search results are highly relevant to the topic.
【作者單位】： 湖北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院 湖北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院 湖北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院
【基金】：湖北省自然科學(xué)基金(2004ABA061)
【分類號(hào)】：TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 朱煒;王超;李俊;潘金貴;;Web超鏈分析算法研究[J];計(jì)算機(jī)科學(xué);2003年09期

2 歐陽柳波,李學(xué)勇,李國(guó)徽,王鑫;專業(yè)搜索引擎搜索策略綜述[J];計(jì)算機(jī)工程;2004年13期

3 曾春,邢春曉,周立柱;基于內(nèi)容過濾的個(gè)性化搜索算法[J];軟件學(xué)報(bào);2003年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 汪潔;朱軍;;基于Linux的中文垃圾郵件過濾系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];安徽農(nóng)業(yè)大學(xué)學(xué)報(bào);2011年02期

2 姚克娟,李晉宏;應(yīng)用Agent技術(shù)實(shí)現(xiàn)個(gè)性化信息服務(wù)[J];北方工業(yè)大學(xué)學(xué)報(bào);2004年03期

3 李偉;黃穎;;基于HtmlParser的網(wǎng)頁信息提取[J];兵工自動(dòng)化;2007年07期

4 陳悅;陳運(yùn);楊義先;胡迪;;基于遺傳算法的聚焦爬蟲搜索策略設(shè)計(jì)與研究[J];成都信息工程學(xué)院學(xué)報(bào);2011年05期

5 王冬青;;遠(yuǎn)程教育個(gè)性化學(xué)習(xí)支持服務(wù)研究[J];中國(guó)遠(yuǎn)程教育;2008年08期

6 楊仁廣;孟祥增;;網(wǎng)絡(luò)多媒體教學(xué)資源主題搜索研究[J];電化教育研究;2009年05期

7 付濤;;基于背景的Web廣泛主題發(fā)現(xiàn)方法[J];電腦學(xué)習(xí);2010年02期

8 高磊;徐東平;;啟發(fā)式算法在搜索引擎的應(yīng)用[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年02期

9 王冬;張運(yùn)波;黃應(yīng)紅;;中文信息檢索關(guān)鍵技術(shù)分析[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年17期

10 張麗敏;;垂直搜索引擎的主題爬蟲策略[J];電腦知識(shí)與技術(shù);2010年15期

相關(guān)會(huì)議論文 前2條

1 劉勘;尹承明;陳凡;;圖書借閱信息的分析與挖掘[A];第二十五屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（一）[C];2008年

2 袁曉潔;竇志成;劉芳;張路;;一種基于動(dòng)態(tài)用戶模型的個(gè)性化Web搜索算法[A];第二十五屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（二）[C];2008年

相關(guān)博士學(xué)位論文 前10條

1 劉玉國(guó);基于內(nèi)容的互聯(lián)網(wǎng)輿情信息挖掘關(guān)鍵技術(shù)研究[D];山東大學(xué);2011年

2 朱振方;基于微粒群和遺傳優(yōu)化的文本過濾關(guān)鍵技術(shù)研究[D];山東師范大學(xué);2012年

3 張曉剛;面向軟件過程改進(jìn)的知識(shí)管理技術(shù)研究[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2004年

4 張樹人;從社會(huì)性軟件、Web2.0到復(fù)雜適應(yīng)信息系統(tǒng)研究[D];中國(guó)人民大學(xué);2006年

5 張丙奇;個(gè)性化需求的描述、獲取與推斷—案例研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

6 趙鵬;復(fù)雜網(wǎng)絡(luò)與互聯(lián)網(wǎng)個(gè)性化信息服務(wù)的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

7 周斌;面向公眾服務(wù)的電子政務(wù)研究[D];同濟(jì)大學(xué);2007年

8 張磊;基于本體的主動(dòng)式知識(shí)系統(tǒng)及其若干關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2006年

9 董寶力;Web制造資源的語義發(fā)現(xiàn)關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

10 臧鋮;個(gè)性化搜索中隱私保護(hù)的關(guān)鍵問題研究[D];浙江大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 吳則則;支持動(dòng)態(tài)演進(jìn)的用戶興趣模型挖掘方法研究[D];山東科技大學(xué);2010年

2 蔡宇虹;基于主題的元搜索引擎關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2010年

3 孟慶海;基于社會(huì)書簽的個(gè)性化查詢?cè)~擴(kuò)展技術(shù)研究[D];哈爾濱工程大學(xué);2010年

4 韓兆國(guó);電信計(jì)費(fèi)帳務(wù)系統(tǒng)核心模塊的設(shè)計(jì)[D];哈爾濱工程大學(xué);2010年

5 唐微;網(wǎng)絡(luò)信息提取系統(tǒng)關(guān)鍵技術(shù)研究[D];大連理工大學(xué);2009年

6 閆兆法;基于多模態(tài)粒子群優(yōu)化的社會(huì)網(wǎng)絡(luò)分析研究[D];大連理工大學(xué);2010年

7 張囡囡;面向教育碩士培養(yǎng)的個(gè)性化教育資源平臺(tái)的研究[D];遼寧師范大學(xué);2010年

8 李永春;主題搜索引擎的研究與實(shí)現(xiàn)[D];哈爾濱理工大學(xué);2010年

9 胡福華;基于可信相似度傳遞的協(xié)同過濾算法研究與應(yīng)用[D];浙江大學(xué);2011年

10 周曉紅;基于內(nèi)容與鏈接的頁面價(jià)值算法研究[D];電子科技大學(xué);2010年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 曾春,邢春曉,周立柱;個(gè)性化服務(wù)技術(shù)綜述[J];軟件學(xué)報(bào);2002年10期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳汶濱;夏學(xué)梅;;基于聚焦爬蟲的手機(jī)天氣預(yù)報(bào)系統(tǒng)[J];今日科苑;2009年02期

2 王芳;陳海建;;深入解析Web主題爬蟲的關(guān)鍵性原理[J];微型電腦應(yīng)用;2011年07期

3 楊學(xué)明;劉柏嵩;;基于本體的網(wǎng)絡(luò)爬蟲技術(shù)研究[J];情報(bào)學(xué)報(bào);2007年05期

4 鄭力明;易平;;基于HTMLParser信息提取的網(wǎng)絡(luò)爬蟲設(shè)計(jì)[J];微計(jì)算機(jī)信息;2009年15期

5 陳麗君;;深層網(wǎng)網(wǎng)絡(luò)爬蟲設(shè)計(jì)[J];計(jì)算機(jī)與信息技術(shù);2009年Z2期

6 陳哲;;垂直搜索中網(wǎng)頁抓取技術(shù)的研究[J];科技信息;2009年22期

7 賀財(cái)平;覃事剛;劉建勛;;Web服務(wù)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2011年01期

8 劉明輝;張志平;張新民;;網(wǎng)絡(luò)資源聚合方法探析[J];機(jī)械管理開發(fā);2008年05期

9 王舜燕;李蕾;吳兵華;;基于ID3分類算法的深度網(wǎng)絡(luò)爬蟲設(shè)計(jì)[J];現(xiàn)代圖書情報(bào)技術(shù);2008年06期

10 詹恒飛;楊岳湘;方宏;;Nutch分布式網(wǎng)絡(luò)爬蟲研究與優(yōu)化[J];計(jì)算機(jī)科學(xué)與探索;2011年01期

相關(guān)會(huì)議論文 前10條

1 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國(guó)第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國(guó)第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[A];2010年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2010年

3 李宇翔;李雙紅;李茹;;基于社區(qū)問答的問題相關(guān)度檢測(cè)研究[A];第六屆全國(guó)信息檢索學(xué)術(shù)會(huì)議論文集[C];2010年

4 彭亮;卓新建;黃瑋;范文慶;;基于網(wǎng)絡(luò)爬蟲的XSS漏洞掃描系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];第十三屆中國(guó)科協(xié)年會(huì)第11分會(huì)場(chǎng)-中國(guó)智慧城市論壇論文集[C];2011年

5 昝紅英;蘇玉梅;孫斌;俞士汶;;基于淺層分析的網(wǎng)頁相關(guān)度研究[A];語言計(jì)算與基于內(nèi)容的文本處理——全國(guó)第七屆計(jì)算語言學(xué)聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2003年

6 鄒永斌;陳興蜀;王文賢;;一個(gè)高性能Web資源收集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

7 侯丹青;李舟軍;鄒蘊(yùn)珂;;一種跨站腳本漏洞檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集（第二十四卷）[C];2009年

8 劉凡平;高艷華;于炯;張偉;;基于關(guān)鍵決策方法的站內(nèi)搜索研究與實(shí)現(xiàn)[A];2010年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集[C];2010年

9 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評(píng)論信息的挖掘[A];內(nèi)容計(jì)算的研究與應(yīng)用前沿——第九屆全國(guó)計(jì)算語言學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

10 胡樂江;;基于風(fēng)險(xiǎn)投資家盡職調(diào)查的項(xiàng)目選擇方法[A];2002年中國(guó)管理科學(xué)學(xué)術(shù)會(huì)議論文集[C];2002年

相關(guān)重要報(bào)紙文章 前10條

1 世紀(jì)證券綜合研究所 劉昆;業(yè)績(jī)與倉位變動(dòng)相關(guān)度不高[N];證券時(shí)報(bào);2006年

2 本報(bào)評(píng)論員 戎國(guó)彭;股票與期貨,哪個(gè)離你更近？[N];杭州日?qǐng)?bào);2008年

3 聯(lián)合證券 王慧;中小板保持強(qiáng)勢(shì)[N];中國(guó)證券報(bào);2008年

4 李云林;美國(guó)債券市場(chǎng)的六個(gè)特點(diǎn)[N];學(xué)習(xí)時(shí)報(bào);2007年

5 本報(bào)記者 豐捷;高校需要準(zhǔn)確定位[N];光明日?qǐng)?bào);2009年

6 吉寶飛;新年度棉價(jià)要看八大因素[N];中華合作時(shí)報(bào);2008年

7 蔣瑛琨　彭艷;震蕩市中的ETF選擇[N];上海證券報(bào);2007年

8 中信建投期貨 孫曉飛邋錢燦;臺(tái)、港股市大幅振蕩 期現(xiàn)走勢(shì)基本一致[N];期貨日?qǐng)?bào);2007年

9 王妍;藍(lán)籌發(fā)力 業(yè)績(jī)的作用有多大[N];金融時(shí)報(bào);2008年

10 李俊;背離原油 國(guó)際糖價(jià)跟著黃金走[N];第一財(cái)經(jīng)日?qǐng)?bào);2008年

相關(guān)博士學(xué)位論文 前10條

1 楊建波;基于多小波及遺傳算法的數(shù)字水印技術(shù)研究[D];吉林大學(xué);2005年

2 曲衛(wèi)民;中文XML信息檢索系統(tǒng)的研究[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2004年

3 馮登國(guó);頻譜理論及其在通信保密技術(shù)中的應(yīng)用[D];西安電子科技大學(xué);1995年

4 肖仕武;同步發(fā)電機(jī)定子繞組內(nèi)部故障暫態(tài)仿真及其應(yīng)用的研究[D];華北電力大學(xué)（北京）;2003年

5 洪宇;基于語義結(jié)構(gòu)和時(shí)序特征的話題檢測(cè)與跟蹤技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2009年

6 楊為民;基于場(chǎng)論的信息檢索模型的研究[D];安徽大學(xué);2007年

7 鐘茂生;基于內(nèi)容相關(guān)度計(jì)算的文本結(jié)構(gòu)分析方法研究[D];上海交通大學(xué);2010年

8 張友華;面向智能服務(wù)的Web內(nèi)容計(jì)算研究與應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

9 白巖;基于本體的移動(dòng)Agent通信技術(shù)研究[D];吉林大學(xué);2006年

10 徐慧明;可識(shí)別潮流轉(zhuǎn)移的廣域后備保護(hù)及其控制策略研究[D];華北電力大學(xué)（北京）;2007年

相關(guān)碩士學(xué)位論文 前10條

1 王攀;主題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2007年

2 龔秋艷;并行網(wǎng)絡(luò)爬蟲設(shè)計(jì)與實(shí)現(xiàn)[D];華東師范大學(xué);2010年

3 黃曉鵬;基于網(wǎng)絡(luò)爬蟲技術(shù)的內(nèi)容探測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2010年

4 夏亮;主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究與實(shí)現(xiàn)[D];北京化工大學(xué);2010年

5 么士宇;基于分布式計(jì)算的網(wǎng)絡(luò)爬蟲技術(shù)研究[D];大連海事大學(xué);2011年

6 趙艷;基于網(wǎng)絡(luò)爬蟲的跨站腳本漏洞動(dòng)態(tài)檢測(cè)技術(shù)研究[D];西南交通大學(xué);2011年

7 姚永祥;基于XTM的政務(wù)知識(shí)導(dǎo)航系統(tǒng)的研究與實(shí)現(xiàn)[D];大連理工大學(xué);2006年

8 李艷群;網(wǎng)絡(luò)教育資源的建設(shè)及查詢方法研究[D];山東師范大學(xué);2005年

9 張正龍;基于LUCENE的主題搜索引擎研究與實(shí)現(xiàn)[D];重慶大學(xué);2008年

10 劉金;模塊化設(shè)計(jì)在中央空調(diào)產(chǎn)品項(xiàng)目開發(fā)中的應(yīng)用[D];上海交通大學(xué);2009年

，

本文編號(hào)：2420723