【摘要】：利用Web頁(yè)面的采集序位和被檢索頁(yè)面的相關(guān)信息和主題,使得以主題為分塊的網(wǎng)絡(luò)爬蟲算法,能夠盡可能多地把整個(gè)Web按照主題為依據(jù)進(jìn)行分塊整合,可以采用對(duì)URL定位信息,提高了頁(yè)面的高效檢索能力。仿真實(shí)驗(yàn)中表明,提出的主題相關(guān)爬蟲算法能夠跨越BBS中URL網(wǎng)頁(yè)中的斷裂帶,提高了URL網(wǎng)頁(yè)的召回率,也不至于因?yàn)榫W(wǎng)頁(yè)的斷裂而中止檢索。算法精度分析表明,誤判點(diǎn)都在等分線附近徘徊,偏差不大,表明算法精度較高。
[Abstract]:Based on the collection order of Web pages and the relevant information and themes of the retrieved pages, the web crawler algorithm based on the topic can integrate the whole Web into blocks according to the theme as much as possible, and can use the URL location information. Improved the efficient retrieval ability of the page. The simulation results show that the proposed algorithm can cross the fault bands of URL pages in BBS, improve the recall rate of URL pages, and not stop the retrieval because of the breaking of web pages. The accuracy analysis of the algorithm shows that the error points are hovering around the isobaric line, and the deviation is small, which indicates that the accuracy of the algorithm is high.
【作者單位】： 安陽(yáng)師范學(xué)院計(jì)算機(jī)與信息工程學(xué)院;安陽(yáng)師范學(xué)院公共計(jì)算機(jī)教學(xué)部;
【分類號(hào)】：TP393.092;TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 劉佐達(dá);張久嶺;陳茂科;李星;;一種面向BBS信息檢索的主題網(wǎng)絡(luò)爬蟲算法[J];鄭州大學(xué)學(xué)報(bào)(理學(xué)版);2010年02期

【共引文獻(xiàn)】

相關(guān)期刊論文 前3條

1 耿向華;潘寧;;引入或然狀態(tài)優(yōu)化控制的網(wǎng)絡(luò)文本特征挖掘[J];科技通報(bào);2014年06期

2 康鳳;蔣小惠;馮梅;;網(wǎng)絡(luò)偽裝隱形文本特征檢測(cè)及數(shù)據(jù)挖掘方法[J];科技通報(bào);2014年04期

3 羅蓉;;基于異層迭代算法的網(wǎng)絡(luò)隱晦詞匯深挖技術(shù)[J];科技通報(bào);2014年04期

相關(guān)碩士學(xué)位論文 前2條

1 陳琳;網(wǎng)絡(luò)輿論領(lǐng)袖培育關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2011年

2 劉邵博;社會(huì)網(wǎng)絡(luò)新媒體的信息獲取與情感分類關(guān)鍵技術(shù)研究及實(shí)現(xiàn)[D];河北科技大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 李曉亞;赫楓齡;左萬(wàn)利;;基于網(wǎng)頁(yè)分塊技術(shù)主題爬行器的實(shí)現(xiàn)[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2007年06期

2 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2007年10期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 丁紀(jì)云,蔡春娥;利用構(gòu)造數(shù)據(jù)集評(píng)定數(shù)據(jù)挖掘過(guò)程的方法[J];湖南廣播電視大學(xué)學(xué)報(bào);2001年02期

2 任承業(yè),羅偉其;校園信息系統(tǒng)中CRM與數(shù)據(jù)挖掘的結(jié)合和應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2003年13期

3 王艷;數(shù)據(jù)挖掘在數(shù)字圖書館中的應(yīng)用[J];情報(bào)科學(xué);2003年02期

4 邵紅全,趙茜;用SQL Server2000實(shí)現(xiàn)數(shù)據(jù)挖掘的技術(shù)與策略[J];電腦開發(fā)與應(yīng)用;2003年04期

5 耿慶鵬,盧子芳;利用數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)對(duì)電信行業(yè)用戶欺詐行為的預(yù)測(cè)[J];電信快報(bào);2003年10期

6 蔣良孝,蔡之華;基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘研究[J];計(jì)算技術(shù)與自動(dòng)化;2003年03期

7 葉靜,蔡之華;遙感圖像中的數(shù)據(jù)挖掘應(yīng)用概述[J];計(jì)算機(jī)與現(xiàn)代化;2003年10期

8 黃解軍,萬(wàn)幼川,潘和平;銀行客戶關(guān)系管理與數(shù)據(jù)挖掘的應(yīng)用[J];計(jì)算機(jī)工程與設(shè)計(jì);2003年07期

9 崔強(qiáng),朱衛(wèi)東;基于數(shù)據(jù)挖掘的鐵路機(jī)務(wù)段成本控制系統(tǒng)[J];鐵路計(jì)算機(jī)應(yīng)用;2003年01期

10 楊思春;基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘技術(shù)分析研究[J];微機(jī)發(fā)展;2003年09期

相關(guān)會(huì)議論文 前10條

1 郭學(xué)軍;陳曉云;;粗集方法在數(shù)據(jù)挖掘中的應(yīng)用[A];第十六屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1999年

2 徐慧;;基于Web的文獻(xiàn)數(shù)據(jù)挖掘[A];第十七屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2000年

3 孫迎;;醫(yī)院信息的數(shù)據(jù)挖掘與方法研究[A];中華醫(yī)學(xué)會(huì)第十次全國(guó)醫(yī)學(xué)信息學(xué)術(shù)會(huì)議論文匯編[C];2004年

4 薛曉東;李海玲;;數(shù)據(jù)挖掘的客戶關(guān)系管理應(yīng)用[A];科技、工程與經(jīng)濟(jì)社會(huì)協(xié)調(diào)發(fā)展——河南省第四屆青年學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2004年

5 郭建文;黃燕;印鑒;楊小波;梁兆輝;;建立中風(fēng)病“陰陽(yáng)類證”辨證規(guī)范的數(shù)據(jù)挖掘研究[A];中華醫(yī)學(xué)會(huì)第十三次全國(guó)神經(jīng)病學(xué)學(xué)術(shù)會(huì)議論文匯編[C];2010年

6 薛魯華;張楠;;聚類分析在Web數(shù)據(jù)挖掘中的應(yīng)用[A];北京市第十三次統(tǒng)計(jì)科學(xué)討論會(huì)論文選編[C];2006年

7 朱揚(yáng)勇;黃超;;基于多維模型的交互式數(shù)據(jù)挖掘框架[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

8 陳濤;胡學(xué)鋼;陳秀美;;基于數(shù)據(jù)挖掘的教學(xué)質(zhì)量評(píng)價(jià)體系分析[A];全國(guó)第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國(guó)第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

9 王星;謝邦昌;戴穩(wěn)勝;;數(shù)據(jù)挖掘在保險(xiǎn)業(yè)中的應(yīng)用[A];北京市第十二次統(tǒng)計(jì)科學(xué)討論會(huì)論文選編[C];2003年

10 郭建文;黃燕;印鑒;楊小波;梁兆輝;;建立中風(fēng)病陰陽(yáng)類證辨證規(guī)范的數(shù)據(jù)挖掘研究[A];2010中國(guó)醫(yī)師協(xié)會(huì)中西醫(yī)結(jié)合醫(yī)師大會(huì)摘要集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 李開宇　黃建軍 田長(zhǎng)春;把“數(shù)據(jù)挖掘”作用發(fā)揮出來(lái)[N];中國(guó)國(guó)防報(bào);2009年

2 華萊士;“數(shù)據(jù)挖掘”讓銀行贏利更多[N];國(guó)際金融報(bào);2003年

3 記者　晏燕;數(shù)據(jù)挖掘讓決策者告別“拍腦袋”[N];科技日?qǐng)?bào);2006年

4 □中國(guó)電信股份有限公司北京研究院 張舒博 □北京郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 牛琨;走出數(shù)據(jù)挖掘的誤區(qū)[N];人民郵電;2006年

5 張立明;數(shù)據(jù)挖掘之道[N];網(wǎng)絡(luò)世界;2003年

6 中圣信息技術(shù)有限公司 李輝;數(shù)據(jù)挖掘在CRM中的作用[N];中國(guó)計(jì)算機(jī)報(bào);2001年

7 田紅生;數(shù)據(jù)挖掘在CRM中的應(yīng)用[N];中國(guó)經(jīng)濟(jì)時(shí)報(bào);2002年

8 王廣宇;數(shù)據(jù)挖掘 加速銀行CRM一體化[N];中國(guó)計(jì)算機(jī)報(bào);2004年

9 周蓉蓉;數(shù)據(jù)挖掘需要點(diǎn)想像力[N];計(jì)算機(jī)世界;2004年

10 張舒博;數(shù)據(jù)挖掘 提升品牌的好幫手[N];首都建設(shè)報(bào);2009年

相關(guān)博士學(xué)位論文 前10條

1 孫麗;工藝知識(shí)管理及其若干關(guān)鍵技術(shù)研究[D];大連交通大學(xué);2005年

2 胡志坤;復(fù)雜有色金屬熔煉過(guò)程操作模式智能優(yōu)化方法研究[D];中南大學(xué);2005年

3 劉革平;基于數(shù)據(jù)挖掘的遠(yuǎn)程學(xué)習(xí)評(píng)價(jià)研究[D];西南師范大學(xué);2005年

4 劉寨華;基于臨床數(shù)據(jù)分析的病毒性心肌炎證候演變規(guī)律研究[D];黑龍江中醫(yī)藥大學(xué);2006年

5 王川;基因芯片數(shù)據(jù)管理及數(shù)據(jù)挖掘[D];中國(guó)科學(xué)院研究生院（上海生命科學(xué)研究院）;2004年

6 王濤;挖掘序列模式和結(jié)構(gòu)化模式的精簡(jiǎn)集[D];華中科技大學(xué);2006年

7 郭斯羽;動(dòng)態(tài)數(shù)據(jù)中的數(shù)據(jù)挖掘研究[D];浙江大學(xué);2002年

8 李旭升;貝葉斯網(wǎng)絡(luò)分類模型研究及其在信用評(píng)估中的應(yīng)用[D];西南交通大學(xué);2007年

9 劉東升;面向連鎖零售企業(yè)的客戶關(guān)系管理模型（R-CRM）研究[D];浙江工商大學(xué);2008年

10 余紅;網(wǎng)絡(luò)時(shí)政論壇輿論領(lǐng)袖研究[D];華中科技大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 廖賽恩;養(yǎng)生方數(shù)據(jù)挖掘分析系統(tǒng)的研制[D];湖南中醫(yī)藥大學(xué);2010年

2 李坤然;數(shù)據(jù)挖掘在股市趨勢(shì)預(yù)測(cè)的應(yīng)用研究[D];中南林業(yè)科技大學(xué);2008年

3 鄭宏;數(shù)據(jù)挖掘可視化技術(shù)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

4 杜金剛;數(shù)據(jù)挖掘在電信客戶關(guān)系管理及數(shù)據(jù)業(yè)務(wù)營(yíng)銷中的應(yīng)用[D];北京郵電大學(xué);2010年

5 徐路;基于決策樹的數(shù)據(jù)挖掘算法的研究及其在實(shí)際中的應(yīng)用[D];電子科技大學(xué);2009年

6 梁小鷗;數(shù)據(jù)挖掘在高職教學(xué)管理中的應(yīng)用[D];華南理工大學(xué);2011年

7 王浩;數(shù)據(jù)挖掘在上海市職業(yè)能力考試院招錄考試優(yōu)化管理項(xiàng)目中的運(yùn)用研究[D];華東理工大學(xué);2012年

8 黎衛(wèi)英;數(shù)據(jù)挖掘在中職幼教課程改革中的應(yīng)用[D];福建師范大學(xué);2009年

9 張煜輝;數(shù)據(jù)挖掘和SPC在生產(chǎn)過(guò)程質(zhì)量控制中應(yīng)用研究[D];上海交通大學(xué);2009年

10 劉華敏;數(shù)據(jù)挖掘在高職院校學(xué)生成績(jī)分析中的應(yīng)用[D];安徽大學(xué);2011年

，

本文編號(hào)：2127636