【摘要】：針對目前Web信息挖掘中存在的信息覆蓋率較低的問題,對網(wǎng)絡(luò)爬蟲系統(tǒng)進(jìn)行研究,提出一種針對深度網(wǎng)絡(luò)的、基于ID3分類算法的Web頁面收集方法。對Web頁面的特征進(jìn)行分析、處理和分類,提取包含深度網(wǎng)頁的表單,通過自動提交這些表單來進(jìn)行更深和更廣的頁面獲取,實驗表明該方法可以有效減少現(xiàn)有搜索引擎的盲區(qū),改善搜索結(jié)果。
[Abstract]:Aiming at the problem of low information coverage in Web information mining, this paper studies the web crawler system, and proposes a Web page collection method based on ID3 classification algorithm for deep network. This paper analyzes, processes and classifies the features of Web pages, extracts the forms with depth pages, and automatically submits these forms to obtain deeper and wider pages. Experiments show that this method can effectively reduce the blind spots of existing search engines. Improve search results.
【作者單位】： 武漢理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院;
【分類號】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 馬瑜;王有剛;;ID3算法應(yīng)用研究[J];信息技術(shù);2006年12期

2 曲開社,成文麗,王俊紅;ID3算法的一種改進(jìn)算法[J];計算機工程與應(yīng)用;2003年25期

3 婁卓男,吳志強;近幾年國外隱蔽網(wǎng)絡(luò)研究概述[J];圖書情報工作;2004年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王永梅;胡學(xué)鋼;;決策樹中ID3算法的研究[J];安徽大學(xué)學(xué)報(自然科學(xué)版);2011年03期

2 李用江,回雁雁;基于ADO.NET的海洋經(jīng)濟(jì)生物MIS系統(tǒng)[J];安陽師范學(xué)院學(xué)報;2004年05期

3 蔡茂蓉;;基于VRML和Java的遠(yuǎn)程虛擬教學(xué)系統(tǒng)[J];兵工自動化;2005年06期

4 張輝;吳輝;劉瑞;周剛;;科技資源信息檢索關(guān)鍵技術(shù)[J];北京航空航天大學(xué)學(xué)報;2006年09期

5 高影繁;馬潤波;劉玉樹;;一種快速文本歸類算法的設(shè)計與實現(xiàn)[J];北京理工大學(xué)學(xué)報;2006年12期

6 朱學(xué)冬;胡平;;基于最優(yōu)二叉樹的多故障分類器的設(shè)計[J];北京聯(lián)合大學(xué)學(xué)報(自然科學(xué)版);2009年02期

7 李耀輝,劉保軍;基于Hash散列分布的數(shù)字信息并行存貯[J];燕山大學(xué)學(xué)報;2004年01期

8 張蕾;李小平;張曉華;;基于數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的電力企業(yè)決策支持系統(tǒng)[J];電力科學(xué)與工程;2005年04期

9 王愛蓮;秦月明;;一種全文檢索試驗系統(tǒng)的開發(fā)與實現(xiàn)[J];電腦開發(fā)與應(yīng)用;2008年12期

10 王桂芹;黃道;;決策樹算法研究及應(yīng)用[J];電腦應(yīng)用技術(shù);2008年01期

相關(guān)會議論文 前6條

1 來旭;李國輝;徐蕊;;基于云圖和雨量的關(guān)聯(lián)規(guī)則挖掘[A];第一屆建立和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2005）論文集[C];2005年

2 劉東升;;基于Mobile Agent的分布式ID3挖掘模型[A];2005年全國開放式分布與并行計算學(xué)術(shù)會議論文集[C];2005年

3 郭承霞;王愛繼;陳慶海;;基于領(lǐng)域本體的智能信息檢索模型研究[A];2009國際信息技術(shù)與應(yīng)用論壇論文集(上)[C];2009年

4 維尼拉·木沙江;吳俊森;吐爾根·依布拉音;;維吾爾文搜索引擎的倒排索引設(shè)計與實現(xiàn)[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會論文集[C];2007年

5 康海燕;樊孝忠;馬禮;;自然語言理解的檢索技術(shù)在數(shù)字圖書館中的應(yīng)用[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2003年

6 劉廣艷;孫瑩;黃保海;林培光;;基于本體方法的改進(jìn)VSM語義檢索模型[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2007年

相關(guān)博士學(xué)位論文 前10條

1 常春;Ontology在農(nóng)業(yè)信息管理中的構(gòu)建和轉(zhuǎn)化[D];中國農(nóng)業(yè)科學(xué)院;2004年

2 劉云峰;基于潛在語義分析的中文概念檢索研究[D];華中科技大學(xué);2005年

3 柳偉;易錯信道下基于內(nèi)容的差錯控制方法研究[D];國防科學(xué)技術(shù)大學(xué);2005年

4 宋峻峰;面向語義Web的領(lǐng)域本體表示、推理、集成及其應(yīng)用研究[D];國防科學(xué)技術(shù)大學(xué);2006年

5 胡熠;面向信息檢索的文本內(nèi)容分析[D];上海交通大學(xué);2007年

6 郭勇;基于語義的網(wǎng)絡(luò)知識獲取相關(guān)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

7 李華;面向知識服務(wù)的傳統(tǒng)農(nóng)具數(shù)字博物館設(shè)計與構(gòu)建[D];南京農(nóng)業(yè)大學(xué);2008年

8 付暢儉;基于內(nèi)容的視頻結(jié)構(gòu)挖掘方法研究[D];國防科學(xué)技術(shù)大學(xué);2008年

9 吳瓊;面向真實性檢測的數(shù)字圖像盲取證方法研究[D];國防科學(xué)技術(shù)大學(xué);2008年

10 欒悉道;多媒體數(shù)據(jù)語義建模及應(yīng)用研究[D];國防科學(xué)技術(shù)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 郭慧;數(shù)據(jù)挖掘技術(shù)對放射工作人員知覺壓力因素分析[D];鄭州大學(xué);2010年

2 韓成勇;高校學(xué)評教決策支持系統(tǒng)設(shè)計與實現(xiàn)[D];蘇州大學(xué);2010年

3 張睿;ID3決策樹算法分析與改進(jìn)[D];蘭州大學(xué);2010年

4 楊洋;企業(yè)內(nèi)容管理系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2010年

5 牛建平;基于數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)的油田生產(chǎn)決策分析研究[D];電子科技大學(xué);2010年

6 王曉慶;基于RBF網(wǎng)絡(luò)的文本自動分類的研究[D];江西師范大學(xué);2003年

7 周祥東;視頻特征提取和視頻鏡頭分析[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

8 湯義;基于MPEG-7標(biāo)準(zhǔn)的視頻描述與檢索[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

9 周夢麟;基于電信數(shù)據(jù)挖掘的研究與應(yīng)用[D];浙江工業(yè)大學(xué);2004年

10 董志勇;Web信息檢索中基于超鏈接的網(wǎng)頁評估算法的研究[D];河海大學(xué);2004年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 曲開社,成文麗,王俊紅;ID3算法的一種改進(jìn)算法[J];計算機工程與應(yīng)用;2003年25期

2 郭景峰,米浦波,劉國華;決策樹算法的并行性研究[J];計算機工程;2002年08期

3 婁臻亮,張永清;基于ID3算法的實例學(xué)習(xí)及其在注塑模澆口選型中的應(yīng)用[J];模具技術(shù);1997年06期

4 滕皓,趙國毅,韓保勝;改進(jìn)決策樹的研究[J];濟(jì)南大學(xué)學(xué)報(自然科學(xué)版);2002年03期

5 楊明,張載鴻;決策樹學(xué)習(xí)算法ID3的研究[J];微機發(fā)展;2002年05期

6 李國偉,周顏,李鉅;ID3算法在碩士研究生報名中的應(yīng)用[J];中原工學(xué)院學(xué)報;2005年03期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐遠(yuǎn)純,盛昭瀚,柳炳祥;一種基于決策樹的客戶流失危機分析方法[J];計算機與現(xiàn)代化;2004年08期

2 李藝明 ,張應(yīng)利;數(shù)據(jù)挖掘在移動通信業(yè)客戶流失管理中的應(yīng)用[J];廣東通信技術(shù);2005年03期

3 夏偉;;決策樹分類算法-ID3的改進(jìn)[J];黑龍江科技信息;2009年07期

4 李世娟;馬驥;白鷺;;基于改進(jìn)ID3算法的決策樹構(gòu)建[J];沈陽大學(xué)學(xué)報;2009年06期

5 陳偉;;改進(jìn)的ID3算法構(gòu)造決策樹[J];淮南師范學(xué)院學(xué)報;2010年03期

6 鄭力明;易平;;基于HTMLParser信息提取的網(wǎng)絡(luò)爬蟲設(shè)計[J];微計算機信息;2009年15期

7 陳麗君;;深層網(wǎng)網(wǎng)絡(luò)爬蟲設(shè)計[J];計算機與信息技術(shù);2009年Z2期

8 陳哲;;垂直搜索中網(wǎng)頁抓取技術(shù)的研究[J];科技信息;2009年22期

9 賀財平;覃事剛;劉建勛;;Web服務(wù)搜索引擎的設(shè)計與實現(xiàn)[J];計算機應(yīng)用與軟件;2011年01期

10 段玉春;朱曉艷;孫玉強;;一種改進(jìn)的ID3算法[J];南陽師范學(xué)院學(xué)報;2006年09期

相關(guān)會議論文 前10條

1 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[A];2010年全國通信安全學(xué)術(shù)會議論文集[C];2010年

2 高暉;陳國勛;;IDF算法——ID3算法的模糊化改進(jìn)[A];模糊集理論與應(yīng)用——98年中國模糊數(shù)學(xué)與模糊系統(tǒng)委員會第九屆年會論文選集[C];1998年

3 彭亮;卓新建;黃瑋;范文慶;;基于網(wǎng)絡(luò)爬蟲的XSS漏洞掃描系統(tǒng)的設(shè)計與實現(xiàn)[A];第十三屆中國科協(xié)年會第11分會場-中國智慧城市論壇論文集[C];2011年

4 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國第21屆計算機技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2010年

5 卜亞杰;胡朝舉;;一種改進(jìn)的ID3算法[A];第一屆中國高校通信類院系學(xué)術(shù)研討會論文集[C];2007年

6 鄒永斌;陳興蜀;王文賢;;一個高性能Web資源收集系統(tǒng)的設(shè)計與實現(xiàn)[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

7 王楠;慕曉冬;王寧燕;宋洪軍;李佳晨;張陽子;;針對多線程架構(gòu)的決策樹查詢算法優(yōu)化及應(yīng)用[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

8 侯丹青;李舟軍;鄒蘊珂;;一種跨站腳本漏洞檢測系統(tǒng)的設(shè)計與實現(xiàn)[A];全國計算機安全學(xué)術(shù)交流會論文集（第二十四卷）[C];2009年

9 劉凡平;高艷華;于炯;張偉;;基于關(guān)鍵決策方法的站內(nèi)搜索研究與實現(xiàn)[A];2010年全國開放式分布與并行計算機學(xué)術(shù)會議論文集[C];2010年

10 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評論信息的挖掘[A];內(nèi)容計算的研究與應(yīng)用前沿——第九屆全國計算語言學(xué)學(xué)術(shù)會議論文集[C];2007年

相關(guān)重要報紙文章 前9條

1 王猛祥 徐明華;六度分隔：下一代網(wǎng)絡(luò)交際[N];中國計算機報;2004年

2 Victor;電子郵件跟蹤服務(wù)面世[N];人民郵電;2004年

3 伍裕標(biāo);網(wǎng)絡(luò)監(jiān)控STOP！[N];中國電腦教育報;2003年

4 商建剛;當(dāng)你電子郵件地址被拍賣（上）[N];中國計算機報;2001年

5 記者 郭麗君;封堵涉黃網(wǎng)站3500個[N];光明日報;2010年

6 記者 邵素宏;中移動新型撥測系統(tǒng)“掃黃”顯威力[N];人民郵電;2010年

7 馬季;網(wǎng)絡(luò)文學(xué)遭遇“版權(quán)困境”[N];人民日報海外版;2010年

8 記者 曹莉;泛華北(環(huán)渤海)工程信息共享平臺功能升級[N];中國建設(shè)報;2011年

9 上海 陳曦;谷歌之后，誰來制衡百度?[N];電腦報;2010年

相關(guān)博士學(xué)位論文 前4條

1 牛曉太;多模式智能談判支持系統(tǒng)的理論與方法研究[D];武漢大學(xué);2004年

2 陳苗;海量地學(xué)數(shù)據(jù)查詢優(yōu)化關(guān)鍵技術(shù)的研究[D];吉林大學(xué);2008年

3 吳永輝;面向?qū)I(yè)領(lǐng)域的網(wǎng)絡(luò)信息采集及主題檢測技術(shù)研究與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2010年

4 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 龔秋艷;并行網(wǎng)絡(luò)爬蟲設(shè)計與實現(xiàn)[D];華東師范大學(xué);2010年

2 黃曉鵬;基于網(wǎng)絡(luò)爬蟲技術(shù)的內(nèi)容探測系統(tǒng)設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2010年

3 么士宇;基于分布式計算的網(wǎng)絡(luò)爬蟲技術(shù)研究[D];大連海事大學(xué);2011年

4 趙艷;基于網(wǎng)絡(luò)爬蟲的跨站腳本漏洞動態(tài)檢測技術(shù)研究[D];西南交通大學(xué);2011年

5 郭海燕;搜索引擎中網(wǎng)絡(luò)爬蟲技術(shù)研究[D];西安電子科技大學(xué);2009年

6 張媚;Ajax友好的網(wǎng)絡(luò)爬蟲設(shè)計與實現(xiàn)[D];暨南大學(xué);2011年

7 龔勇;搜索引擎中網(wǎng)絡(luò)爬蟲的研究[D];武漢理工大學(xué);2010年

8 王佳;支持Ajax技術(shù)的主題網(wǎng)絡(luò)爬蟲系統(tǒng)研究與實現(xiàn)[D];北京交通大學(xué);2011年

9 宋婷;基于SVM的網(wǎng)絡(luò)爬蟲檢測研究與實現(xiàn)[D];天津大學(xué);2010年

10 成文麗;基于決策樹的數(shù)據(jù)挖掘算法的技術(shù)研究[D];太原理工大學(xué);2003年

，

本文編號：2333410