發(fā)布時間：2018-05-16 17:37

  本文選題：Hadoop + 網(wǎng)絡(luò)爬蟲��； 參考：《吉林工程技術(shù)師范學院學報》2014年08期

【摘要】：網(wǎng)絡(luò)爬蟲一般從一個起始網(wǎng)頁開始,讀取網(wǎng)頁的內(nèi)容和網(wǎng)頁中的鏈接,依次循環(huán)下去,直到找到此網(wǎng)頁所有的鏈接網(wǎng)頁為止;當要爬取的數(shù)據(jù)量比較大時,傳統(tǒng)的技術(shù)存在一定弊端,而Hadoop開源云計算框架在數(shù)據(jù)采集方面會有一定的優(yōu)勢。在介紹Hadoop云計算框架的基礎(chǔ)上,本文闡述網(wǎng)絡(luò)爬蟲的原理,并實現(xiàn)基于Hadoop的網(wǎng)絡(luò)爬蟲。
[Abstract]:Web crawlers generally start with a starting page, read the contents of the page and the links in the page, and loop through until they find all the linked pages of the page; when the amount of data to crawl is relatively large, The traditional technology has some disadvantages, and Hadoop open source cloud computing framework will have some advantages in data acquisition. Based on the introduction of Hadoop cloud computing framework, this paper describes the principle of web crawler and implements Hadoop based web crawler.
【作者單位】： 南通航運職業(yè)技術(shù)學院管理信息系;
【分類號】：TP393.092;TP391.3

【相似文獻】

相關(guān)期刊論文 前10條

1 陳哲;;垂直搜索中網(wǎng)頁抓取技術(shù)的研究[J];科技信息;2009年22期

2 王舜燕;李蕾;吳兵華;;基于ID3分類算法的深度網(wǎng)絡(luò)爬蟲設(shè)計[J];現(xiàn)代圖書情報技術(shù);2008年06期

3 詹恒飛;楊岳湘;方宏;;Nutch分布式網(wǎng)絡(luò)爬蟲研究與優(yōu)化[J];計算機科學與探索;2011年01期

4 王芳;陳海建;;深入解析Web主題爬蟲的關(guān)鍵性原理[J];微型電腦應(yīng)用;2011年07期

5 劉潔清;吳京慧;;面向主題的個人實時搜索引擎的設(shè)計與實現(xiàn)[J];現(xiàn)代圖書情報技術(shù);2006年05期

6 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲[J];硅谷;2009年04期

7 王星;劉李敦;;基于移動代理(Agent)的智能爬蟲系統(tǒng)的設(shè)計和實現(xiàn)[J];科技資訊;2007年28期

8 趙靖華;;網(wǎng)絡(luò)性能指標預測法指導任務(wù)分配的分布式網(wǎng)頁信息獲取技術(shù)[J];通化師范學院學報;2008年10期

9 鄒海亮;孫莉;;可定制的聚焦網(wǎng)絡(luò)爬蟲[J];電子科技;2009年01期

10 陶榮;陳燕;;基于Lucene小型搜索引擎的研究與實現(xiàn)[J];大眾科技;2010年02期

相關(guān)會議論文 前9條

1 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[A];2010年全國通信安全學術(shù)會議論文集[C];2010年

2 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國第21屆計算機技術(shù)與應(yīng)用學術(shù)會議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學術(shù)會議論文集[C];2010年

3 鄒永斌;陳興蜀;王文賢;;一個高性能Web資源收集系統(tǒng)的設(shè)計與實現(xiàn)[A];2008'中國信息技術(shù)與應(yīng)用學術(shù)論壇論文集（二）[C];2008年

4 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評論信息的挖掘[A];內(nèi)容計算的研究與應(yīng)用前沿——第九屆全國計算語言學學術(shù)會議論文集[C];2007年

5 劉凡平;高艷華;于炯;張偉;;基于關(guān)鍵決策方法的站內(nèi)搜索研究與實現(xiàn)[A];2010年全國開放式分布與并行計算機學術(shù)會議論文集[C];2010年

6 樸星海;趙鐵軍;鄭德權(quán);張迪;;面向Blog的網(wǎng)絡(luò)爬行器設(shè)計與實現(xiàn)[A];中文信息處理前沿進展——中國中文信息學會二十五周年學術(shù)會議論文集[C];2006年

7 栗振江;楊洋;李麗;;智能問答系統(tǒng)[A];2011年全國通信安全學術(shù)會議論文集[C];2011年

8 安倫;周斌;賈焰;;在線Web挖掘中的計算資源動態(tài)平衡[A];全國計算機安全學術(shù)交流會論文集·第二十五卷[C];2010年

9 單大甫;周斌;黃九鳴;;基于CAAR算法的文本傾向性分析技術(shù)[A];全國計算機安全學術(shù)交流會論文集·第二十五卷[C];2010年

相關(guān)博士學位論文 前1條

1 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學;2011年

相關(guān)碩士學位論文 前10條

1 趙茉莉;網(wǎng)絡(luò)爬蟲系統(tǒng)的研究與實現(xiàn)[D];電子科技大學;2013年

2 芮虎;比價購物平臺中網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[D];華東理工大學;2013年

3 龔秋艷;并行網(wǎng)絡(luò)爬蟲設(shè)計與實現(xiàn)[D];華東師范大學;2010年

4 趙鵬程;分布式書籍網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與實現(xiàn)[D];西南交通大學;2014年

5 段兵營;搜索引擎中網(wǎng)絡(luò)爬蟲的研究與實現(xiàn)[D];西安電子科技大學;2014年

6 張大偉;基于動態(tài)概念圖的主題網(wǎng)絡(luò)爬蟲的設(shè)計與分析[D];遼寧科技大學;2013年

7 王毅桐;分布式網(wǎng)絡(luò)爬蟲技術(shù)研究與實現(xiàn)[D];電子科技大學;2012年

8 黃曉鵬;基于網(wǎng)絡(luò)爬蟲技術(shù)的內(nèi)容探測系統(tǒng)設(shè)計與實現(xiàn)[D];北京郵電大學;2010年

9 么士宇;基于分布式計算的網(wǎng)絡(luò)爬蟲技術(shù)研究[D];大連海事大學;2011年

10 王洪威;主題網(wǎng)絡(luò)爬蟲的分析與設(shè)計[D];北京郵電大學;2013年

，

本文編號：1897791