本文關(guān)鍵詞：網(wǎng)頁(yè)爬蟲技術(shù)的關(guān)鍵技術(shù)研究探索，由筆耕文化傳播整理發(fā)布。

【摘要】：互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,使得網(wǎng)絡(luò)上各種數(shù)據(jù)信息呈現(xiàn)出幾何增長(zhǎng)的趨勢(shì),以往搜索數(shù)據(jù)的工具越來(lái)越跟不上時(shí)代的潮流,查找效率低、成本高的缺陷日益凸顯。爬蟲技術(shù)實(shí)現(xiàn)所用到的算法是搜索引擎的關(guān)鍵技術(shù),算法性能的優(yōu)良決定著搜索引擎的搜索精度和搜索效率。對(duì)于互聯(lián)網(wǎng)中數(shù)據(jù)的數(shù)據(jù)量大、數(shù)據(jù)類型多、實(shí)時(shí)性要求高的特點(diǎn),對(duì)各種爬蟲算法的優(yōu)缺點(diǎn)進(jìn)行分析,該文設(shè)計(jì)使用多線程機(jī)制的爬蟲算法,可以提高網(wǎng)頁(yè)的查全率。
【作者單位】： 安徽電信工程有限責(zé)任公司;
【關(guān)鍵詞】： 爬蟲技術(shù) 網(wǎng)頁(yè)挖掘 多線程
【基金】：高等學(xué)校省級(jí)教學(xué)研究重點(diǎn)項(xiàng)目(2015jyxm136)
【分類號(hào)】：TP393.092;TP391.3
【正文快照】： 1引言現(xiàn)今,社會(huì)經(jīng)濟(jì)生活的各個(gè)方面變得越來(lái)越“互聯(lián)網(wǎng)化”,互聯(lián)網(wǎng)式經(jīng)濟(jì)貿(mào)易逐漸取代傳統(tǒng)的經(jīng)濟(jì)模式,互聯(lián)網(wǎng)金融市場(chǎng)的快速發(fā)展,在我國(guó)的經(jīng)濟(jì)結(jié)構(gòu)中形成了服務(wù)于互聯(lián)網(wǎng)金融的主流經(jīng)濟(jì)模式。致使各大商業(yè)銀行也更加積極地開創(chuàng)互聯(lián)網(wǎng)經(jīng)濟(jì)方面的業(yè)務(wù),也強(qiáng)化了實(shí)體經(jīng)濟(jì)的服務(wù)效率

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 白紅;;淺議Java多線程程序設(shè)計(jì)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年02期

2 田曉紅;國(guó)產(chǎn)多線程瀏覽器“七仙女”的靚點(diǎn)[J];電腦愛好者;2000年24期

3 謝謙,向國(guó)全;多線程串行通信實(shí)現(xiàn)技術(shù)[J];河南大學(xué)學(xué)報(bào)(自然科學(xué)版);2001年01期

4 margiex;;多線程中線程的同步及其應(yīng)用[J];中文信息;2002年02期

5 肖燁;楊智勇;;Java多線程程序設(shè)計(jì)入門[J];中文信息;2003年06期

6 蘇統(tǒng)華;;多線程串行通信系統(tǒng)的研究[J];中文信息;2003年07期

7 崔立劍;吳平;;Java多線程設(shè)計(jì)模式研究[J];計(jì)算機(jī)與現(xiàn)代化;2006年11期

8 甘群文;;C#多線程同步與異步的實(shí)現(xiàn)[J];電腦開發(fā)與應(yīng)用;2009年09期

9 王沛禮;;高職學(xué)生如何掌握J(rèn)ava多線程同步技術(shù)[J];科技信息;2010年03期

10 盧海軍;;最小的多線程框架[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2010年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 姚鐸;劉亞萍;;一種基于多線程的BGP策略并行模型的研究方法[A];2009年研究生學(xué)術(shù)交流會(huì)通信與信息技術(shù)論文集[C];2009年

2 劉陽(yáng);李孝輝;;多線程版本的串口讀寫技術(shù)研究[A];第三屆全國(guó)虛擬儀器大會(huì)論文集[C];2008年

3 董光波;吳寧生;高效;曾慶虎;楊進(jìn);溫京;;一種組件式多線程網(wǎng)絡(luò)應(yīng)用架構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第六分冊(cè)）[中南大學(xué)學(xué)報(bào)（增刊）][C];2009年

4 肖靜靜;李雙峰;彭智勇;;用多線程方式優(yōu)化PostgreSQL的查詢處理[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

5 高齊新;揚(yáng)金柱;趙大哲;劉積仁;;基于多線程的三維醫(yī)學(xué)影像的重建[A];第十四屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2008年

6 聞建芬;何加銘;曾興斌;陳靜;;P2P網(wǎng)絡(luò)資源多線程傳輸改進(jìn)機(jī)制[A];浙江省電子學(xué)會(huì)2010學(xué)術(shù)年會(huì)論文集[C];2010年

7 王楠;慕曉冬;王寧燕;宋洪軍;李佳晨;張陽(yáng)子;;針對(duì)多線程架構(gòu)的決策樹查詢算法優(yōu)化及應(yīng)用[A];中國(guó)電子學(xué)會(huì)第十六屆信息論學(xué)術(shù)年會(huì)論文集[C];2009年

8 梁志威;;用Java語(yǔ)言實(shí)現(xiàn)藍(lán)牙聊天平臺(tái)[A];促進(jìn)企業(yè)信息化進(jìn)程——第九屆中國(guó)Java技術(shù)及應(yīng)用交流大會(huì)文集[C];2006年

9 霍利鋒;白鳳娥;;基于多線程的移動(dòng)短信平臺(tái)設(shè)計(jì)[A];AECC專題學(xué)術(shù)研討會(huì)論文集[C];2007年

10 袁小龍;劉增才;李曉霞;郭力;;基于XML的半結(jié)構(gòu)化化學(xué)信息提取系統(tǒng)的重構(gòu)與優(yōu)化[A];第九屆全國(guó)計(jì)算（機(jī)）化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2007年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 ;為何不能進(jìn)行多線程下載文件？[N];電腦報(bào);2001年

2 郭長(zhǎng)佑;多核與多線程——差別到底在哪里？[N];電子資訊時(shí)報(bào);2006年

3 ;網(wǎng)絡(luò)業(yè)未來(lái)12件大事(下)[N];網(wǎng)絡(luò)世界;2007年

4 nfy;IE6也能實(shí)現(xiàn)多線程下載[N];電腦報(bào);2002年

5 武漢 Tianyi;創(chuàng)建簡(jiǎn)單的多線程程序[N];電腦報(bào);2001年

6 CPW記者 凡妮;Sun年末奉碩果 預(yù)示復(fù)蘇在即[N];電腦商報(bào);2005年

7 張志剛;多線程走進(jìn)網(wǎng)絡(luò)[N];中國(guó)計(jì)算機(jī)報(bào);2006年

8 凡妮;Sun 2009財(cái)年二季度財(cái)報(bào)總體好于預(yù)期[N];電腦商報(bào);2009年

9 趙長(zhǎng)林邋姜建華;Sun:“芯”如潮涌[N];中國(guó)計(jì)算機(jī)報(bào);2007年

10 計(jì)算機(jī)世界實(shí)驗(yàn)室 吳挺;英特爾的8倍“核動(dòng)力”[N];計(jì)算機(jī)世界;2007年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 逄龍;多線程程序中關(guān)聯(lián)變量原子性驗(yàn)證關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

2 趙榮彩;多線程低功耗編譯優(yōu)化技術(shù)研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 楊華;片上多線程體系結(jié)構(gòu)資源分配策略的研究[D];哈爾濱工業(yè)大學(xué);2006年

4 徐海峰;多線程的內(nèi)存調(diào)度[D];浙江大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 張傳勇;基于hadoop影視碎片云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

2 張龍;聊天系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

3 劉麗;嵌入式WM8960音頻驅(qū)動(dòng)及多線程播放器的設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2015年

4 陳結(jié);同構(gòu)多核環(huán)境下主從式多線程動(dòng)態(tài)二進(jìn)制翻譯器[D];華中科技大學(xué);2009年

5 殷紹劍;嵌入式多線程遠(yuǎn)程調(diào)試器研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

6 郜憲東;基于多線程的電信服務(wù)開通系統(tǒng)[D];電子科技大學(xué);2011年

7 關(guān)旋旋;多線程軟件中基于離散控制理論的故障避免[D];浙江工商大學(xué);2014年

8 徐曉展;多線程并行傳輸技術(shù)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

9 黃仁青;高速多線程剪卷焊一體化鋼帶生產(chǎn)線的設(shè)計(jì)[D];天津大學(xué);2012年

10 張昱;多線程復(fù)制系統(tǒng)的確定性調(diào)度框架MDSF的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2009年

  本文關(guān)鍵詞：網(wǎng)頁(yè)爬蟲技術(shù)的關(guān)鍵技術(shù)研究探索，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：450807