【摘要】：隨著校園網(wǎng)網(wǎng)頁數(shù)量的不斷增長,校園網(wǎng)搜索引擎應運而生。校園網(wǎng)搜索引擎系統(tǒng)的性能很大程度上取決于網(wǎng)絡搜索器的性能,采集網(wǎng)頁的速度是網(wǎng)絡搜索器的1個重要指標。為了提高采集網(wǎng)頁的速度,本文設計實現(xiàn)了1個多線程搜索器,并對內(nèi)蒙古工業(yè)大學校園網(wǎng)進行了測試。實驗表明,多線程搜索器可以把采集網(wǎng)頁的速度從單線程0.9頁/s提高到6.9頁/s,采集網(wǎng)頁的速度提高了7倍多。由此說明,采用多線程設計搜索器對提高搜索器采集網(wǎng)頁的速度是很明顯的。
[Abstract]:With the increasing number of campus web pages, the campus network search engine emerges as the times require. The performance of campus network search engine system depends on the performance of network searcher to a great extent, and the speed of collecting web pages is an important index of network searcher. In order to improve the speed of web page acquisition, a multithread searcher is designed and implemented in this paper, and the campus network of Inner Mongolia University of Technology is tested. The experiment results show that the speed of collecting web pages can be increased from 0.9 page / s to 6.9 pages / s, and the speed of collecting web pages can be increased more than 7 times. Therefore, it is obvious to use multithread to design searcher to improve the speed of web page acquisition.
【作者單位】： 內(nèi)蒙古工業(yè)大學信息工程學院;
【基金】：內(nèi)蒙古工業(yè)大學科學研究項目(X200806)
【分類號】：TP391.3

【參考文獻】

相關(guān)期刊論文 前3條

1 馬志強;周長勝;丁維;楊娜;;校園網(wǎng)搜索引擎的研究與實現(xiàn)[J];北京機械工業(yè)學院學報;2007年01期

2 徐文杰;陳慶奎;;增量更新并行W eb爬蟲系統(tǒng)[J];計算機應用;2009年04期

3 馬志強;劉利民;蘇依拉;馬瑞明;;基于Lucene的站內(nèi)搜索引擎研究[J];內(nèi)蒙古工業(yè)大學學報(自然科學版);2009年01期

相關(guān)博士學位論文 前1條

1 彭濤;面向?qū)I(yè)搜索引擎的主題爬行技術(shù)研究[D];吉林大學;2007年

相關(guān)碩士學位論文 前1條

1 朱良峰;主題網(wǎng)絡爬蟲的研究與設計[D];南京理工大學;2008年

【共引文獻】

相關(guān)期刊論文 前7條

1 郎鳳舉;;HTMLParser提取網(wǎng)頁超鏈接研究[J];電腦編程技巧與維護;2010年02期

2 辛玉玲;;搜索引擎相關(guān)技術(shù)研究概述[J];艦船電子工程;2008年10期

3 朱愛兵;俞海平;;高校校園網(wǎng)資源搜索技術(shù)研究[J];計算機與信息技術(shù);2008年09期

4 余靜;劉萬軍;;基于網(wǎng)頁分塊的主題爬蟲研究[J];計算機與信息技術(shù);2008年10期

5 馬志強;劉利民;蘇依拉;馬瑞明;;基于Lucene的站內(nèi)搜索引擎研究[J];內(nèi)蒙古工業(yè)大學學報(自然科學版);2009年01期

6 馬志強;趙汐;賈鵬;;基于網(wǎng)頁的站內(nèi)信息采集技術(shù)的研究與實現(xiàn)[J];內(nèi)蒙古大學學報(自然科學版);2009年02期

7 馬志強;;一種給批量漢字加注帶有聲調(diào)拼音的方法[J];微電子學與計算機;2008年04期

相關(guān)會議論文 前1條

1 吳晨生;劉彥君;張魯冀;董曉晴;;科普搜索的研究與實現(xiàn)[A];數(shù)字博物館研究與實踐（2009）[C];2010年

相關(guān)博士學位論文 前3條

1 羅娜;基于本體的主題爬行技術(shù)研究[D];吉林大學;2009年

2 劉東飛;智能雙語搜索方法及搜索引擎的研究[D];武漢理工大學;2009年

3 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學;2008年

相關(guān)碩士學位論文 前10條

1 韓曉娟;深層網(wǎng)信息挖掘技術(shù)的研究在化工領(lǐng)域的應用[D];北京化工大學;2009年

2 潘守慧;個性化垂直搜索引擎關(guān)鍵技術(shù)研究[D];山東科技大學;2009年

3 李博;博客檢索的關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學;2009年

4 王桂梅;主題網(wǎng)絡爬蟲關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學;2009年

5 鄒海亮;可定制的聚焦網(wǎng)絡爬蟲[D];東華大學;2009年

6 王翠;高校圖書館網(wǎng)站的人性化設計研究與實踐[D];曲阜師范大學;2009年

7 鄭鵬;搜索引擎中的相似網(wǎng)頁探測算法研究[D];華中科技大學;2008年

8 陳靖;垂直育兒搜索引擎研究[D];西南大學;2010年

9 任斌;基于本體的主動學習主題爬行的研究與實現(xiàn)[D];吉林大學;2010年

10 劉鵬鵬;面向患者需求的醫(yī)學搜索引擎的研究與實現(xiàn)[D];浙江大學;2010年

【二級參考文獻】

相關(guān)期刊論文 前10條

1 馬志強;周長勝;丁維;楊娜;;校園網(wǎng)搜索引擎的研究與實現(xiàn)[J];北京機械工業(yè)學院學報;2007年01期

2 張利彪,周春光,劉小華,馬銘;粒子群算法在求解優(yōu)化問題中的應用[J];吉林大學學報(信息科學版);2005年04期

3 孫茂松,鄒嘉彥;漢語自動分詞研究評述[J];當代語言學;2001年01期

4 瞿鋒;陳紀元;;漢語自動分詞算法綜述[J];福建電腦;2006年04期

5 楊維,李歧強;粒子群優(yōu)化算法綜述[J];中國工程科學;2004年05期

6 沈文勤,李慶超,邵志清;搜索引擎的漸增式爬行和備份式更新模式[J];華東理工大學學報;2004年03期

7 張茂元;張金隆;盧正鼎;鄒春燕;;基于特征相關(guān)學習的網(wǎng)頁信息提取方法[J];華中科技大學學報(自然科學版);2007年07期

8 劉群,張華平,俞鴻魁,程學旗;基于層疊隱馬模型的漢語詞法分析[J];計算機研究與發(fā)展;2004年08期

9 張巖,李文輝,孟宇,龐云階;應用PSO的快速紋理合成算法[J];計算機研究與發(fā)展;2005年03期

10 李凱,赫楓齡,左萬利;PageRank-Pro——一種改進的網(wǎng)頁排序算法[J];吉林大學學報(理學版);2003年02期

相關(guān)博士學位論文 前1條

1 董道國;高維數(shù)據(jù)索引結(jié)構(gòu)研究[D];復旦大學;2005年

相關(guān)碩士學位論文 前4條

1 陳杰;主題搜索引擎中網(wǎng)絡蜘蛛搜索策略研究[D];浙江大學;2006年

2 劉瑋瑋;搜索引擎中主題爬蟲的研究與實現(xiàn)[D];南京理工大學;2006年

3 王思力;面向大規(guī)模信息檢索的中文分詞技術(shù)研究[D];中國科學院研究生院（計算技術(shù)研究所）;2006年

4 馮月;基于專業(yè)搜索引擎網(wǎng)絡蜘蛛搜索策略研究[D];電子科技大學;2007年

【相似文獻】

相關(guān)期刊論文 前10條

1 何祥彬;周荷琴;李方勇;;基于CUDA平臺的DR圖像增強處理加速算法[J];中國醫(yī)療器械雜志;2010年01期

2 張小東;馮小平;羅越;;基于ADSP-BF537的VDK/LwIP嵌入式實時操作系統(tǒng)設計與應用[J];電子元器件應用;2010年01期

3 宋忠強;李欣;;深海動力環(huán)境監(jiān)測中數(shù)據(jù)管理系統(tǒng)的實現(xiàn)[J];現(xiàn)代電子技術(shù);2010年02期

4 劉鑫;郝麗娜;劉斌;鄧軍;;超聲波定位系統(tǒng)串行通信模塊設計[J];現(xiàn)代電子技術(shù);2010年02期

5 王小燕;;一種高效點播流媒體服務器的設計與實現(xiàn)[J];計算機工程與科學;2010年02期

6 周強;費章君;王強;楊仕友;;基于H.264的嵌入式網(wǎng)絡視頻服務器的設計與開發(fā)[J];計算機應用;2010年02期

7 張小強;彭林;黃春;謝倫國;;面向STM的松弛存儲一致性算法[J];計算機工程與科學;2010年01期

8 高昂;;JVM上的Ruby發(fā)展近況[J];程序員;2010年01期

9 周怡;蔡永銘;鄭先容;劉軍;郭穗勛;;讓醫(yī)學生的計算機程序設計課程“動”起來[J];計算機教育;2010年02期

10 胡振波;;Rails性能優(yōu)化之路[J];程序員;2010年01期

相關(guān)會議論文 前10條

1 劉文志;李曉霞;;MD模擬中基于GPU的范德華非鍵作用計算[A];中國化學會第27屆學術(shù)年會第15分會場摘要集[C];2010年

2 陳鳳明;曲靜雅;林金明;;海水中痕量酚和腐植酸的全自動化學發(fā)光分析儀的研制[A];中國化學會第27屆學術(shù)年會第09分會場摘要集[C];2010年

3 魏振鋼;王小華;高云;孫喜洲;楊妍妍;;多核技術(shù)及并行算法在數(shù)據(jù)結(jié)構(gòu)課程體系中的實施[A];2010國際信息技術(shù)與應用論壇論文集[C];2010年

4 趙偉;陳承收;李立軍;;基于MapReduce云計算模型的碰撞檢測算法[A];'2010系統(tǒng)仿真技術(shù)及其應用學術(shù)會議論文集[C];2010年

5 劉九;林孔升;尚汪洋;蔡德霞;;基于Java多線程的隱藏數(shù)組下標變換過程的代碼迷惑[A];廣西計算機學會2010年學術(shù)年會論文集[C];2010年

6 常天海;陳名開;梁添;;基于空間材料二次電子發(fā)射系數(shù)自動測試系統(tǒng)[A];2010’全國半導體器件技術(shù)研討會論文集[C];2010年

7 高昕;文斐;梁福田;陳煉;金革;;Labwindows/CVI在大氣環(huán)境監(jiān)測激光雷達數(shù)據(jù)采集系統(tǒng)中的應用[A];第十五屆全國核電子學與核探測技術(shù)學術(shù)年會論文集[C];2010年

8 陳虎;唐海浩;廖江苗;彭江峰;;面向批量插入優(yōu)化的并行存儲引擎MTPower[A];NDBC2010第27屆中國數(shù)據(jù)庫學術(shù)會議論文集A輯一[C];2010年

9 鄭亮;Taras Gerya;張懷;David A.Yuen;石耀霖;;GPU的內(nèi)存與線程機制及其在地球動力學計算中的算例[A];中國地球物理2010——中國地球物理學會第二十六屆年會、中國地震學會第十三次學術(shù)大會論文集[C];2010年

10 林子雨;林琛;馮少榮;張東站;;MESHJOIN~*:實時數(shù)據(jù)倉庫環(huán)境下的數(shù)據(jù)流更新算法[A];NDBC2010第27屆中國數(shù)據(jù)庫學術(shù)會議論文集A輯二[C];2010年

相關(guān)重要報紙文章 前10條

1 本報記者 李雪昆;政府網(wǎng)站—— 內(nèi)涵比長相更重要[N];中國新聞出版報;2010年

2 本報記者 宋家雨;POWER 7熱點技術(shù)揭秘[N];網(wǎng)絡世界;2010年

3 陳曦;Chatroulene引發(fā)隨機社交潮流[N];電腦報;2010年

4 商報記者 羅添;高性能電腦走下神壇[N];北京商報;2010年

5 謝濤;蕭潔云就任SAP中國區(qū)總裁 穩(wěn)定團隊成首要任務[N];電腦商報;2010年

6 本報駐倫敦記者 郭林;英國互聯(lián)網(wǎng)監(jiān)管疏而不漏[N];光明日報;2010年

7 記者 劉霞;新發(fā)現(xiàn)最大類太陽系可能擁有7顆行星[N];科技日報;2010年

8 記者 唐先武　通訊員 陳明;“天河一號”運算性能躍上世界之巔[N];科技日報;2010年

9 本報記者 鄒大斌;HTML 5將加速Web應用時代的到來[N];計算機世界;2010年

10 ;向虛擬世界“開戰(zhàn)”[N];中國教育報;2010年

相關(guān)博士學位論文 前10條

1 劉曉;汶川地震區(qū)斜坡動力反應研究[D];中國地質(zhì)大學;2010年

2 王穎;嵌入式可重構(gòu)計算系統(tǒng)的設計技術(shù)研究[D];復旦大學;2009年

3 李鳳華;分布式信息系統(tǒng)安全的理論與關(guān)鍵技術(shù)研究[D];西安電子科技大學;2009年

4 黃凱;面向特定應用的MPSoC設計流程平臺研究[D];浙江大學;2008年

5 姜麗;多Agent協(xié)商研究[D];吉林大學;2007年

6 田新華;面向性能優(yōu)化的壓縮cache技術(shù)研究[D];國防科學技術(shù)大學;2007年

7 姚英彪;高性能嵌入式RISC微處理器核設計研究[D];浙江大學;2006年

8 夏均忠;基于網(wǎng)絡的軍車安全性能智能檢測和隱患預警系統(tǒng)的研究[D];天津大學;2005年

9 龐文堯;基于C/S模式的遠程控制系統(tǒng)研究開發(fā)[D];浙江大學;2003年

10 翟巍;三維GIS中大規(guī)模場景數(shù)據(jù)獲取、組織及調(diào)度方法的研究與實現(xiàn)[D];大連理工大學;2003年

相關(guān)碩士學位論文 前10條

1 黃琰;基于GPRS/Internet的拉床遠程監(jiān)控系統(tǒng)[D];浙江大學;2010年

2 馮糧城;面向數(shù)字化制鞋的三維鞋楦資源管理[D];浙江大學;2010年

3 劉童;基于Java3D的多參數(shù)測井儀三維模擬[D];沈陽工業(yè)大學;2010年

4 鄧淳瑜;基于ACE架構(gòu)的多終端遠程接入服務系統(tǒng)研究[D];大連海事大學;2010年

5 孟冬梅;錄井公司數(shù)據(jù)訪問層的設計與實現(xiàn)[D];大連海事大學;2010年

6 葉丹丹;無線抄表網(wǎng)應用平臺系統(tǒng)的設計與實現(xiàn)[D];吉林大學;2010年

7 王星;媒體數(shù)字信號處理器MediaDSP6410微結(jié)構(gòu)研究[D];浙江大學;2010年

8 趙青芝;基于IP網(wǎng)絡的視頻傳輸及監(jiān)控系統(tǒng)設計與實現(xiàn)[D];浙江大學;2010年

9 龔興華;無人值守廣播電視的遠程監(jiān)測系統(tǒng)研制[D];南京理工大學;2010年

10 陸輝;基于Web服務的GPRS自動抄表軟件系統(tǒng)設計與實現(xiàn)[D];華北電力大學（北京）;2010年

，

本文編號：2413226