發(fā)布時(shí)間：2019-01-22 12:57

【摘要】：隨著校園網(wǎng)網(wǎng)頁數(shù)量的不斷增長,校園網(wǎng)搜索引擎應(yīng)運(yùn)而生。校園網(wǎng)搜索引擎系統(tǒng)的性能很大程度上取決于網(wǎng)絡(luò)搜索器的性能,采集網(wǎng)頁的速度是網(wǎng)絡(luò)搜索器的1個(gè)重要指標(biāo)。為了提高采集網(wǎng)頁的速度,本文設(shè)計(jì)實(shí)現(xiàn)了1個(gè)多線程搜索器,并對(duì)內(nèi)蒙古工業(yè)大學(xué)校園網(wǎng)進(jìn)行了測試。實(shí)驗(yàn)表明,多線程搜索器可以把采集網(wǎng)頁的速度從單線程0.9頁/s提高到6.9頁/s,采集網(wǎng)頁的速度提高了7倍多。由此說明,采用多線程設(shè)計(jì)搜索器對(duì)提高搜索器采集網(wǎng)頁的速度是很明顯的。
[Abstract]:With the increasing number of campus web pages, the campus network search engine emerges as the times require. The performance of campus network search engine system depends on the performance of network searcher to a great extent, and the speed of collecting web pages is an important index of network searcher. In order to improve the speed of web page acquisition, a multithread searcher is designed and implemented in this paper, and the campus network of Inner Mongolia University of Technology is tested. The experiment results show that the speed of collecting web pages can be increased from 0.9 page / s to 6.9 pages / s, and the speed of collecting web pages can be increased more than 7 times. Therefore, it is obvious to use multithread to design searcher to improve the speed of web page acquisition.
【作者單位】： 內(nèi)蒙古工業(yè)大學(xué)信息工程學(xué)院;
【基金】：內(nèi)蒙古工業(yè)大學(xué)科學(xué)研究項(xiàng)目(X200806)
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 馬志強(qiáng);周長勝;丁維;楊娜;;校園網(wǎng)搜索引擎的研究與實(shí)現(xiàn)[J];北京機(jī)械工業(yè)學(xué)院學(xué)報(bào);2007年01期

2 徐文杰;陳慶奎;;增量更新并行W eb爬蟲系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;2009年04期

3 馬志強(qiáng);劉利民;蘇依拉;馬瑞明;;基于Lucene的站內(nèi)搜索引擎研究[J];內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年01期

相關(guān)博士學(xué)位論文 前1條

1 彭濤;面向?qū)I(yè)搜索引擎的主題爬行技術(shù)研究[D];吉林大學(xué);2007年

相關(guān)碩士學(xué)位論文 前1條

1 朱良峰;主題網(wǎng)絡(luò)爬蟲的研究與設(shè)計(jì)[D];南京理工大學(xué);2008年

【共引文獻(xiàn)】

相關(guān)期刊論文 前7條

1 郎鳳舉;;HTMLParser提取網(wǎng)頁超鏈接研究[J];電腦編程技巧與維護(hù);2010年02期

2 辛玉玲;;搜索引擎相關(guān)技術(shù)研究概述[J];艦船電子工程;2008年10期

3 朱愛兵;俞海平;;高校校園網(wǎng)資源搜索技術(shù)研究[J];計(jì)算機(jī)與信息技術(shù);2008年09期

4 余靜;劉萬軍;;基于網(wǎng)頁分塊的主題爬蟲研究[J];計(jì)算機(jī)與信息技術(shù);2008年10期

5 馬志強(qiáng);劉利民;蘇依拉;馬瑞明;;基于Lucene的站內(nèi)搜索引擎研究[J];內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年01期

6 馬志強(qiáng);趙汐;賈鵬;;基于網(wǎng)頁的站內(nèi)信息采集技術(shù)的研究與實(shí)現(xiàn)[J];內(nèi)蒙古大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年02期

7 馬志強(qiáng);;一種給批量漢字加注帶有聲調(diào)拼音的方法[J];微電子學(xué)與計(jì)算機(jī);2008年04期

相關(guān)會(huì)議論文 前1條

1 吳晨生;劉彥君;張魯冀;董曉晴;;科普搜索的研究與實(shí)現(xiàn)[A];數(shù)字博物館研究與實(shí)踐（2009）[C];2010年

相關(guān)博士學(xué)位論文 前3條

1 羅娜;基于本體的主題爬行技術(shù)研究[D];吉林大學(xué);2009年

2 劉東飛;智能雙語搜索方法及搜索引擎的研究[D];武漢理工大學(xué);2009年

3 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 韓曉娟;深層網(wǎng)信息挖掘技術(shù)的研究在化工領(lǐng)域的應(yīng)用[D];北京化工大學(xué);2009年

2 潘守慧;個(gè)性化垂直搜索引擎關(guān)鍵技術(shù)研究[D];山東科技大學(xué);2009年

3 李博;博客檢索的關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2009年

4 王桂梅;主題網(wǎng)絡(luò)爬蟲關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2009年

5 鄒海亮;可定制的聚焦網(wǎng)絡(luò)爬蟲[D];東華大學(xué);2009年

6 王翠;高校圖書館網(wǎng)站的人性化設(shè)計(jì)研究與實(shí)踐[D];曲阜師范大學(xué);2009年

7 鄭鵬;搜索引擎中的相似網(wǎng)頁探測算法研究[D];華中科技大學(xué);2008年

8 陳靖;垂直育兒搜索引擎研究[D];西南大學(xué);2010年

9 任斌;基于本體的主動(dòng)學(xué)習(xí)主題爬行的研究與實(shí)現(xiàn)[D];吉林大學(xué);2010年

10 劉鵬鵬;面向患者需求的醫(yī)學(xué)搜索引擎的研究與實(shí)現(xiàn)[D];浙江大學(xué);2010年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 馬志強(qiáng);周長勝;丁維;楊娜;;校園網(wǎng)搜索引擎的研究與實(shí)現(xiàn)[J];北京機(jī)械工業(yè)學(xué)院學(xué)報(bào);2007年01期

2 張利彪,周春光,劉小華,馬銘;粒子群算法在求解優(yōu)化問題中的應(yīng)用[J];吉林大學(xué)學(xué)報(bào)(信息科學(xué)版);2005年04期

3 孫茂松,鄒嘉彥;漢語自動(dòng)分詞研究評(píng)述[J];當(dāng)代語言學(xué);2001年01期

4 瞿鋒;陳紀(jì)元;;漢語自動(dòng)分詞算法綜述[J];福建電腦;2006年04期

5 楊維,李歧強(qiáng);粒子群優(yōu)化算法綜述[J];中國工程科學(xué);2004年05期

6 沈文勤,李慶超,邵志清;搜索引擎的漸增式爬行和備份式更新模式[J];華東理工大學(xué)學(xué)報(bào);2004年03期

7 張茂元;張金隆;盧正鼎;鄒春燕;;基于特征相關(guān)學(xué)習(xí)的網(wǎng)頁信息提取方法[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年07期

8 劉群,張華平,俞鴻魁,程學(xué)旗;基于層疊隱馬模型的漢語詞法分析[J];計(jì)算機(jī)研究與發(fā)展;2004年08期

9 張巖,李文輝,孟宇,龐云階;應(yīng)用PSO的快速紋理合成算法[J];計(jì)算機(jī)研究與發(fā)展;2005年03期

10 李凱,赫楓齡,左萬利;PageRank-Pro——一種改進(jìn)的網(wǎng)頁排序算法[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2003年02期

相關(guān)博士學(xué)位論文 前1條

1 董道國;高維數(shù)據(jù)索引結(jié)構(gòu)研究[D];復(fù)旦大學(xué);2005年

相關(guān)碩士學(xué)位論文 前4條

1 陳杰;主題搜索引擎中網(wǎng)絡(luò)蜘蛛搜索策略研究[D];浙江大學(xué);2006年

2 劉瑋瑋;搜索引擎中主題爬蟲的研究與實(shí)現(xiàn)[D];南京理工大學(xué);2006年

3 王思力;面向大規(guī)模信息檢索的中文分詞技術(shù)研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

4 馮月;基于專業(yè)搜索引擎網(wǎng)絡(luò)蜘蛛搜索策略研究[D];電子科技大學(xué);2007年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 何祥彬;周荷琴;李方勇;;基于CUDA平臺(tái)的DR圖像增強(qiáng)處理加速算法[J];中國醫(yī)療器械雜志;2010年01期

2 張小東;馮小平;羅越;;基于ADSP-BF537的VDK/LwIP嵌入式實(shí)時(shí)操作系統(tǒng)設(shè)計(jì)與應(yīng)用[J];電子元器件應(yīng)用;2010年01期

3 宋忠強(qiáng);李欣;;深海動(dòng)力環(huán)境監(jiān)測中數(shù)據(jù)管理系統(tǒng)的實(shí)現(xiàn)[J];現(xiàn)代電子技術(shù);2010年02期

4 劉鑫;郝麗娜;劉斌;鄧軍;;超聲波定位系統(tǒng)串行通信模塊設(shè)計(jì)[J];現(xiàn)代電子技術(shù);2010年02期

5 王小燕;;一種高效點(diǎn)播流媒體服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與科學(xué);2010年02期

6 周強(qiáng);費(fèi)章君;王強(qiáng);楊仕友;;基于H.264的嵌入式網(wǎng)絡(luò)視頻服務(wù)器的設(shè)計(jì)與開發(fā)[J];計(jì)算機(jī)應(yīng)用;2010年02期

7 張小強(qiáng);彭林;黃春;謝倫國;;面向STM的松弛存儲(chǔ)一致性算法[J];計(jì)算機(jī)工程與科學(xué);2010年01期

8 高昂;;JVM上的Ruby發(fā)展近況[J];程序員;2010年01期

9 周怡;蔡永銘;鄭先容;劉軍;郭穗勛;;讓醫(yī)學(xué)生的計(jì)算機(jī)程序設(shè)計(jì)課程“動(dòng)”起來[J];計(jì)算機(jī)教育;2010年02期

10 胡振波;;Rails性能優(yōu)化之路[J];程序員;2010年01期

相關(guān)會(huì)議論文 前10條

1 劉文志;李曉霞;;MD模擬中基于GPU的范德華非鍵作用計(jì)算[A];中國化學(xué)會(huì)第27屆學(xué)術(shù)年會(huì)第15分會(huì)場摘要集[C];2010年

2 陳鳳明;曲靜雅;林金明;;海水中痕量酚和腐植酸的全自動(dòng)化學(xué)發(fā)光分析儀的研制[A];中國化學(xué)會(huì)第27屆學(xué)術(shù)年會(huì)第09分會(huì)場摘要集[C];2010年

3 魏振鋼;王小華;高云;孫喜洲;楊妍妍;;多核技術(shù)及并行算法在數(shù)據(jù)結(jié)構(gòu)課程體系中的實(shí)施[A];2010國際信息技術(shù)與應(yīng)用論壇論文集[C];2010年

4 趙偉;陳承收;李立軍;;基于MapReduce云計(jì)算模型的碰撞檢測算法[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

5 劉九;林孔升;尚汪洋;蔡德霞;;基于Java多線程的隱藏?cái)?shù)組下標(biāo)變換過程的代碼迷惑[A];廣西計(jì)算機(jī)學(xué)會(huì)2010年學(xué)術(shù)年會(huì)論文集[C];2010年

6 常天海;陳名開;梁添;;基于空間材料二次電子發(fā)射系數(shù)自動(dòng)測試系統(tǒng)[A];2010’全國半導(dǎo)體器件技術(shù)研討會(huì)論文集[C];2010年

7 高昕;文斐;梁福田;陳煉;金革;;Labwindows/CVI在大氣環(huán)境監(jiān)測激光雷達(dá)數(shù)據(jù)采集系統(tǒng)中的應(yīng)用[A];第十五屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會(huì)論文集[C];2010年

8 陳虎;唐海浩;廖江苗;彭江峰;;面向批量插入優(yōu)化的并行存儲(chǔ)引擎MTPower[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集A輯一[C];2010年

9 鄭亮;Taras Gerya;張懷;David A.Yuen;石耀霖;;GPU的內(nèi)存與線程機(jī)制及其在地球動(dòng)力學(xué)計(jì)算中的算例[A];中國地球物理2010——中國地球物理學(xué)會(huì)第二十六屆年會(huì)、中國地震學(xué)會(huì)第十三次學(xué)術(shù)大會(huì)論文集[C];2010年

10 林子雨;林琛;馮少榮;張東站;;MESHJOIN~*:實(shí)時(shí)數(shù)據(jù)倉庫環(huán)境下的數(shù)據(jù)流更新算法[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集A輯二[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 李雪昆;政府網(wǎng)站—— 內(nèi)涵比長相更重要[N];中國新聞出版報(bào);2010年

2 本報(bào)記者 宋家雨;POWER 7熱點(diǎn)技術(shù)揭秘[N];網(wǎng)絡(luò)世界;2010年

3 陳曦;Chatroulene引發(fā)隨機(jī)社交潮流[N];電腦報(bào);2010年

4 商報(bào)記者 羅添;高性能電腦走下神壇[N];北京商報(bào);2010年

5 謝濤;蕭潔云就任SAP中國區(qū)總裁 穩(wěn)定團(tuán)隊(duì)成首要任務(wù)[N];電腦商報(bào);2010年

6 本報(bào)駐倫敦記者 郭林;英國互聯(lián)網(wǎng)監(jiān)管疏而不漏[N];光明日?qǐng)?bào);2010年

7 記者 劉霞;新發(fā)現(xiàn)最大類太陽系可能擁有7顆行星[N];科技日?qǐng)?bào);2010年

8 記者 唐先武　通訊員 陳明;“天河一號(hào)”運(yùn)算性能躍上世界之巔[N];科技日?qǐng)?bào);2010年

9 本報(bào)記者 鄒大斌;HTML 5將加速Web應(yīng)用時(shí)代的到來[N];計(jì)算機(jī)世界;2010年

10 ;向虛擬世界“開戰(zhàn)”[N];中國教育報(bào);2010年

相關(guān)博士學(xué)位論文 前10條

1 劉曉;汶川地震區(qū)斜坡動(dòng)力反應(yīng)研究[D];中國地質(zhì)大學(xué);2010年

2 王穎;嵌入式可重構(gòu)計(jì)算系統(tǒng)的設(shè)計(jì)技術(shù)研究[D];復(fù)旦大學(xué);2009年

3 李鳳華;分布式信息系統(tǒng)安全的理論與關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2009年

4 黃凱;面向特定應(yīng)用的MPSoC設(shè)計(jì)流程平臺(tái)研究[D];浙江大學(xué);2008年

5 姜麗;多Agent協(xié)商研究[D];吉林大學(xué);2007年

6 田新華;面向性能優(yōu)化的壓縮cache技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

7 姚英彪;高性能嵌入式RISC微處理器核設(shè)計(jì)研究[D];浙江大學(xué);2006年

8 夏均忠;基于網(wǎng)絡(luò)的軍車安全性能智能檢測和隱患預(yù)警系統(tǒng)的研究[D];天津大學(xué);2005年

9 龐文堯;基于C/S模式的遠(yuǎn)程控制系統(tǒng)研究開發(fā)[D];浙江大學(xué);2003年

10 翟巍;三維GIS中大規(guī)模場景數(shù)據(jù)獲取、組織及調(diào)度方法的研究與實(shí)現(xiàn)[D];大連理工大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 黃琰;基于GPRS/Internet的拉床遠(yuǎn)程監(jiān)控系統(tǒng)[D];浙江大學(xué);2010年

2 馮糧城;面向數(shù)字化制鞋的三維鞋楦資源管理[D];浙江大學(xué);2010年

3 劉童;基于Java3D的多參數(shù)測井儀三維模擬[D];沈陽工業(yè)大學(xué);2010年

4 鄧淳瑜;基于ACE架構(gòu)的多終端遠(yuǎn)程接入服務(wù)系統(tǒng)研究[D];大連海事大學(xué);2010年

5 孟冬梅;錄井公司數(shù)據(jù)訪問層的設(shè)計(jì)與實(shí)現(xiàn)[D];大連海事大學(xué);2010年

6 葉丹丹;無線抄表網(wǎng)應(yīng)用平臺(tái)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2010年

7 王星;媒體數(shù)字信號(hào)處理器MediaDSP6410微結(jié)構(gòu)研究[D];浙江大學(xué);2010年

8 趙青芝;基于IP網(wǎng)絡(luò)的視頻傳輸及監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2010年

9 龔興華;無人值守廣播電視的遠(yuǎn)程監(jiān)測系統(tǒng)研制[D];南京理工大學(xué);2010年

10 陸輝;基于Web服務(wù)的GPRS自動(dòng)抄表軟件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];華北電力大學(xué)（北京）;2010年

，

本文編號(hào)：2413226