本文選題：搜索引擎　切入點(diǎn)：采集器　出處：《計(jì)算機(jī)工程與設(shè)計(jì)》2009年05期 　論文類型：期刊論文

【摘要】：分析了現(xiàn)有搜索引擎采集器過(guò)濾互聯(lián)網(wǎng)上重復(fù)URL的技術(shù),指出了它們?cè)谒俣群托史矫娲嬖诘牟蛔?借鑒了操作系統(tǒng)請(qǐng)求頁(yè)式存儲(chǔ)管理中的頁(yè)面置換算法,提出了頁(yè)置換技術(shù)在搜索引擎采集器中高數(shù)量級(jí)過(guò)濾重復(fù)地址的應(yīng)用。使用了虛擬存儲(chǔ)技術(shù),使得容量不大的內(nèi)存可以為眾多的進(jìn)程提供資源,該技術(shù)較好地解決了在有限系統(tǒng)資源下進(jìn)行億量級(jí)URL過(guò)濾的速度和效率問(wèn)題。
[Abstract]:This paper analyzes the existing search engine collectors' technology of filtering repeated URL on the Internet, points out their shortcomings in speed and efficiency, and draws lessons from the page replacement algorithm in the request page storage management of the operating system. This paper puts forward the application of page replacement technology in the search engine collector to filter repeat addresses of high order of magnitude. The virtual storage technology is used to make the small memory provide resources for many processes. This technique can solve the problem of speed and efficiency of URL filtering in the limited system resources.
【作者單位】： 臺(tái)州學(xué)院數(shù)學(xué)與信息工程學(xué)院;
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 劉云生,李國(guó)徽;實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)的裝入[J];軟件學(xué)報(bào);2000年06期

2 張克非;嵌入式實(shí)時(shí)操作系統(tǒng)分析[J];計(jì)算機(jī)工程與設(shè)計(jì);2005年08期

3 黃賢英,王越,陳媛;嵌入式實(shí)時(shí)系統(tǒng)內(nèi)存管理策略[J];計(jì)算機(jī)工程與設(shè)計(jì);2004年10期

【共引文獻(xiàn)】

相關(guān)期刊論文 前6條

1 謝銀橋;李廣軍;;基于μC/OS-II的一種嵌入式系統(tǒng)內(nèi)存管理方案[J];福建電腦;2006年07期

2 劉云生,付蔚;主動(dòng)實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)的組織與故障恢復(fù)[J];計(jì)算機(jī)工程與應(yīng)用;2002年09期

3 劉云生,焦金良;內(nèi)存數(shù)據(jù)庫(kù)組織分區(qū)法的評(píng)析[J];計(jì)算機(jī)工程與應(yīng)用;2002年10期

4 劉云生,遲巖;內(nèi)存受限的實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)裝入策略[J];計(jì)算機(jī)工程;2004年20期

5 徐冀,李躍華;泛型編程及STL在內(nèi)存數(shù)據(jù)庫(kù)中的應(yīng)用[J];南京工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年03期

6 胡濱;孫健力;張永平;侯婧熠;;一種內(nèi)存管理技術(shù)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2007年05期

相關(guān)碩士學(xué)位論文 前10條

1 鄭瀚;時(shí)空分析DBMS-STADBS的數(shù)據(jù)模型與存儲(chǔ)機(jī)制的研究[D];南京航空航天大學(xué);2002年

2 張炯;智能網(wǎng)業(yè)務(wù)控制點(diǎn)負(fù)載平衡的研究[D];大連海事大學(xué);2001年

3 張建英;主存數(shù)據(jù)庫(kù)技術(shù)研究及一個(gè)原型系統(tǒng)的構(gòu)造[D];大連理工大學(xué);2003年

4 何熠;監(jiān)控組態(tài)軟件實(shí)時(shí)數(shù)據(jù)庫(kù)的研究[D];天津大學(xué);2004年

5 徐冀;基于組件的內(nèi)存數(shù)據(jù)庫(kù)[D];南京工業(yè)大學(xué);2004年

6 武波;實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2005年

7 遲巖;實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)的內(nèi)外存數(shù)據(jù)交換處理[D];華中科技大學(xué);2004年

8 晏燕;嵌入式內(nèi)存數(shù)據(jù)庫(kù)引擎的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2005年

9 楊雷;OpnkOS實(shí)時(shí)內(nèi)核設(shè)計(jì)[D];西南石油學(xué)院;2005年

10 樓俊榮;分布式虛擬靶試系統(tǒng)的實(shí)時(shí)數(shù)據(jù)通信與管理技術(shù)研究[D];西北工業(yè)大學(xué);2006年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 夏瑋瑋,沈連豐,肖婕,毛宇斌;嵌入式系統(tǒng)關(guān)鍵技術(shù)分析與開(kāi)發(fā)應(yīng)用[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2003年02期

2 封斌,龔灼,楊學(xué)軍;實(shí)時(shí)操作系統(tǒng)保護(hù)模式下的內(nèi)存管理策略[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年03期

3 施軍,朱魯華,沈昌祥,尤晉元;專用安全操作系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2002年05期

4 劉云生,吳紹春,李國(guó)徽,胡國(guó)玲;一種實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)組織與管理方法[J];計(jì)算機(jī)研究與發(fā)展;1998年05期

5 劉云生,付蔚;主動(dòng)實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)的組織與故障恢復(fù)[J];計(jì)算機(jī)工程與應(yīng)用;2002年09期

6 肖迎元,劉云生,廖國(guó)瓊;主動(dòng)實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)交換策略及實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2004年29期

7 陽(yáng)慧;LRU算法的研究及實(shí)現(xiàn)[J];計(jì)算機(jī)時(shí)代;2004年02期

8 李冬輝,葉利濤;一種新的實(shí)時(shí)數(shù)據(jù)庫(kù)的樂(lè)觀并發(fā)控制協(xié)議[J];計(jì)算機(jī)應(yīng)用;2004年12期

9 劉云生,李國(guó)徽;實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)的裝入[J];軟件學(xué)報(bào);2000年06期

10 劉云生;關(guān)于實(shí)時(shí)數(shù)據(jù)庫(kù)事務(wù)[J];軟件學(xué)報(bào);1995年10期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;創(chuàng)新工業(yè)搜索引擎[J];中國(guó)制造業(yè)信息化;2011年12期

2 胡風(fēng)華;王磊;;基于知識(shí)庫(kù)系統(tǒng)的智能搜索引擎研究[J];中國(guó)新技術(shù)新產(chǎn)品;2011年18期

3 方亞會(huì);;Google失敗后快速切換搜索引擎[J];電腦迷;2011年11期

4 李國(guó)鋒;李春偉;;網(wǎng)絡(luò)搜索引擎技術(shù)探析[J];廊坊師范學(xué)院學(xué)報(bào);2005年04期

5 冷國(guó)華;;網(wǎng)頁(yè)快照幫我快速獲取資料[J];電腦愛(ài)好者;2011年10期

6 閆淑紅;;基于搜索引擎的信息查詢技術(shù)研究[J];電腦開(kāi)發(fā)與應(yīng)用;2011年07期

7 康亞娟;;淺談?wù)緝?nèi)信息搜索系統(tǒng)[J];硅谷;2011年13期

8 孫掌印;;搜索引擎Yahoo與Google的比較分析[J];科技情報(bào)開(kāi)發(fā)與經(jīng)濟(jì);2011年17期

9 馮慶峰;;信息時(shí)代如何獲取信息[J];成功(教育);2011年08期

10 王巧玲;彭靜;王春紅;;中文分詞技術(shù)的研究及在Nutch中的實(shí)現(xiàn)[J];科技信息;2011年19期

相關(guān)會(huì)議論文 前10條

1 彭軻;廖聞劍;;淺析搜索引擎[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

2 鄧長(zhǎng)壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

3 倪俊峰;;基于黃頁(yè)搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

4 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2010年

5 陳援非;何哲;朱珍民;;基于普適計(jì)算的個(gè)性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

6 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報(bào)編輯論叢（第十一集）[C];2003年

7 陳磊;茹立云;馬少平;;基于用戶日志挖掘的搜索引擎廣告效果分析[A];第四屆全國(guó)學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)會(huì)議論文集[C];2008年

8 吳衛(wèi)民;王江;;采集器在湖南電網(wǎng)TMR系統(tǒng)中的應(yīng)用[A];第二十屆電工理論學(xué)術(shù)年會(huì)論文集[C];2008年

9 申琪君;;電子地圖搜索引擎比較[A];中國(guó)地理學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文摘要集[C];2007年

10 岑榮偉;劉奕群;張敏;茹立云;馬少平;;網(wǎng)絡(luò)搜索引擎用戶行為分析和研究[A];第五屆全國(guó)信息檢索學(xué)術(shù)會(huì)議論文集[C];2009年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 朱杰;搜索引擎應(yīng)用性能分析報(bào)告[N];中國(guó)計(jì)算機(jī)報(bào);2009年

2 記者 李建偉;第4代搜索引擎在鄭州問(wèn)世[N];中國(guó)知識(shí)產(chǎn)權(quán)報(bào);2009年

3 記者 趙志鵬;媒體稱俄擬建國(guó)家搜索引擎[N];新華每日電訊;2010年

4 吳前;搜索引擎“碳排量”驚人[N];中國(guó)文化報(bào);2010年

5 記者 李大慶;新型搜索引擎能向用戶直接提供所需內(nèi)容[N];科技日?qǐng)?bào);2010年

6 深圳大學(xué)傳播學(xué)院、傳媒與文化發(fā)展研究中心 周裕瓊;誰(shuí)動(dòng)了我的大腦[N];社會(huì)科學(xué)報(bào);2010年

7 李大慶;新型搜索引擎直接為用戶提供所需內(nèi)容[N];中國(guó)技術(shù)市場(chǎng)報(bào);2010年

8 余建斌;搜索引擎市場(chǎng)“烽煙四起”[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2010年

9 邁巴赫 編譯;搜索引擎20年[N];計(jì)算機(jī)世界;2010年

10 記者 秦羽　通訊員 施銀峰;全球搜索引擎營(yíng)銷大會(huì)在甬舉行[N];寧波日?qǐng)?bào);2010年

相關(guān)博士學(xué)位論文 前10條

1 岑榮偉;基于用戶行為分析的搜索引擎評(píng)價(jià)研究[D];清華大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 李莎莎;面向搜索引擎的自然語(yǔ)言處理關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

8 白玉琪;空間信息搜索引擎研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

9 費(fèi)巍;搜索引擎檢索功能的性能評(píng)價(jià)研究[D];武漢大學(xué);2010年

10 黃河;農(nóng)業(yè)復(fù)雜自適應(yīng)搜索模型研究及實(shí)現(xiàn)[D];中國(guó)科學(xué)技術(shù)大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

2 李海豐;基于Lucene的企業(yè)文檔搜索引擎研究與應(yīng)用[D];中南林業(yè)科技大學(xué);2009年

3 趙善明;基于Lucene的主題搜索引擎研究[D];西安電子科技大學(xué);2008年

4 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

5 董晨;基于模糊聚類的個(gè)性化搜索引擎的研究[D];福州大學(xué);2005年

6 封俊;基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

7 李浩;分布式教育網(wǎng)信息檢索系統(tǒng)的研究和實(shí)現(xiàn)[D];華南理工大學(xué);2010年

8 王春芹;搜索引擎主題相關(guān)性研究[D];中山大學(xué);2010年

9 詹恒飛;分布式圖片搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2010年

10 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

，

本文編號(hào)：1634982