【摘要】：搜索引擎在采用分布式技術(shù)的信息搜集中存在URL匹配和系統(tǒng)負(fù)載平衡的問(wèn)題。針對(duì)現(xiàn)有的幾種分布式信息搜集系統(tǒng)設(shè)計(jì)的不足,提出了對(duì)URL分級(jí)散列進(jìn)行定位和匹配的方法,給出了兩種適用于中文信息搜集的URL散列函數(shù),并進(jìn)行了實(shí)驗(yàn)分析。
[Abstract]:The problem of URL matching and system load balancing exists in the information collection of distributed search engine. Aiming at the shortcomings of several distributed information collection systems, this paper presents a method of locating and matching URL hierarchical hashes, gives two kinds of URL hash functions suitable for Chinese information collection, and makes an experimental analysis.
【作者單位】： 中國(guó)石油大學(xué)(華東)計(jì)算機(jī)與通信工程學(xué)院 中國(guó)石油大學(xué)(華東)計(jì)算機(jī)與通信工程學(xué)院 中國(guó)石油大學(xué)(華東)計(jì)算機(jī)與通信工程學(xué)院
【分類號(hào)】：TP391.3

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前6條

1 徐鳳剛;許俊奎;潘清;;可擴(kuò)展Hash方法的一種改進(jìn)算法[J];計(jì)算機(jī)工程與應(yīng)用;2006年04期

2 詹川;盧顯良;侯孟書(shū);邢茜;;一種快速的基于URL的垃圾郵件過(guò)濾系統(tǒng)[J];計(jì)算機(jī)科學(xué);2005年08期

3 高凱;王永成;肖君;;網(wǎng)頁(yè)去重策略[J];上海交通大學(xué)學(xué)報(bào);2006年05期

4 楊海東;葉小嶺;張穎超;;基于Hash算法實(shí)現(xiàn)搜索引擎中重復(fù)WEB頁(yè)面的消除[J];微計(jì)算機(jī)信息;2006年27期

5 肖明忠;閔博楠;王佳聰;代亞非;;一個(gè)實(shí)用的針對(duì)URL的哈希函數(shù)[J];小型微型計(jì)算機(jī)系統(tǒng);2006年03期

6 吳麗輝;白碩;張剛;張凱;;Web信息采集中的哈希函數(shù)比較[J];小型微型計(jì)算機(jī)系統(tǒng);2006年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前1條

1 黃高平;蘇金樹(shù);陳曙輝;;一種基于高速鏈路的Hash算法[A];2006年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2006年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 謝鯤;布魯姆過(guò)濾器查詢算法及其應(yīng)用研究[D];湖南大學(xué);2007年

2 吳麗輝;個(gè)性化的Web信息采集技術(shù)研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 汪維清;低代價(jià)最短路徑樹(shù)快速算法的時(shí)間復(fù)雜度研究[D];西南大學(xué);2007年

2 梅東霞;面向XML文檔的數(shù)據(jù)挖掘技術(shù)研究[D];北京化工大學(xué);2007年

3 劉壁松;策略可擴(kuò)展的搜索引擎研究和實(shí)現(xiàn)[D];清華大學(xué);2005年

4 李淑靜;基于內(nèi)容的垃圾郵件過(guò)濾研究與實(shí)現(xiàn)[D];南京信息工程大學(xué);2006年

5 趙敏涯;基于主題的新聞搜索引擎的研究與實(shí)現(xiàn)[D];揚(yáng)州大學(xué);2006年

6 黃永光;基于網(wǎng)頁(yè)挖掘的搜索引擎若干技術(shù)的研究[D];哈爾濱工業(yè)大學(xué);2006年

7 孫珂;網(wǎng)站主題分析、標(biāo)引與檢索技術(shù)的研究[D];哈爾濱工業(yè)大學(xué);2006年

8 高杰;基于應(yīng)用區(qū)分的多級(jí)Web QoS服務(wù)模型研究與實(shí)現(xiàn)[D];東南大學(xué);2006年

9 趙欽;并行爬行器的架構(gòu)與優(yōu)化策略[D];北京工業(yè)大學(xué);2006年

10 孫艷華;垃圾郵件過(guò)濾技術(shù)的研究[D];大連海事大學(xué);2007年

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 金綏更;關(guān)于最小完善散列函數(shù)[J];計(jì)算機(jī)學(xué)報(bào);1987年05期

2 曹桂田,黃令恭;關(guān)于對(duì)電子郵件安全增強(qiáng)(PEM)機(jī)制評(píng)述的商榷[J];上海大學(xué)學(xué)報(bào)(自然科學(xué)版);1997年02期

3 郭振波,張公敬;虛擬存儲(chǔ)地址變換的倒置映象技術(shù)[J];微計(jì)算機(jī)應(yīng)用;1999年01期

4 蔡紅柳,李澤民,何新華;用IDEA構(gòu)造散列函數(shù)實(shí)現(xiàn)認(rèn)證的方案[J];計(jì)算機(jī)工程;2000年S1期

5 王勇,潘懋;一種基于散列函數(shù)的三角面片拓?fù)淇焖俳⑺惴╗J];計(jì)算機(jī)工程與應(yīng)用;2001年17期

6 朱建偉,何熙文;數(shù)據(jù)流在網(wǎng)絡(luò)傳輸中的實(shí)時(shí)認(rèn)證[J];微處理機(jī);2001年04期

7 吳業(yè)福;用VB6實(shí)現(xiàn)中文文本的加密[J];微型機(jī)與應(yīng)用;2001年04期

8 李家國(guó),李建華,章 程;一種Web站點(diǎn)網(wǎng)頁(yè)資源保護(hù)設(shè)計(jì)方案[J];計(jì)算機(jī)工程;2002年04期

9 劉翌南,費(fèi)洪曉,冷健;文件防篡改的技術(shù)及實(shí)現(xiàn)[J];湘潭大學(xué)自然科學(xué)學(xué)報(bào);2002年03期

10 李哲,方勇,陳淑敏,劉杰;數(shù)據(jù)庫(kù)加密技術(shù)中散列函數(shù)的應(yīng)用[J];計(jì)算機(jī)工程;2003年17期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前3條

1 方妮;郭超;;DSA數(shù)字簽名算法研究及軟件實(shí)現(xiàn)[A];中國(guó)工程物理研究院科技年報(bào)（2001）[C];2001年

2 潘麗;鄒建成;;一種基于英文文本內(nèi)容的零水印新算法[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2007年

3 施俊龍;沈明玉;趙欽;;一種改進(jìn)的OPT技術(shù)[A];全國(guó)第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2008年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前7條

1 潘成文;動(dòng)態(tài)密碼認(rèn)證的起源和應(yīng)用[N];計(jì)算機(jī)世界;2002年

2 沈建苗;警惕網(wǎng)絡(luò)欺詐[N];中國(guó)計(jì)算機(jī)報(bào);2004年

3 李東亮;設(shè)計(jì)自免疫防火墻[N];計(jì)算機(jī)世界;2004年

4 中科院計(jì)算所 羅杰文;P2P網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)[N];計(jì)算機(jī)世界;2006年

5 中科院計(jì)算所 羅杰文;P2P搜索技術(shù)研究與挑戰(zhàn)[N];計(jì)算機(jī)世界;2006年

6 中國(guó)工程院院士 沈昌祥;大力發(fā)展我國(guó)可信計(jì)算技術(shù)及產(chǎn)業(yè)[N];計(jì)算機(jī)世界;2007年

7 馮衛(wèi)東;新技術(shù)開(kāi)創(chuàng)新生活[N];科技日?qǐng)?bào);2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前2條

1 蔣汝忠;匿名群體及抗重設(shè)攻擊身份識(shí)別方案研究[D];浙江大學(xué);2003年

2 閻召祥;公鑰加密方案的選密安全性證明方法及2～m次根識(shí)別方案在同步攻擊下的安全性證明[D];山東大學(xué);2007年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 王勇;實(shí)時(shí)加密和散列CBC的構(gòu)造方法[D];福州大學(xué);2002年

2 單玉峰;電子商務(wù)中數(shù)據(jù)安全性問(wèn)題的研究——AES算法的研究與實(shí)現(xiàn)[D];合肥工業(yè)大學(xué);2002年

3 魯軍;電子投票系統(tǒng)及其身份認(rèn)證和投票協(xié)議的設(shè)計(jì)與實(shí)現(xiàn)[D];重慶大學(xué);2004年

4 蔡璐;圖書(shū)館網(wǎng)站內(nèi)容防護(hù)系統(tǒng)的研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

5 陸國(guó)棟;基于IPSec VPN的安全性研究[D];華東師范大學(xué);2006年

6 王兵;基于智能卡和PKI的安全文件傳輸軟件設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2006年

7 孫黎;IPSec安全芯片的設(shè)計(jì)與實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2007年

8 孫賀;基于密碼學(xué)及數(shù)字簽名的電子印章解決方案[D];吉林大學(xué);2007年

9 孫楠楠;面向可信計(jì)算平臺(tái)的SHA-1協(xié)處理器研究與實(shí)現(xiàn)[D];電子科技大學(xué);2007年

10 王倩;BAN類邏輯的研究[D];山東大學(xué);2007年

，

本文編號(hào)：2286050