發(fā)布時間：2019-07-11 20:59

【摘要】：在Web信息處理的研究中,不少情況下需要對很大的URL序列進行散列操作.針對兩種典型的應用場合,即Web結構分析中的信息查詢和并行搜索引擎中的負載平衡,基于一個含有2 000多萬個URL的序列,進行了大規(guī)模的實驗評測.說明在許多文獻中推薦的對字符串散列效果很好的ELFhash函數對URL的散列效果并不好,同時推薦了兩種對URL散列效果很好的函數.
[Abstract]:In the research of Web information processing, a large URL sequence needs to be hashed. For two typical applications, namely, the information query in the web structure analysis and the load balancing in the parallel search engine, a large-scale experiment evaluation is carried out based on a sequence containing more than 20 million URLs. The ELFhash function, which is recommended in many documents, has a good effect on the hash of a string, and it is not good to have a good hash effect on the URL, and two functions that are good for the URL hashing are recommended.
【作者單位】： 北京大學計算機科學技術系 北京大學計算機科學技術系
【基金】：國家重點基礎研究發(fā)展規(guī)劃(973)No.G1999032706~~
【分類號】：TP393.09

【相似文獻】

相關期刊論文 前10條

1 齊劍鋒,鄢琦,艾迪明,涂序彥;企業(yè)計算機網絡中保護數據安全性與完整性的一種實用方法[J];計算機工程;2002年01期

2 孔素然;;基于散列思想的網頁去重系統(tǒng)[J];硅谷;2010年22期

3 鄧琦皓,段守敏,賀正國,郭金庚;利用URL Cache提升網絡入侵檢測系統(tǒng)性能[J];計算機應用;2003年S2期

4 陳海濤,胡華平,張怡,龔正虎;網絡入侵檢測中高效散列模式樹算法的研究[J];計算機工程與科學;2002年05期

5 肖明忠;閔博楠;王佳聰;代亞非;;一個實用的針對URL的哈希函數[J];小型微型計算機系統(tǒng);2006年03期

6 周賢偉;戴昕昱;劉蘊絡;;IP組播源認證方案研究[J];計算機工程;2007年16期

7 生慧;張華忠;徐成強;;一種動態(tài)的入侵檢測系統(tǒng)負載均衡算法[J];計算機工程與設計;2006年23期

8 王永明;;網站性能優(yōu)化解決方案研究[J];科技經濟市場;2007年07期

9 韓向春;沈峰;邊瑋;樊書娟;;基于MWM算法的多模式匹配的改進算法NMWM[J];計算機與數字工程;2008年09期

10 曹肖寧;;開心網游戲打榜獨家絕技[J];電腦愛好者;2009年10期

相關會議論文 前1條

1 劉路;孫慶文;;LTEarth互聯網發(fā)布的關鍵技術[A];中國地理信息系統(tǒng)協會第四次會員代表大會暨第十一屆年會論文集[C];2007年

相關碩士學位論文 前2條

1 生慧;高速網絡入侵檢測系統(tǒng)研究[D];山東大學;2006年

2 王凱;非對稱VLAN的核心技術研究[D];南京理工大學;2012年

，

本文編號：2513478