本文選題：陷阱技術　切入點：爬蟲檢測　出處：《計算機應用》2010年07期

【摘要】：網絡爬蟲作為一種網絡資源獲取程序,在被搜索引擎等領域廣泛應用的同時,也帶來隱私泄露、版權糾紛等諸多問題,因此需要檢測和約束Spider的行為�？偨Y了現(xiàn)有的Spider檢測方法,介紹了陷阱技術在Spider檢測中的應用現(xiàn)狀,提出利用有結構的陷阱技術,構建Spider檢測的網站模型和相應的檢測算法,并對該方法的檢測能力進行了分析和評價,最后在通過實驗系統(tǒng)驗證陷阱檢測方法與人工分析結論相一致的基礎上進一步分析了該檢測結果的成因。
[Abstract]:As a kind of network resource acquisition program, the web crawler is widely used by search engines and other fields, but also brings many problems such as privacy disclosure, copyright disputes, etc. Therefore, it is necessary to detect and constrain the behavior of Spider. This paper summarizes the existing methods of Spider detection, introduces the application status of trap technology in Spider detection, and puts forward a website model and corresponding detection algorithm for Spider detection based on structured trap technology. The detection ability of the method is analyzed and evaluated. Finally, the causes of the detection results are further analyzed on the basis of the conclusion that the trap detection method is consistent with the artificial analysis results.
【作者單位】： 沈陽航空工業(yè)學院計算機學院;
【基金】：遼寧省教育廳基金資助項目(2009B140)
【分類號】：TP393.08

【參考文獻】

相關期刊論文 前2條

1 周立柱,林玲;聚焦爬蟲技術研究綜述[J];計算機應用;2005年09期

2 曾偉輝;李淼;曾偉輝;;深層網絡爬蟲研究綜述[J];計算機系統(tǒng)應用;2008年05期

【共引文獻】

相關期刊論文 前10條

1 孫素芬;羅長壽;張峻峰;于峰;張樹亮;;農業(yè)信息資源整合系統(tǒng)研究與應用[J];安徽農業(yè)科學;2007年22期

2 汪斌;張云偉;劉健;陳晶;;一種面向農業(yè)信息主題網絡爬蟲的設計[J];安徽農業(yè)科學;2009年20期

3 廉捷;劉云;;網絡輿情中的信息預處理與自動摘要算法[J];北京交通大學學報;2010年05期

4 任斌;毛應爽;;基于本體的主動學習主題爬行的研究與實現(xiàn)[J];長春工程學院學報(自然科學版);2011年01期

5 于成龍;于洪波;;網絡爬蟲技術研究[J];東莞理工學院學報;2011年03期

6 武昊;廖安平;何超英;侯東陽;;基于主題相關度的地理信息Web服務爬蟲研究[J];地理與地理信息科學;2012年02期

7 陳麗君;;深層網查詢表單標簽識別技術研究[J];電腦開發(fā)與應用;2010年02期

8 張超;閆宏印;;多線程網絡爬蟲的設計與實現(xiàn)[J];電腦開發(fā)與應用;2012年06期

9 孫立偉;何國輝;吳禮發(fā);;網絡爬蟲技術的研究[J];電腦知識與技術;2010年15期

10 吳聰聰;趙建立;;基于本體的主題爬蟲的研究[J];電腦知識與技術;2011年03期

相關會議論文 前4條

1 王棟;陳勇;徐建良;;基于預測的BitTorrent種子評估方法[A];2008'中國信息技術與應用學術論壇論文集（二）[C];2008年

2 劉兵;胡學鋼;;基于多鏈接分析的主題爬蟲設計實現(xiàn)[A];全國第20屆計算機技術與應用學術會議（CACIS·2009）暨全國第1屆安全關鍵技術與應用學術會議論文集（上冊）[C];2009年

3 徐劍;柯貴明;;網絡爬蟲技術在搜索引擎中的應用[A];全國第21屆計算機技術與應用學術會議（CACIS·2010）暨全國第2屆安全關鍵技術與應用學術會議論文集[C];2010年

4 戴玉剛;;藏文網頁采集技術研究[A];民族語言文字信息技術研究——第十一屆全國民族語言文字信息學術研討會論文集[C];2007年

相關博士學位論文 前10條

1 吳羽;面向時間敏感對象的垂直搜索引擎關鍵技術研究[D];浙江大學;2011年

2 鄧斌;B2C在線評論中的客戶知識管理研究[D];電子科技大學;2010年

3 張翔;文本挖掘技術研究及其在綜合風險信息網絡中的應用[D];西北大學;2011年

4 邱峰;遠程醫(yī)學教育臨床技能培訓模式與平臺研究[D];華東師范大學;2011年

5 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測系統(tǒng)研究[D];北京郵電大學;2011年

6 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學;2010年

7 阮備軍;Web使用挖掘若干關鍵問題研究[D];復旦大學;2004年

8 許智超;電子商務訂單實時處理的智能系統(tǒng)研究[D];大連理工大學;2006年

9 董一鴻;動態(tài)數(shù)據(jù)庫增量式挖掘算法及其應用的研究[D];浙江大學;2007年

10 易明;基于Web挖掘的電子商務個性化推薦機理與方法研究[D];華中科技大學;2006年

相關碩士學位論文 前10條

1 呂芳芳;基于查詢擴展的垂直搜索研究[D];山東科技大學;2010年

2 翁巖青;網頁抓取策略研究[D];哈爾濱工程大學;2010年

3 蔡宇虹;基于主題的元搜索引擎關鍵技術研究[D];哈爾濱工程大學;2010年

4 史煒;個性化搜索引擎的研究與設計[D];電子科技大學;2010年

5 丁寶瓊;網絡文本信息采集分析關鍵技術研究與實現(xiàn)[D];解放軍信息工程大學;2009年

6 沙有闖;基于Web文本挖掘的網絡口碑監(jiān)測系統(tǒng)研究[D];安徽大學;2010年

7 陳可欽;基于垂直搜索引擎的主題爬蟲算法的研究[D];中南林業(yè)科技大學;2009年

8 張朝威;面向企業(yè)競爭情報的主題搜索研究與實現(xiàn)[D];西安電子科技大學;2010年

9 單蓉;基于WEB挖掘的E-learning環(huán)境下的個性化教學平臺研究[D];西安電子科技大學;2009年

10 劉永信;主題搜索與Web挖掘的研究及系統(tǒng)實現(xiàn)[D];西安電子科技大學;2009年

【二級參考文獻】

相關期刊論文 前10條

1 彭建榮;羅永會;;搜索引擎的基本原理及發(fā)展趨勢[J];電腦知識與技術;2006年02期

2 宋暉,張嶺,葉允明,馬范援;基于標記樹對象抽取技術的Hidden Web獲取研究[J];計算機工程與應用;2002年23期

3 陳珂;陳小英;徐科;;Hidden Web信息獲取[J];計算機時代;2007年05期

4 王映,于滿泉,李盛韜,王斌,余智華;JavaScript引擎在動態(tài)網頁采集技術中的應用[J];計算機應用;2004年02期

5 劉金紅;陸余良;;主題網絡爬蟲研究綜述[J];計算機應用研究;2007年10期

6 孫彬;王東;李娟;;基于XQuery的Deep Web搜索系統(tǒng)的設計與實現(xiàn)[J];科學技術與工程;2007年16期

7 鄭冬冬,趙朋朋,崔志明;Deep Web爬蟲研究與設計[J];清華大學學報(自然科學版);2005年S1期

8 鄭冬冬;崔志明;;Deep Web爬蟲爬行策略研究[J];計算機工程與設計;2006年17期

9 嚴亞蘭;面向動態(tài)網頁爬行的Crawler架構[J];圖書情報知識;2003年04期

10 李濤;陳鵬;李哲;;深度Web資源探測系統(tǒng)的研究與實現(xiàn)[J];微計算機信息;2007年33期

相關碩士學位論文 前1條

1 羅兵;支持AJAX的互聯(lián)網搜索引擎爬蟲設計與實現(xiàn)[D];浙江大學;2007年

【相似文獻】

相關期刊論文 前10條

1 張振軍;毛志剛;;基于偽隨機的微處理器驗證方法及改進[J];信息技術;2008年10期

2 連蓮;周穎;呂巍;;移動通信行業(yè)高價值客戶識別指標研究[J];移動通信;2009年06期

3 萬曉榆;李慧奇;樊自甫;;基于射頻直放站的WCDMA網室內覆蓋解決方案[J];郵電設計技術;2009年12期

4 底欣;張百海;;一類異類無線傳感器網絡節(jié)點調度問題研究[J];儀器儀表學報;2011年06期

5 夏銘;陳曉光;;河南省DMB-T單頻網信號覆蓋率的計算[J];電視技術;2006年06期

6 毛鶯池;龔海剛;劉明;陳道蓄;謝立;;ELIQoS:一種高效節(jié)能、與位置無關的傳感器網絡服務質量協(xié)議[J];計算機研究與發(fā)展;2006年06期

7 李德仁;寧曉剛;;一種新的基于內容遙感圖像檢索的圖像分塊策略[J];武漢大學學報(信息科學版);2006年08期

8 夏銘;顧豐儀;陳曉光;;小功率DVB-T單頻網覆蓋分析[J];電視技術;2006年12期

9 ;2006年全國城市都市報銷量排行(之一)[J];傳媒;2007年01期

10 孫釗;王勇;;芯片功能驗證流的高效生成方法[J];北京大學學報(自然科學版);2007年01期

相關會議論文 前10條

1 江親瑜;王松年;陳諶聞;;潤滑邊界膜平衡態(tài)覆蓋率計算模型[A];第三屆全國青年摩擦學學術會議論文集[C];1995年

2 賈杰;趙林亮;常桂然;;面向異構傳感器網絡的高能效覆蓋控制[A];中國通信學會第六屆學術年會論文集（下）[C];2009年

3 鄧忠民;劉敬;趙亦兵;洪友士;;激光毛化技術對18-8不銹鋼疲勞性能影響的研究[A];第十二屆全國疲勞與斷裂學術會議論文集[C];2004年

4 景宦;李忠正;王仁榮;吳國泉;王蕊;;原紙表面施膠對涂布涂層覆蓋率和印刷墨斑的影響[A];中國造紙學會第十三屆學術年會論文集（下）[C];2008年

5 倪孟麟;倪澤成;張英林;;LED與其它彩色顯示器色域覆蓋率的比較[A];海峽兩岸第十五屆照明科技與營銷研討會專題報告暨論文集[C];2008年

6 宋勝利;李玉濤;徐麗;;公路合理債務規(guī)模的標準與理論問題[A];中國公路學會公路規(guī)劃分會2003年文集[C];2003年

7 丁克良;童小華;鄭德華;;上海市移動終端GPS定位覆蓋率與可靠性分析[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

8 鄧忠民;趙亦兵;洪友士;;激光熔凝覆蓋率對材料接觸疲勞性能影響的模擬[A];疲勞與斷裂2000——第十屆全國疲勞與斷裂學術會議論文集[C];2000年

9 焦勤;袁穎;羅義;王隼;應灝;傅一萍;趙艷娜;;性別對嬰兒髖臼股骨頭覆蓋率影響的研究[A];中華醫(yī)學會第八次全國小兒外科學術會論文集[C];2010年

10 王英;呂文正;何擁華;;利用深拖調查結果研究多金屬結核覆蓋率與地形的關系[A];1999年中國地球物理學會年刊——中國地球物理學會第十五屆年會論文集[C];1999年

相關重要報紙文章 前10條

1 本報記者 孔臻;“十一五”規(guī)劃將給我們帶來什么[N];上饒日報;2006年

2 記者 齊福臣;明年底社區(qū)衛(wèi)生服務覆蓋率達到100%[N];唐山勞動日報;2007年

3 李茂盛;奈曼森林覆蓋率29.11%居全市第一[N];通遼日報;2009年

4 本報記者 蔣中意;我市農村會有更多連鎖超市[N];金華日報;2005年

5 本報記者　　朱夢聰;貴州：“兩基”人口覆蓋率5年提高59%[N];中國教育報;2006年

6 焦新;全國“兩基”人口覆蓋率達98%[N];中國教育報;2007年

7 本報記者　 王妮娜;“我們的優(yōu)勢不只在規(guī)�！盵N];中國證券報;2006年

8 通訊員 郎沅龍;南澗著力提高農業(yè)綜合生產能力[N];大理日報(漢);2007年

9 柯金欣;我市冬季農業(yè)生產穩(wěn)步推進[N];九江日報;2006年

10 記者　 李嵐;中行上市后首份中期業(yè)績報告表現(xiàn)理想[N];金融時報;2006年

相關博士學位論文 前10條

1 華鋒;破碎波統(tǒng)計及應用研究[D];中國科學院研究生院（海洋研究所）;2005年

2 張慶茂;送粉激光熔覆應用基礎理論的研究[D];中國科學院長春光學精密機械與物理研究所;2000年

3 公維賓;無線Ad Hoc網絡節(jié)點移動技術研究[D];西安電子科技大學;2009年

4 祁力鈞;優(yōu)化液體農藥噴施技術的研究[D];中國農業(yè)大學;2000年

5 楊世鐵;先秦漢語常用詞研究[D];安徽大學;2007年

6 章真;胃癌放療中影響靶區(qū)不確定性因素及其對劑量分布的影響分析[D];復旦大學;2007年

7 劉漢濤;陰山北麓保護性耕作地表抗風蝕效果的試驗研究[D];內蒙古農業(yè)大學;2006年

8 張碧媛;～（18）F-FDG-PET/CT用于精確確定非小細胞肺癌放療靶區(qū)的定量條件的研究[D];復旦大學;2007年

9 曲紅;晉西黃土高原人工林營造對植物多樣性的影響[D];北京林業(yè)大學;2008年

10 張健;林火視頻監(jiān)測新技術研究[D];北京林業(yè)大學;2010年

相關碩士學位論文 前10條

1 賈亮;基于覆蓋率驅動的自動化驗證平臺實現(xiàn)[D];西安電子科技大學;2011年

2 趙秀祥;對稱型與非對稱型脛骨假體對脛骨假端覆蓋率的對照研究[D];天津醫(yī)科大學;2004年

3 陳琦;醫(yī)學論文中半技術性詞匯的分析[D];第四軍醫(yī)大學;2004年

4 劉軼歐;嵌入式實時系統(tǒng)測試的充分性研究與實踐[D];電子科技大學;2004年

5 汪雁;發(fā)達國家職業(yè)年金覆蓋率比較研究[D];中國社會科學院研究生院;2003年

6 薛平;基于四舍五入數(shù)據(jù)的參數(shù)估計[D];東北師范大學;2006年

7 包海濤;共軌跡衛(wèi)星星座的優(yōu)化設計及其應用[D];華中科技大學;2006年

8 葉磊;“龍騰S2”驗證平臺的設計[D];西北工業(yè)大學;2006年

9 張冰潔;智能樓宇模擬量監(jiān)測的無線傳感器網絡及拓撲控制[D];電子科技大學;2007年

10 陳丹;無線傳感器網絡中節(jié)點調度算法的研究[D];華中師范大學;2007年

，

本文編號：1685949