【摘要】：正網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn),即Robots協(xié)議,也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等。Robots協(xié)議是網(wǎng)站出于安全和隱私考慮,防止搜索引擎抓取敏感信息而設(shè)置的,所有內(nèi)容都包含在一個文本文件(robots.txt)中,是搜索引擎訪問一個網(wǎng)站時要查看的第一個文件。搜索引擎的原理是通過一種爬蟲(spider)程序,自動搜集互聯(lián)網(wǎng)上的網(wǎng)頁并獲取相關(guān)信息。而鑒于網(wǎng)絡(luò)安全與隱私的考
[Abstract]:......
【分類號】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄒海亮;孫莉;;可定制的聚焦網(wǎng)絡(luò)爬蟲[J];電子科技;2009年01期

2 陶榮;陳燕;;基于Lucene小型搜索引擎的研究與實(shí)現(xiàn)[J];大眾科技;2010年02期

3 徐遠(yuǎn)超;劉江華;劉麗珍;關(guān)永;;基于Web的網(wǎng)絡(luò)爬蟲的設(shè)計與實(shí)現(xiàn)[J];微計算機(jī)信息;2007年21期

4 謝娟文;秦淑娟;焦愛勝;;人工智能在搜索引擎資源獲取中的應(yīng)用[J];機(jī)械研究與應(yīng)用;2009年02期

5 陳麗君;林懷忠;;搜索引擎頁面刷新策略研究綜述[J];計算機(jī)系統(tǒng)應(yīng)用;2009年07期

6 陳鶴年;季文天;王成;李俊青;;支持Gzip壓縮和編碼轉(zhuǎn)換的網(wǎng)絡(luò)爬蟲設(shè)計[J];電腦知識與技術(shù);2010年30期

7 楊松梅;;網(wǎng)絡(luò)爬蟲[J];硅谷;2009年15期

8 王冬;;中文信息檢索關(guān)鍵技術(shù)分析[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年15期

9 王冬;張運(yùn)波;黃應(yīng)紅;;中文信息檢索關(guān)鍵技術(shù)分析[J];電腦知識與技術(shù)(學(xué)術(shù)交流);2007年17期

10 劉凡平;高艷華;于炯;張偉;;基于關(guān)鍵決策方法的站內(nèi)搜索研究與實(shí)現(xiàn)[J];微電子學(xué)與計算機(jī);2010年08期

相關(guān)會議論文 前10條

1 劉凡平;高艷華;于炯;張偉;;基于關(guān)鍵決策方法的站內(nèi)搜索研究與實(shí)現(xiàn)[A];2010年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集[C];2010年

2 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

3 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國第21屆計算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2010年

4 鄧長壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2001年

5 倪俊峰;;基于黃頁搜索引擎的關(guān)鍵字排名廣告系統(tǒng)的設(shè)計與實(shí)現(xiàn)[A];2005年中國索引學(xué)會年會暨學(xué)術(shù)研討會論文集[C];2005年

6 張怡;查貴庭;;SEO在信息服務(wù)中的應(yīng)用研究[A];2010年中國索引學(xué)會年會暨學(xué)術(shù)研討會論文集[C];2010年

7 陳援非;何哲;朱珍民;;基于普適計算的個性化搜索技術(shù)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議(HHME2006)——第2屆中國普適計算學(xué)術(shù)會議(PCC'06)論文集[C];2006年

8 楊萌;李春麗;朱明;;網(wǎng)絡(luò)搜索技術(shù)下的編輯工作[A];學(xué)報編輯論叢（第十一集）[C];2003年

9 陳磊;茹立云;馬少平;;基于用戶日志挖掘的搜索引擎廣告效果分析[A];第四屆全國學(xué)生計算語言學(xué)研討會會議論文集[C];2008年

10 申琪君;;電子地圖搜索引擎比較[A];中國地理學(xué)會2007年學(xué)術(shù)年會論文摘要集[C];2007年

相關(guān)重要報紙文章 前10條

1 博文邋譯;你的隱私 搜索引擎知道[N];計算機(jī)世界;2007年

2 楊潔;搜索引擎營銷市場生變[N];中國計算機(jī)報;2007年

3 劉文君;搜索引擎也在尋求創(chuàng)新[N];大眾科技報;2007年

4 ;法國挑戰(zhàn)谷歌推出衛(wèi)星地圖搜索引擎[N];人民日報;2006年

5 MirrorCity.net技術(shù)總監(jiān) 姚浩;讓搜索引擎回歸最初夢想[N];中國文化報;2008年

6 本報記者 操秀英;國雙科技以技術(shù)加服務(wù)贏得市場[N];科技日報;2009年

7 趙敏;“魚群理論”破解搜索營銷謎局[N];中國企業(yè)報;2007年

8 本報記者 樊哲高;搜索引擎三國紛爭 中文市場兩軍對壘[N];中國電子報;2009年

9 EndTo;優(yōu)化Meta討好搜索引擎[N];電腦報;2009年

10 本報記者 馬文方;Yebol：從思維科學(xué)導(dǎo)出搜索引擎[N];中國計算機(jī)報;2010年

相關(guān)博士學(xué)位論文 前10條

1 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

2 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學(xué);2010年

3 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

4 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

5 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

6 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

7 李莎莎;面向搜索引擎的自然語言處理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

8 鄭文良;基于簡單本體的農(nóng)業(yè)P2P搜索引擎關(guān)鍵技術(shù)研究[D];沈陽農(nóng)業(yè)大學(xué);2013年

9 白玉琪;空間信息搜索引擎研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

10 費(fèi)巍;搜索引擎檢索功能的性能評價研究[D];武漢大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 梁萍;搜索引擎中網(wǎng)絡(luò)爬蟲及結(jié)果聚類的研究與實(shí)現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2011年

2 夏亮;主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究與實(shí)現(xiàn)[D];北京化工大學(xué);2010年

3 龔勇;搜索引擎中網(wǎng)絡(luò)爬蟲的研究[D];武漢理工大學(xué);2010年

4 歐建斌;基于Web挖掘與信息分類的個性化搜索引擎研究[D];暨南大學(xué);2010年

5 徐財應(yīng);基于Lucene的搜索引擎技術(shù)的研究與改進(jìn)[D];長春理工大學(xué);2010年

6 李春生;基于WEB信息采集的分布式網(wǎng)絡(luò)爬蟲搜索引擎的研究[D];吉林大學(xué);2009年

7 王春花;基于Nutch的農(nóng)業(yè)搜索引擎檢索結(jié)果排序策略的研究[D];西北農(nóng)林科技大學(xué);2010年

8 李雷;基于Nutch的農(nóng)業(yè)信息搜索引擎實(shí)現(xiàn)和優(yōu)化[D];吉林大學(xué);2011年

9 董晨;基于模糊聚類的個性化搜索引擎的研究[D];福州大學(xué);2005年

10 封俊;基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D];太原理工大學(xué);2010年

，

本文編號：2501155