本文關(guān)鍵詞：主題網(wǎng)絡(luò)爬蟲的分析與設(shè)計，由筆耕文化傳播整理發(fā)布。

《北京郵電大學(xué)》 2013年

主題網(wǎng)絡(luò)爬蟲的分析與設(shè)計

王洪威  

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,浩瀚的網(wǎng)絡(luò)信息資源給人類的生活造成了深刻的影響。于是如何合理利用,并且怎么去完善它們成為了現(xiàn)在的主題關(guān)鍵,因為人們更加注重于如何從互聯(lián)網(wǎng)上搜索到自己想要的信息,這就需要搜索引擎的支持。然而,正是由于互聯(lián)網(wǎng)上信息成千上萬,信息過于膨脹,才‘使得如何通過網(wǎng)頁便捷地查詢到目標(biāo)信息變得很重要。以往的通用搜索引擎很大程度上幫助人們在互聯(lián)網(wǎng)查找信息更加方便,然而,慢慢地也暴露了很多弊端,大部分情況下不能提供個性化專業(yè)化的信息搜索,查準(zhǔn)率偏低、內(nèi)容陳舊等。于是面向主題搜索的第四代搜索引擎應(yīng)運(yùn)而生。主題搜索引擎,專門面向特定的對象、能夠滿足特定領(lǐng)域和人群的要求,更適應(yīng)于社會形勢。主題網(wǎng)絡(luò)爬蟲由此作為一種工具,在主題搜索引擎領(lǐng)域,發(fā)揮著越來越重要的作用,正因如此,以主題網(wǎng)絡(luò)爬蟲為核心的主題搜索引擎成為研究的重中之重,并且對于主題網(wǎng)絡(luò)爬蟲的研究,也逐漸成為目前信息挖掘領(lǐng)域的熱點。 本文就是通過自己對現(xiàn)有搜索引擎發(fā)展的基本了解,針對性地開展對主題網(wǎng)絡(luò)爬蟲進(jìn)行的研究,本文主要通過六個章節(jié)來分析主題爬蟲的設(shè)計和實現(xiàn)。主要研究內(nèi)容如下： 1.主要闡述了課題研究的背景,并對國內(nèi)外的對主題爬蟲的研究現(xiàn)狀以及課題的研究意義進(jìn)行了綜述； 2.通過介紹搜索引擎的發(fā)展,闡述了搜索引擎的基本原理并由此引入了對于網(wǎng)絡(luò)爬蟲的相關(guān)介紹,隨后還進(jìn)行了兩者之間的對比,重點研究了兩種爬蟲的體系結(jié)構(gòu)和基本工作原理； 3.對主題爬蟲領(lǐng)域關(guān)鍵技術(shù)進(jìn)行了詳細(xì)介紹和對比,同時對于網(wǎng)絡(luò)中普遍存在的隧道現(xiàn)象也進(jìn)行了針對性的算法改進(jìn)并進(jìn)行了編碼實現(xiàn),最后還對于不同的算法也說明了其相關(guān)度計算方式； 4.探討主題爬蟲的系統(tǒng)設(shè)計與實現(xiàn),主要包括網(wǎng)頁抓取模塊、網(wǎng)頁分析模塊、中文分詞、管理等模塊等； 5.重點對主題爬蟲系統(tǒng)的實施辦法進(jìn)行了研究和詳細(xì)設(shè)計,利用該系統(tǒng)主要的數(shù)據(jù)分析方式,集合實驗數(shù)據(jù)得出分析結(jié)果,證明了前述章節(jié)中各個理論的合理性與有效性。 6.最后對前面章節(jié)內(nèi)容進(jìn)行的總結(jié)與歸納,并提出本文的創(chuàng)新點與局限性。 實驗表明：對于本人提出的詳細(xì)改進(jìn)策略應(yīng)用到主題爬蟲實際工作中具有明顯的優(yōu)越性,不僅保證了較高的收獲比,而且極大減少了存儲空間和爬取時間。保證了網(wǎng)頁的及時更新,此外大量分析還表明’對于用戶使用過程中會剔除更多的冗余信息,具有較高的查準(zhǔn)率。

【關(guān)鍵詞】：
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP391.3
【目錄】：

下載全文 更多同類文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 張鋒,樊孝忠;基于最大熵模型的交集型切分歧義消解[J];北京理工大學(xué)學(xué)報;2005年07期

2 周蕾;;基于碎片分詞的未登錄詞識別方法[J];常熟理工學(xué)院學(xué)報;2007年02期

3 劉剛;于力超;;搜索引擎中網(wǎng)絡(luò)蜘蛛的設(shè)計與實現(xiàn)[J];電腦與信息技術(shù);2007年04期

4 李麗;朱國同;陳秀娟;井西利;;模擬退火算法的改進(jìn)及在靜校正中的應(yīng)用[J];大慶石油地質(zhì)與開發(fā);2008年05期

5 徐家樹;邢立新;覃征;;超鏈接文本相關(guān)度的PageRank算法[J];哈爾濱工業(yè)大學(xué)學(xué)報;2009年01期

6 王福昌;張艷芳;;一種改進(jìn)模擬退火算法在非線性方程組求解中的應(yīng)用[J];航空計算技術(shù);2007年06期

7 劉向東 ,駱斌 ,陳兆乾;支持向量機(jī)最優(yōu)模型選擇的研究[J];計算機(jī)研究與發(fā)展;2005年04期

8 林海霞;原福永;陳金森;劉俊峰;;一種改進(jìn)的主題網(wǎng)絡(luò)蜘蛛搜索算法[J];計算機(jī)工程與應(yīng)用;2007年10期

9 趙仲孟;張蓓;沈均毅;;對搜索引擎未來發(fā)展的探討[J];計算機(jī)科學(xué);2001年03期

10 印鑒,陳憶群,張鋼;搜索引擎技術(shù)研究與發(fā)展[J];計算機(jī)工程;2005年14期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 苗家;馬軍;陳竹敏;;一種基于HITS算法的blog文摘方法[A];第六屆全國信息檢索學(xué)術(shù)會議論文集[C];2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 陳杰;主題搜索引擎中網(wǎng)絡(luò)蜘蛛搜索策略研究[D];浙江大學(xué);2006年

2 譚思亮;聚焦爬行系統(tǒng)的設(shè)計—算法視角[D];中國科學(xué)院研究生院（成都計算機(jī)應(yīng)用研究所）;2006年

3 王思力;面向大規(guī)模信息檢索的中文分詞技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2006年

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 趙洋;滕桂法;張玉新;何冬梅;;基于Internet的農(nóng)業(yè)信息垂直搜索引擎的設(shè)計[J];河北農(nóng)業(yè)大學(xué)學(xué)報;2009年06期

2 張澎;王魯達(dá);唐日成;;電子商務(wù)中的數(shù)據(jù)挖掘[J];湘南學(xué)院學(xué)報;2009年02期

3 張宏達(dá);王曉丹;徐海龍;;用于RBF-SVM參數(shù)搜索的偽梯度動態(tài)步長算法[J];電子科技大學(xué)學(xué)報;2010年04期

4 于江德;李學(xué)鈺;樊孝忠;龐文博;;最大熵模型的事件分類[J];電子科技大學(xué)學(xué)報;2010年04期

5 敖東陽;劉好杰;;Larbin分析與Windows平臺下移植[J];電腦學(xué)習(xí);2009年04期

6 丁偉;謝彥峰;張忠林;;一種基于用戶興趣的搜索引擎輸入信息處理方法[J];電腦與信息技術(shù);2008年05期

7 蔣明亮;李志清;;網(wǎng)站內(nèi)容檢索系統(tǒng)的設(shè)計[J];電腦知識與技術(shù);2009年05期

8 熊馨;康國磊;胡光武;鞏建偉;;基于Web Service的分布式網(wǎng)站內(nèi)容監(jiān)控系統(tǒng)設(shè)計[J];電腦知識與技術(shù);2009年18期

9 王晶;陳衛(wèi)衛(wèi);;AJAX搜索引擎研究[J];電腦知識與技術(shù);2009年19期

10 張麗敏;;垂直搜索引擎的主題爬蟲策略[J];電腦知識與技術(shù);2010年15期

中國重要會議論文全文數(shù)據(jù)庫 前5條

1 陶冶;劉建勛;唐明董;;基于Map/Reduce的分布式Web服務(wù)搜索引擎設(shè)計與實現(xiàn)[A];CCF NCSC 2011——第二屆中國計算機(jī)學(xué)會服務(wù)計算學(xué)術(shù)會議論文集[C];2011年

2 吳東辰;;比較國內(nèi)外幾種主要的搜索引擎[A];福建省圖書館學(xué)會2005年學(xué)術(shù)年會論文集[C];2005年

3 劉雪芹;齊大朝;;基于robot的全文搜索引擎原理剖析[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2011年

4 孟紅;鐘華;;基于htmlparser的搜索引擎信息抽取系統(tǒng)設(shè)計與實現(xiàn)[A];第六屆全國信息檢索學(xué)術(shù)會議論文集[C];2010年

5 單鐵城;張安妮;馬德輝;;基于爬蟲改進(jìn)算法的個性化搜索引擎應(yīng)用研究[A];戰(zhàn)略性新興產(chǎn)業(yè)與科技支撐——2012年山東省科協(xié)學(xué)術(shù)年會論文集[C];2012年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 呂青;思維進(jìn)化和支持向量機(jī)理論及其在煉焦配煤優(yōu)化中的應(yīng)用研究[D];太原理工大學(xué);2011年

2 錢鵬江;大規(guī)模數(shù)據(jù)集聚類方法研究及應(yīng)用[D];江南大學(xué);2011年

3 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

4 田俊華;基于本體知識庫的教學(xué)資源自動采集技術(shù)研究[D];南京師范大學(xué);2011年

5 高雅田;基于MAS的數(shù)據(jù)挖掘模型自動選擇方法研究[D];東北石油大學(xué);2011年

6 賈磊;核方法模型選擇與模型組合的譜方法[D];天津大學(xué);2010年

7 金珠;改進(jìn)的支持向量機(jī)分類算法及其在煤礦人因事故安全評價中的應(yīng)用[D];中國礦業(yè)大學(xué);2011年

8 申文武;無結(jié)構(gòu)P2P網(wǎng)絡(luò)中基于語義和節(jié)點存儲能力的搜索關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2011年

9 馮敏萱;論漢英平行語料的平行處理[D];南京師范大學(xué);2006年

10 牟少敏;核方法的研究及其應(yīng)用[D];北京交通大學(xué);2008年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 徐財應(yīng);基于Lucene的搜索引擎技術(shù)的研究與改進(jìn)[D];長春理工大學(xué);2010年

2 孫原;基于酉變換的權(quán)威頁面挖掘算法研究[D];哈爾濱工程大學(xué);2010年

3 郭世勝;基于Agent的搜索引擎的研究與實現(xiàn)[D];大連海事大學(xué);2010年

4 王飛;基于蟻群優(yōu)化的模糊文本聚類算法研究[D];河南工業(yè)大學(xué);2010年

5 王思麗;藏文網(wǎng)頁自動發(fā)現(xiàn)與采集技術(shù)研究[D];西北民族大學(xué);2010年

6 張曉艷;面向農(nóng)業(yè)信息服務(wù)平臺的挖掘技術(shù)研究[D];湖南工業(yè)大學(xué);2010年

7 李永春;主題搜索引擎的研究與實現(xiàn)[D];哈爾濱理工大學(xué);2010年

8 郭瞳康;基于詞典的中文分詞技術(shù)研究[D];哈爾濱理工大學(xué);2010年

9 王曉地;Web信息采集技術(shù)研究與實現(xiàn)[D];華南理工大學(xué);2010年

10 巫昌凱;企業(yè)知識庫系統(tǒng)中復(fù)雜查詢系統(tǒng)的設(shè)計與實現(xiàn)[D];華南理工大學(xué);2010年

【二級參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉長河;汪元倫;;求非線性方程組的數(shù)值解的MRV迭代法的特殊應(yīng)用[J];北京建筑工程學(xué)院學(xué)報;2006年03期

2 孫鐵利,楊鳳芹;根據(jù)用戶隱式反饋建立和更新用戶興趣模型[J];東北師大學(xué)報(自然科學(xué)版);2003年03期

3 趙晶;唐煥文;朱訓(xùn)芝;;模擬退火算法的一種改進(jìn)及其應(yīng)用研究[J];大連理工大學(xué)學(xué)報;2006年05期

4 紀(jì)晨，姚振興;用于地球物理反演的均勻設(shè)計優(yōu)化算法[J];地球物理學(xué)報;1996年02期

5 師學(xué)明,王家映,張勝業(yè),胡祥云;多尺度逐次逼近遺傳算法反演大地電磁資料[J];地球物理學(xué)報;2000年01期

6 劉伊克,常旭,王輝,李福中;三維復(fù)雜地形近地表速度估算及地震層析靜校正[J];地球物理學(xué)報;2001年02期

7 林依華,張中杰,尹成,周熙襄;復(fù)雜地形條件下靜校正的綜合尋優(yōu)[J];地球物理學(xué)報;2003年01期

8 井西利;楊長春;;求解地震靜校正問題的雙尺度反演方法[J];地球物理學(xué)報;2006年05期

9 師學(xué)明;王家映;易遠(yuǎn)元;苑新喜;王曉明;張云姝;;一種新的地球物理反演方法——模擬原子躍遷反演法[J];地球物理學(xué)報;2007年01期

10 姚姚;地球物理非線性反演模擬退火法的改進(jìn)[J];地球物理學(xué)報;1995年05期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 俞鴻魁;基于層次隱馬爾可夫模型的漢語詞法分析和命名實體識別技術(shù)[D];北京化工大學(xué);2004年

2 王宇;基于TFIDF的文本分類算法研究[D];鄭州大學(xué);2006年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉磊安;符志強(qiáng);;基于Lucene.net網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2010年08期

2 劉潔清;吳京慧;;面向主題的個人實時搜索引擎的設(shè)計與實現(xiàn)[J];現(xiàn)代圖書情報技術(shù);2006年05期

3 王軍;彭建;;網(wǎng)絡(luò)爬蟲的結(jié)構(gòu)設(shè)計研究[J];科技信息(學(xué)術(shù)研究);2007年27期

4 鄒海亮;孫莉;;可定制的聚焦網(wǎng)絡(luò)爬蟲[J];電子科技;2009年01期

5 何志文;郭利剛;;搜索引擎技術(shù)在互聯(lián)網(wǎng)音視頻節(jié)目監(jiān)測系統(tǒng)中的應(yīng)用[J];廣播與電視技術(shù);2009年03期

6 陶榮;陳燕;;基于Lucene小型搜索引擎的研究與實現(xiàn)[J];大眾科技;2010年02期

7 石柯;周利兵;陶文兵;;基于移動代理的MAISE爬蟲的設(shè)計與實現(xiàn)[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2005年S1期

8 曹忠;趙文靜;;一種優(yōu)化的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2008年35期

9 徐遠(yuǎn)超;劉江華;劉麗珍;關(guān)永;;基于Web的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];微計算機(jī)信息;2007年21期

10 謝娟文;秦淑娟;焦愛勝;;人工智能在搜索引擎資源獲取中的應(yīng)用[J];機(jī)械研究與應(yīng)用;2009年02期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國第21屆計算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2010）暨全國第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2010年

2 劉凡平;高艷華;于炯;張偉;;基于關(guān)鍵決策方法的站內(nèi)搜索研究與實現(xiàn)[A];2010年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集[C];2010年

3 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[A];2010年全國通信安全學(xué)術(shù)會議論文集[C];2010年

4 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

5 王凱;劉代志;李東旭;齊瑋;;地球物理環(huán)境情報搜集系統(tǒng)研究[A];國家安全地球物理叢書（四）——地球物理環(huán)境探測和目標(biāo)信息獲取與處理[C];2008年

6 陶冶;劉建勛;唐明董;;基于Map/Reduce的分布式Web服務(wù)搜索引擎設(shè)計與實現(xiàn)[A];CCF NCSC 2011——第二屆中國計算機(jī)學(xué)會服務(wù)計算學(xué)術(shù)會議論文集[C];2011年

7 李丹;;如何利用搜索引擎查找中醫(yī)藥信息[A];中國中醫(yī)藥信息研究會第二屆理事大會暨學(xué)術(shù)交流會議論文匯編[C];2003年

8 鄧長壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2001年

9 維尼拉·木沙江;吐爾洪·吾司曼;;維、哈、柯文搜索引擎中網(wǎng)頁爬行器的設(shè)計與實現(xiàn)[A];少數(shù)民族青年自然語言處理技術(shù)研究與進(jìn)展——第三屆全國少數(shù)民族青年自然語言信息處理、第二屆全國多語言知識庫建設(shè)聯(lián)合學(xué)術(shù)研討會論文集[C];2010年

10 鄒永斌;陳興蜀;王文賢;;一個高性能Web資源收集系統(tǒng)的設(shè)計與實現(xiàn)[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 李一鑫;[N];財經(jīng)時報;2007年

2 周文林;[N];經(jīng)濟(jì)參考報;2007年

3 惠正一;[N];第一財經(jīng)日報;2005年

4 賽迪顧問股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;[N];中國計算機(jī)報;2005年

5 陳珊;[N];人民郵電;2005年

6 趙法忠;[N];中國經(jīng)營報;2005年

7 金朝力;[N];北京商報;2006年

8 本報記者　 趙曉輝 孟昭麗;[N];中國證券報;2006年

9 孫琎;[N];第一財經(jīng)日報;2006年

10 姜蕊;[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 吳永輝;面向?qū)I(yè)領(lǐng)域的網(wǎng)絡(luò)信息采集及主題檢測技術(shù)研究與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2010年

2 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

3 岑榮偉;基于用戶行為分析的搜索引擎評價研究[D];清華大學(xué);2010年

4 蘇君華;面向搜索引擎的技術(shù)接受模型研究[D];南京大學(xué);2011年

5 劉佐達(dá);分布協(xié)作式搜索引擎模型及算法研究[D];清華大學(xué);2011年

6 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學(xué);2011年

7 郭眈;中文互聯(lián)網(wǎng)視頻搜索引擎系統(tǒng)策略研究[D];北京交通大學(xué);2012年

8 王镠璞;基于用戶體驗的互聯(lián)網(wǎng)搜索引擎醫(yī)學(xué)信息檢索可用性評估研究[D];吉林大學(xué);2010年

9 李莎莎;面向搜索引擎的自然語言處理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

10 鄭文良;基于簡單本體的農(nóng)業(yè)P2P搜索引擎關(guān)鍵技術(shù)研究[D];沈陽農(nóng)業(yè)大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 梁萍;搜索引擎中網(wǎng)絡(luò)爬蟲及結(jié)果聚類的研究與實現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2011年

2 龔勇;搜索引擎中網(wǎng)絡(luò)爬蟲的研究[D];武漢理工大學(xué);2010年

3 夏亮;主題搜索引擎網(wǎng)絡(luò)爬蟲搜索策略的研究與實現(xiàn)[D];北京化工大學(xué);2010年

4 王洪威;主題網(wǎng)絡(luò)爬蟲的分析與設(shè)計[D];北京郵電大學(xué);2013年

5 李春生;基于WEB信息采集的分布式網(wǎng)絡(luò)爬蟲搜索引擎的研究[D];吉林大學(xué);2009年

6 蘇旋;分布式網(wǎng)絡(luò)爬蟲技術(shù)的研究與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2006年

7 楊曉丹;基于Lucene的主題搜索引擎模板的設(shè)計與實現(xiàn)[D];浙江工商大學(xué);2011年

8 芮虎;比價購物平臺中網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[D];華東理工大學(xué);2013年

9 周旭;BBS熱點分析系統(tǒng)研究[D];北京交通大學(xué);2007年

10 郭海燕;搜索引擎中網(wǎng)絡(luò)爬蟲技術(shù)研究[D];西安電子科技大學(xué);2009年

  本文關(guān)鍵詞：主題網(wǎng)絡(luò)爬蟲的分析與設(shè)計，，由筆耕文化傳播整理發(fā)布。

本文編號：73552