本文關鍵詞：云環(huán)境下搜索引擎系統(tǒng)關鍵技術研究

  更多相關文章： 搜索引擎 網(wǎng)絡爬蟲 全文索引 文本去重

【摘要】：隨著互聯(lián)網(wǎng)內容爆發(fā)式的增長,搜索引擎成為人們使用互聯(lián)網(wǎng)時的主要入口。然而,面對當前互聯(lián)網(wǎng)中的海量信息,傳統(tǒng)搜索引擎在抓取速度、存儲容量以及查準率和查全率方面很難適應現(xiàn)在的互聯(lián)網(wǎng)環(huán)境。本文結合云計算相關技術,研究了搜索引擎系統(tǒng)中文本去重、頁面索引以及網(wǎng)絡信息采集這三個關鍵技術,具體工作如下:首先,為了減少存儲系統(tǒng)中重復頁面的數(shù)量,本文在傳統(tǒng)的文本去重算法Shingling的基礎上,結合LCS問題的解決方法,提出了與位置相關的改進的Shingling去重算法SWLR(Shingling with Location Relationship)。提高了文本去重的查準率和查全率。通過與基于比特位的過濾算法相結合,本文進一步提出了快速SWLR算法,實驗結果表明,快速SWLR算法在沒有降低相似性檢測效果的前提下,顯著提升了SWLR算法運算的性能。其次,為了提高頁面索引中短語查詢的效率,本文在倒排索引模型的基礎上提出了基于鏈表結構的倒排索引模型,通過在倒排索引模型的Term節(jié)點中增加指向相鄰關鍵詞的指針,在通過關鍵詞短語進行查詢時,可以在單位時間內查找到相鄰的關鍵詞并進行匹配。實驗結果表明,基于鏈表結構的倒排索引模型在索引構建、查詢以及內存消耗方面均具有性能優(yōu)勢。最后,本文結合云計算環(huán)境,提出了一種基于Hadoop的網(wǎng)絡爬蟲系統(tǒng)。在該系統(tǒng)中,解析與爬行兩個子系統(tǒng)并行運行,從而充分利用計算機的I/O資源和計算資源。實驗結果表明,本文提出的網(wǎng)絡爬蟲系統(tǒng)具有很好的系統(tǒng)擴展能力和負載均衡能力。
【關鍵詞】：搜索引擎 網(wǎng)絡爬蟲 全文索引 文本去重
【學位授予單位】：南京郵電大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP391.3
【目錄】：

• 摘要4-5
• Abstract5-8
• 專用術語注釋表8-9
• 第一章 緒論9-14
• 1.1 研究背景與意義9-10
• 1.2 國內外研究現(xiàn)狀10-12
• 1.3 主要工作與章節(jié)安排12-14
• 第二章 搜索引擎關鍵技術分析14-26
• 2.1 搜索引擎系統(tǒng)基本原理14-18
• 2.1.1 數(shù)據(jù)采集子系統(tǒng)14-17
• 2.1.2 索引子系統(tǒng)17-18
• 2.1.3 查詢子系統(tǒng)18
• 2.2 云環(huán)境下搜索引擎系統(tǒng)18-23
• 2.2.1 云環(huán)境下搜索引擎系統(tǒng)特點18-19
• 2.2.2 開源搜索引擎系統(tǒng)Nutch19-23
• 2.3 云環(huán)境下搜索引擎關鍵技術23-25
• 2.3.1 分詞技術23
• 2.3.2 文本去重技術23-24
• 2.3.3 全文索引技術24
• 2.3.4 數(shù)據(jù)采集技術24
• 2.3.5 數(shù)據(jù)存儲技術24-25
• 2.4 本章小結25-26
• 第三章 一種基于LCS的文本快速去重算法26-37
• 3.1 相關研究與問題描述26-29
• 3.2 一種基于LCS的文本去重算法29-32
• 3.2.1 LCS算法29
• 3.2.2 基于LCS的文本去重算法(SWLR)29-30
• 3.2.3 快速SWLR文本去重算法30-32
• 3.3 性能仿真及結果分析32-36
• 3.3.1 實驗環(huán)境32
• 3.3.2 SWLR文本去重算法32-34
• 3.3.3 快速SWLR文本去重算法34-36
• 3.4 本章小結36-37
• 第四章 一種基于鏈表結構的全文索引模型37-53
• 4.1 相關研究與問題描述37-45
• 4.1.1 倒排索引模型37-40
• 4.1.2 后綴樹索引模型40-42
• 4.1.3 后綴數(shù)組索引模型42-45
• 4.2 基于鏈表結構改進的倒排索引模型45-49
• 4.2.1 改進的倒排索引模型結構設計46-47
• 4.2.2 改進的倒排索引模型構造算法47-48
• 4.2.3 改進的倒排索引模型查詢算法48-49
• 4.3 性能仿真及結果分析49-52
• 4.3.1 實驗環(huán)境49
• 4.3.2 索引構建時間對比49-50
• 4.3.3 查詢時間對比50-51
• 4.3.4 內存空間使用對比51-52
• 4.4 本章小結52-53
• 第五章 一種基于云環(huán)境的并行網(wǎng)絡爬蟲系統(tǒng)53-65
• 5.1 相關研究與需求分析53-56
• 5.1.1 基于Hadoop的開源網(wǎng)絡爬蟲Nutch53-55
• 5.1.2 云環(huán)境下網(wǎng)絡爬蟲需求分析55-56
• 5.2 基于云環(huán)境的網(wǎng)絡爬蟲系統(tǒng)設計56-61
• 5.2.1 總體結構設計56-57
• 5.2.2 數(shù)據(jù)模型設計57-58
• 5.2.3 功能模塊實現(xiàn)58-61
• 5.3 性能仿真及結果分析61-64
• 5.3.1 單機版本實驗分析61-62
• 5.3.2 分布式版本實驗分析62-64
• 5.4 本章小結64-65
• 第六章 總結與展望65-67
• 參考文獻67-70
• 附錄1 攻讀碩士學位期間撰寫的論文70-71
• 附錄2 攻讀碩士學位期間申請的專利71-72
• 附錄3 攻讀碩士學位期間參加的科研項目72-73
• 致謝73

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 戚欣;;基于本體的主題網(wǎng)絡爬蟲設計[J];武漢理工大學學報;2009年03期

2 彭軻;廖聞劍;;基于瀏覽器服務的網(wǎng)絡爬蟲[J];硅谷;2009年04期

3 王江紅;朱麗君;李彩虹;;一種新型網(wǎng)絡爬蟲的設計與實現(xiàn)[J];微計算機信息;2010年03期

4 孫立偉;何國輝;吳禮發(fā);;網(wǎng)絡爬蟲技術的研究[J];電腦知識與技術;2010年15期

5 楊靖韜;陳會果;;對網(wǎng)絡爬蟲技術的研究[J];科技創(chuàng)業(yè)月刊;2010年10期

6 于成龍;于洪波;;網(wǎng)絡爬蟲技術研究[J];東莞理工學院學報;2011年03期

7 李志義;;網(wǎng)絡爬蟲的優(yōu)化策略探略[J];現(xiàn)代情報;2011年10期

8 焦賽美;;網(wǎng)絡爬蟲技術的研究[J];瓊州學院學報;2011年05期

9 宋海洋;劉曉然;錢�？�;;一種新的主題網(wǎng)絡爬蟲爬行策略[J];計算機應用與軟件;2011年11期

10 王娟;吳金鵬;;網(wǎng)絡爬蟲的設計與實現(xiàn)[J];軟件導刊;2012年04期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 夏詔杰;郭力;李曉霞;;化學主題網(wǎng)絡爬蟲的研究[A];第十屆全國計算(機)化學學術會議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡爬蟲的設計與實現(xiàn)[A];2010年全國通信安全學術會議論文集[C];2010年

3 張軍;于浩;內野寬治;;UGC中產品評論信息的挖掘[A];內容計算的研究與應用前沿——第九屆全國計算語言學學術會議論文集[C];2007年

4 徐劍;柯貴明;;網(wǎng)絡爬蟲技術在搜索引擎中的應用[A];全國第21屆計算機技術與應用學術會議（CACIS·2010）暨全國第2屆安全關鍵技術與應用學術會議論文集[C];2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 陶俊文;基于Heritrix框架的專業(yè)鎮(zhèn)信息網(wǎng)絡爬蟲系統(tǒng)[D];華南理工大學;2015年

2 馬漢超;基于主題網(wǎng)絡爬蟲的汽車行業(yè)多元信息web系統(tǒng)設計與實現(xiàn)[D];西南交通大學;2015年

3 李威;基于交通流量圖的交通信息提取技術研究[D];長安大學;2015年

4 朱嶸良;分布式并行環(huán)境下的網(wǎng)絡爬蟲研究[D];中央民族大學;2015年

5 周思華;股票系統(tǒng)之熱門話題發(fā)現(xiàn)子系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

6 丁杰;基于網(wǎng)絡爬蟲的虛假網(wǎng)頁主動智能檢測[D];華北電力大學;2015年

7 唐華棟;網(wǎng)頁防抓取系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

8 白劍飛;基于層次主題模型的網(wǎng)絡新聞匯聚[D];浙江大學;2015年

9 袁野;企業(yè)內網(wǎng)搜索引擎關鍵技術研究與實現(xiàn)[D];電子科技大學;2014年

10 滕以芳;基于本體的多媒體素材網(wǎng)絡爬蟲設計與實現(xiàn)[D];吉林大學;2015年

，

本文編號：632998