本文關(guān)鍵詞：基于DHT協(xié)議的搜索引擎

  更多相關(guān)文章： DHT Hash 垂直搜索

【摘要】：對(duì)等網(wǎng)絡(luò)(peer to peer P2P)技術(shù)廣泛應(yīng)用于互聯(lián)網(wǎng)中,如基于DHT協(xié)議的BT下載軟件(這其中有電驢、比特彗星、快播),基于P2P的視頻點(diǎn)播系統(tǒng)(pps和uusee等)。P2P可簡(jiǎn)單定義為對(duì)等點(diǎn)之間通過(guò)直接交換信息從而達(dá)到共享計(jì)算機(jī)資源和服務(wù)的兩種角色,以該技術(shù)構(gòu)建的網(wǎng)絡(luò)稱(chēng)為對(duì)等網(wǎng)。與有中心服務(wù)器的中央網(wǎng)絡(luò)系統(tǒng)不同,對(duì)等網(wǎng)絡(luò)的每個(gè)用戶(hù)端既是一個(gè)節(jié)點(diǎn),也有服務(wù)器的功能,任何一個(gè)節(jié)點(diǎn)無(wú)法直接找到其他節(jié)點(diǎn),必須依靠其戶(hù)群進(jìn)行信息交流,即每個(gè)節(jié)點(diǎn)要維護(hù)自己的一段路由表,當(dāng)其他的節(jié)點(diǎn)發(fā)出請(qǐng)求時(shí),這個(gè)節(jié)點(diǎn)從路由表中通過(guò)一系列的算法找出與之最匹配的節(jié)點(diǎn)信息。 由于很多資源是通過(guò)論壇的形式發(fā)布,而論壇又設(shè)置有權(quán)限等問(wèn)題,使普通用戶(hù)無(wú)法獲取資源,本文探索的是基于DHT協(xié)議的垂直搜索引擎,正是為了解決這一問(wèn)題。程序會(huì)根據(jù)DHT協(xié)議模擬出協(xié)議四種最重要的請(qǐng)求,索引DHT網(wǎng)絡(luò)中節(jié)點(diǎn)請(qǐng)求的hash值,并將hash信息保存下來(lái),再通過(guò)BT協(xié)議下載種子,將種子解析成文本信息并保存到數(shù)據(jù)庫(kù)中,建立索引,形成DHT搜索引擎,其中中文分詞和全文搜索引擎的選擇會(huì)在正文中詳細(xì)說(shuō)明。為了豐富搜索引擎搜索結(jié)果的多樣性,還會(huì)將電驢、快播、百度影音的資源也加入到數(shù)據(jù)庫(kù)中,其中電驢資源可以通過(guò)aMule開(kāi)源程序抓取,而快播和百度影音資源可以通過(guò)定向爬蟲(chóng)程序抓取一些網(wǎng)站即可。
【關(guān)鍵詞】：DHT Hash 垂直搜索
【學(xué)位授予單位】：湖北大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP391.3
【目錄】：

• 摘要5-6
• Abstract6-9
• 圖目錄9-10
• 表目錄10-11
• 第1章 緒論11-13
• 1.1 研究背景和意義11
• 1.2 本文的主要工作11-12
• 1.3 本文的內(nèi)容組織12-13
• 第2章 系統(tǒng)分析和設(shè)計(jì)13-15
• 2.1 系統(tǒng)分析13
• 2.2 系統(tǒng)設(shè)計(jì)13-15
• 第3章 DHT協(xié)議分析15-20
• 3.1 概述15
• 3.2 路由表15-16
• 3.3 BitTorrent協(xié)議擴(kuò)展16
• 3.4 Torrent文件擴(kuò)展16
• 3.5 KRPC協(xié)議16-17
• 3.6 DHT請(qǐng)求和回復(fù)17-20
• 3.6.1 ping17-18
• 3.6.2 find_node18
• 3.6.3 get_peers18-19
• 3.6.4 announce_peer19-20
• 第4章 DHT協(xié)議的編碼實(shí)現(xiàn)20-27
• 4.1 編碼選擇20
• 4.2 編碼20-27
• 4.2.1 如何進(jìn)入DHT網(wǎng)絡(luò)20
• 4.2.2 SocketServer介紹20-21
• 4.2.3 類(lèi)的定義21-22
• 4.2.4 DHT節(jié)點(diǎn)的初始化22
• 4.2.5 ping的實(shí)現(xiàn)22-23
• 4.2.6 find_node實(shí)現(xiàn)23-24
• 4.2.7 get_peers的實(shí)現(xiàn)24-25
• 4.2.8 sendmessage的實(shí)現(xiàn)25
• 4.2.9 獲取hash25-26
• 4.2.10 多線程獲取hash26-27
• 第5章 Torrent文件獲取與解析27-37
• 5.1 磁力鏈接的介紹27
• 5.2 由磁力鏈接獲取torrent文件27-28
• 5.3 從緩存服務(wù)器下載torrent文件28-29
• 5.4 Torrent文件解析的實(shí)現(xiàn)29-34
• 5.4.1 Torrent文件的結(jié)構(gòu)29-32
• 5.4.2 Torrent文件的解析的編碼實(shí)現(xiàn)32-33
• 5.4.3 編碼的處理33-34
• 5.4.4 一些問(wèn)題的處理34
• 5.5 Torrent文件解析后入庫(kù)34-37
• 5.5.1 字段的設(shè)計(jì)34-35
• 5.5.2 寫(xiě)入數(shù)據(jù)庫(kù)35-36
• 5.5.3 多線程寫(xiě)入36-37
• 第6章 全文搜索引擎的建立與搜索37-53
• 6.1 索引的基礎(chǔ)37-38
• 6.1.1 單詞-文檔矩陣37
• 6.1.2 倒排索引基本概念37-38
• 6.2 Windows32下Coreseek建立全文搜索引擎38-45
• 6.2.1 Coreseek的介紹38-39
• 6.2.2 安裝Coreseek39-43
• 6.2.3 使用Coreseek搜索43-44
• 6.2.4 Coreseek增量索引44-45
• 6.3 centos32下Xunsearch做全文搜索引擎45-52
• 6.3.1 Xunsearch簡(jiǎn)介45
• 6.3.2 Xunsearch的安裝和配置45-50
• 6.3.3 Xunsearch的搜索50-51
• 6.3.4 Xunsearch和Coreseek的比較51-52
• 6.4 MySql全文搜索52-53
• 第7章 電驢資源搜索53-57
• 7.1 eD2k網(wǎng)絡(luò)53
• 7.2 eD2k鏈接的介紹53-54
• 7.3 eD2k鏈接的抓取54-57
• 結(jié)論57-58
• 參考文獻(xiàn)58-60
• 致謝60

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前3條

1 劉紅梅;;腳本語(yǔ)言在數(shù)據(jù)采集系統(tǒng)中的應(yīng)用研究[J];電子科技;2009年11期

2 姚炎炎;陳懷義;鄭若忠;寧洪;;密碼體制與分布式Web數(shù)據(jù)庫(kù)的安全設(shè)計(jì)[J];計(jì)算機(jī)科學(xué);2001年06期

3 宋芳;;P2P技術(shù)的研究與應(yīng)用[J];湘潭師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年04期

，

本文編號(hào)：904231