本文關(guān)鍵詞：基于Lucene的云平臺(tái)學(xué)術(shù)搜索引擎，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著全球互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)絡(luò)信息總量正在迅猛增長(zhǎng)。以Google、百度為代表的通用搜索引擎成為人們獲取互聯(lián)網(wǎng)信息的重要入口。然而此類(lèi)大型搜索引擎卻不能完全應(yīng)對(duì)面向?qū)I(yè)領(lǐng)域的檢索需求,垂直搜索引擎的出現(xiàn)滿(mǎn)足了這類(lèi)需求。本文針對(duì)互聯(lián)網(wǎng)上存在的海量學(xué)術(shù)文獻(xiàn)數(shù)據(jù),在Apache Lucene全文檢索工具庫(kù)的基礎(chǔ)上,提出了一種基于MooseFS云存儲(chǔ)平臺(tái)的垂直搜索引擎設(shè)計(jì)實(shí)現(xiàn)方案。該方案專(zhuān)注于互聯(lián)網(wǎng)海量學(xué)術(shù)文獻(xiàn)的信息檢索服務(wù),檢索結(jié)果整合多個(gè)網(wǎng)站的文獻(xiàn)數(shù)據(jù),具備較高的準(zhǔn)確性與全面性。使用云存儲(chǔ)平臺(tái)進(jìn)行索引存儲(chǔ),能夠提高存儲(chǔ)可擴(kuò)展性,保證了系統(tǒng)面對(duì)大規(guī)模數(shù)據(jù)的檢索處理能力。本文研究?jī)?nèi)容主要包括:設(shè)計(jì)實(shí)現(xiàn)高可定制性和高爬取性能的多線(xiàn)程定向網(wǎng)絡(luò)爬蟲(chóng),用于論文數(shù)據(jù)的定向爬取工作。研究全文檢索技術(shù)及全文檢索工具庫(kù)Apache Lucene的實(shí)現(xiàn)原理,并在此基礎(chǔ)上進(jìn)行二次開(kāi)發(fā),完成論文數(shù)據(jù)檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)。研究分布式數(shù)據(jù)庫(kù)集群和分布式緩存集群技術(shù),設(shè)計(jì)實(shí)現(xiàn)基于一致性哈希的數(shù)據(jù)庫(kù)分片集群方案和基于Redis的LRU分布式緩存方案。研究MooseFS云存儲(chǔ)平臺(tái)原理與架構(gòu),使用MooseFS云存儲(chǔ)平臺(tái)構(gòu)建Lucene索引存儲(chǔ)平臺(tái)。結(jié)合上述多種方法提出基于Lucene的云平臺(tái)學(xué)術(shù)搜索引擎解決方案。本文提出的垂直搜索引擎技術(shù)框架及其云存儲(chǔ)平臺(tái)實(shí)現(xiàn)方案,實(shí)現(xiàn)了多個(gè)學(xué)術(shù)數(shù)據(jù)庫(kù)數(shù)據(jù)的整合檢索,能夠有效提高用戶(hù)對(duì)互聯(lián)網(wǎng)上的海量文獻(xiàn)信息的檢索效率,具有重要的理論意義與現(xiàn)實(shí)意義。
【關(guān)鍵詞】：垂直搜索引擎 信息檢索 網(wǎng)絡(luò)爬蟲(chóng) 云平臺(tái)
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP391.3;TP393.09

  本文關(guān)鍵詞：基于Lucene的云平臺(tái)學(xué)術(shù)搜索引擎，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：428112