發(fā)布時(shí)間：2019-01-09 18:22

【摘要】：針對(duì)分布式搜索引擎的研究現(xiàn)狀和技術(shù)背景進(jìn)行分析,提出基于Hadoop的分布式Lucene搜索引擎的功能模型與系統(tǒng)構(gòu)架。從系統(tǒng)實(shí)現(xiàn)的分布式索引、分布式檢索和第三方分詞器3個(gè)方面的關(guān)鍵技術(shù)進(jìn)行詳細(xì)敘述,搭建具體實(shí)驗(yàn)實(shí)施的軟件、硬件環(huán)境,并運(yùn)用對(duì)比的方法,進(jìn)行分布式搜索引擎的性能測(cè)試分析。實(shí)驗(yàn)結(jié)果表明:基于Hadoop的分布式Lucene搜索引擎,在信息搜索的效率、可靠性、穩(wěn)定性和可擴(kuò)展性等方面,具有很強(qiáng)的優(yōu)勢(shì)。
[Abstract]:Based on the analysis of the research status and technical background of distributed search engine, the functional model and system framework of distributed Lucene search engine based on Hadoop are proposed. The key technologies of distributed index, distributed retrieval and third party word particimer are described in detail, and the software and hardware environment of concrete experiment are built, and the method of comparison is used. To test and analyze the performance of distributed search engine. The experimental results show that the distributed Lucene search engine based on Hadoop has strong advantages in the efficiency, reliability, stability and expansibility of information search.
【作者單位】： 桂林理工大學(xué)圖書館;
【基金】：2015年度廣西教育廳項(xiàng)目“隨書光盤資源云服務(wù)平臺(tái)開發(fā)應(yīng)用研究”(項(xiàng)目編號(hào):KY2015YB138) 2013年度廣西哲學(xué)社會(huì)科學(xué)規(guī)劃研究課題基金項(xiàng)目“基于HADOOP大數(shù)據(jù)技術(shù)分布式信息檢索系統(tǒng)的研究與實(shí)現(xiàn)”(項(xiàng)目編號(hào):13FTQ003)階段性成果
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 姚樹宇,趙少東;一種使用分布式技術(shù)的搜索引擎[J];計(jì)算機(jī)應(yīng)用與軟件;2005年10期

2 夏敏捷;李娟;;基于Lucene的電子文件全文檢索系統(tǒng)研究[J];蘭臺(tái)世界;2015年08期

【共引文獻(xiàn)】

相關(guān)期刊論文 前5條

1 傅巍瑋;李仁發(fā);劉鈺峰;黃松立;;基于Solr的分布式實(shí)時(shí)搜索模型研究與實(shí)現(xiàn)[J];電信科學(xué);2011年11期

2 孫宏;李戴維;董旭陽;季澤旭;;搜索引擎技術(shù)與發(fā)展綜述[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年14期

3 李志義;;網(wǎng)絡(luò)爬蟲的優(yōu)化策略探略[J];現(xiàn)代情報(bào);2011年10期

4 吳寶貴;丁振國;;基于Map/Reduce的分布式搜索引擎研究[J];現(xiàn)代圖書情報(bào)技術(shù);2007年08期

5 趙琳;;分布式檢索及相關(guān)理論[J];科技資訊;2011年09期

相關(guān)博士學(xué)位論文 前1條

1 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 肖詩源,葉俊,劉賢德;一種基于Agent的分布式搜索引擎[J];計(jì)算機(jī)工程;2002年07期

2 賀廣宜,羅莉;分布式搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;2003年05期

3 郭少友;Web環(huán)境下分布式信息檢索模式[J];情報(bào)科學(xué);2003年06期

4 翁惠玉,馬范援,朱義軍,楊傳厚;網(wǎng)絡(luò)搜索引擎的現(xiàn)狀分析[J];情報(bào)學(xué)報(bào);1999年S1期

5 瞿艷,盧增祥,李衍達(dá);分布式網(wǎng)絡(luò)信息查詢系統(tǒng)[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2000年01期

6 高艷霞;張慎武;;電子檔案的非結(jié)構(gòu)化存儲(chǔ)方案淺議[J];蘭臺(tái)世界;2012年02期

7 張慎武;高艷霞;王玉霞;;電子公文檔案管理系統(tǒng)方案設(shè)計(jì)[J];蘭臺(tái)世界;2013年20期

8 夏敏捷;張慎武;韓新超;;Lucene技術(shù)在數(shù)字化公文全文檢索系統(tǒng)中的應(yīng)用研究[J];中原工學(xué)院學(xué)報(bào);2013年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動(dòng)化;2014年05期

2 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務(wù);2012年10期

3 劉爾凱;崔振東;;基于HADOOP技術(shù) 實(shí)現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

4 鄒群;;一種基于Hadoop的數(shù)字圖書存儲(chǔ)系統(tǒng)設(shè)計(jì)方案[J];黑龍江史志;2014年01期

5 諶章義;畢偉;向萬紅;王國安;吳愛國;;基于Hadoop的海量電費(fèi)數(shù)據(jù)處理模型[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2014年05期

6 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動(dòng)化;2014年06期

7 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計(jì)算機(jī)與網(wǎng)絡(luò);2013年08期

8 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學(xué);2010年12期

9 蘇小會(huì);何婧媛;;Hadoop中任務(wù)調(diào)度算法的改進(jìn)[J];電子設(shè)計(jì)工程;2012年22期

10 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

相關(guān)重要報(bào)紙文章 前8條

1 本報(bào)記者 郭濤;機(jī)器大數(shù)據(jù)也離不開Hadoop[N];中國計(jì)算機(jī)報(bào);2013年

2 本報(bào)記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報(bào);2012年

3 本報(bào)記者 鄒大斌;Hadoop一體機(jī)降低大數(shù)據(jù)門檻[N];計(jì)算機(jī)世界;2012年

4 孫定;云計(jì)算、大數(shù)據(jù)與Hadoop[N];計(jì)算機(jī)世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計(jì)算機(jī)世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡(luò)世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機(jī)[N];網(wǎng)絡(luò)世界;2013年

8 本報(bào)記者 郭濤;讓更多人能夠使用Hadoop[N];中國計(jì)算機(jī)報(bào);2012年

相關(guān)碩士學(xué)位論文 前10條

1 劉君;基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺(tái)的研究[D];天津理工大學(xué);2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡(luò)分析與建模[D];浙江大學(xué);2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學(xué);2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計(jì)算系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連海事大學(xué);2015年

6 白亮;基于Hadoop的民航高價(jià)值旅客發(fā)現(xiàn)方法研究[D];中國民航大學(xué);2015年

7 席屏;基于Hadoop的視頻大數(shù)據(jù)智能預(yù)警系統(tǒng)應(yīng)用研究[D];江蘇科技大學(xué);2015年

8 董立明;基于HADOOP的分布式推薦引擎[D];復(fù)旦大學(xué);2013年

9 陸藝達(dá);基于Hadoop分布式計(jì)算框架的垃圾短信群發(fā)檢測(cè)系統(tǒng)[D];復(fù)旦大學(xué);2013年

10 沈德利;基于Hadoop的密文檢索關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2014年

，

本文編號(hào)：2405938