本文關(guān)鍵詞：基于SolrCloud平臺(tái)的分布式全文檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 分布式 全文檢索 倒排索引 SolrCloud ZooKeeper

【摘要】：隨著大數(shù)據(jù)時(shí)代的到來(lái)，海量數(shù)據(jù)不斷涌入人們的日常生活、學(xué)習(xí)和工作中，如何存儲(chǔ)和管理這些飛速增長(zhǎng)的數(shù)據(jù)？如何從已有的這些海量數(shù)據(jù)中將對(duì)自己有用的信息準(zhǔn)確高效地提��？面對(duì)這些日益嚴(yán)峻的挑戰(zhàn)和經(jīng)濟(jì)突飛猛進(jìn)地發(fā)展，各類政府機(jī)構(gòu)也對(duì)業(yè)務(wù)信息化有了越來(lái)越高的需求，專項(xiàng)網(wǎng)絡(luò)信息平臺(tái)的建立已經(jīng)成為當(dāng)務(wù)之急。從最初的政務(wù)信息化到今天，政府機(jī)構(gòu)已經(jīng)積累了大量的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，對(duì)于審計(jì)廳來(lái)說(shuō)，各種報(bào)表和法律法規(guī)文檔等全文數(shù)據(jù)更是數(shù)不勝數(shù)，這些數(shù)據(jù)都需要記錄在案，當(dāng)進(jìn)行審計(jì)業(yè)務(wù)和審計(jì)法律法規(guī)重新修訂等工作時(shí)，工作人員不得不大量翻閱這些歷史文件。這種情況下僅僅利用原有的數(shù)據(jù)庫(kù)查詢功能，或者人工查閱實(shí)體文本資料將會(huì)嚴(yán)重影響工作效率，由此我們想到可以利用全文檢索技術(shù)來(lái)滿足政府機(jī)構(gòu)的以上需求。通過(guò)對(duì)審計(jì)廳資料庫(kù)內(nèi)的各種數(shù)據(jù)進(jìn)行全文索引，工作人員在需要某項(xiàng)信息時(shí)，，可以檢索到各種類型的數(shù)據(jù)。由于審計(jì)工作都是分季度進(jìn)行的，所以在某個(gè)時(shí)段工作人員需要集中進(jìn)行操作。綜合以上分析，我們決定構(gòu)建一個(gè)分布式的全文檢索系統(tǒng)來(lái)滿足審計(jì)廳的需求。本文利用基于Solr和ZooKeeper的分布式搜索方案，搭建Solr服務(wù)器集群，構(gòu)成SolrCloud平臺(tái)，在SolrCloud上創(chuàng)建、存儲(chǔ)和管理大型資料庫(kù)文檔和數(shù)據(jù)庫(kù)信息的索引，以此為基礎(chǔ)，構(gòu)建一個(gè)分布式的全文檢索系統(tǒng)。用戶可登陸系統(tǒng)，普通用戶可以對(duì)企業(yè)內(nèi)部大量文檔進(jìn)行檢索、預(yù)覽和下載等操作，除此之外，管理員還能上傳、存儲(chǔ)和管理這些文檔，從而達(dá)到機(jī)構(gòu)內(nèi)部資料共享的目的。 文中首先探討了全文檢索和分布式搜索引擎的發(fā)展背景和研究現(xiàn)狀，詳細(xì)介紹了SolrCloud的架構(gòu)和特點(diǎn)，以及全文檢索的機(jī)理。接下來(lái)我們根據(jù)審計(jì)廳的具體要求，對(duì)分布式全文檢索系統(tǒng)在四個(gè)層面上進(jìn)行了需求分析，并對(duì)系統(tǒng)進(jìn)行了開發(fā)環(huán)境設(shè)計(jì)，總體設(shè)計(jì)和詳細(xì)設(shè)計(jì)，詳細(xì)設(shè)計(jì)中給出了SolrCloud服務(wù)器集群、分布式索引、分布式檢索的設(shè)計(jì)方案，隨后介紹了以上設(shè)計(jì)方案的具體實(shí)現(xiàn)方法，并對(duì)索引的創(chuàng)建和檢索響應(yīng)進(jìn)行了性能測(cè)試。文章最后對(duì)本文所做的全部工作進(jìn)行了簡(jiǎn)單的總結(jié)，并且提出了可進(jìn)一步研究的內(nèi)容。
【關(guān)鍵詞】：分布式 全文檢索 倒排索引 SolrCloud ZooKeeper
【學(xué)位授予單位】：山東師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP391.3
【目錄】：

• 目錄4-6
• 摘要6-7
• Abstract7-8
• 第一章 緒論8-14
• 1.1 研究背景與意義8-9
• 1.2 相關(guān)研究現(xiàn)狀9-11
• 1.2.1 全文搜索引擎的研究現(xiàn)狀9-10
• 1.2.2 分布式搜索引擎的研究現(xiàn)狀10-11
• 1.3 本文主要工作11
• 1.4 論文組織結(jié)構(gòu)11-12
• 1.5 本章小結(jié)12-14
• 第二章 系統(tǒng)關(guān)鍵技術(shù)研究14-20
• 2.1 分布式14
• 2.2 全文檢索14-17
• 2.2.1 基本原理15-17
• 2.2.2 框架17
• 2.3 Lucene 的概述17-19
• 2.3.1 系統(tǒng)結(jié)構(gòu)17-18
• 2.3.2 索引結(jié)構(gòu)18-19
• 2.4 本章小結(jié)19-20
• 第三章 SolrCloud 平臺(tái)的分析與研究20-30
• 3.1 Solr 的概述20
• 3.2 Solr 的架構(gòu)與特點(diǎn)20-22
• 3.2.1 架構(gòu)20-21
• 3.2.2 特點(diǎn)21-22
• 3.3 SolrCloud 概述22-24
• 3.3.1 ZooKeeper22-23
• 3.3.2 SolrCoud23-24
• 3.4 SolrCloud 相關(guān)概念24-25
• 3.5 SolrCloud 邏輯結(jié)構(gòu)及工作原理25-29
• 3.5.1 邏輯結(jié)構(gòu)25-26
• 3.5.2 工作原理26-29
• 3.6 本章小結(jié)29-30
• 第四章 系統(tǒng)需求分析與設(shè)計(jì)30-44
• 4.1 系統(tǒng)需求分析30-38
• 4.1.1 業(yè)務(wù)需求分析30-31
• 4.1.2 用戶需求分析31-33
• 4.1.3 功能性需求分析33-37
• 4.1.4 非功能性需求分析37-38
• 4.2 系統(tǒng)設(shè)計(jì)38-42
• 4.2.1 系統(tǒng)開發(fā)環(huán)境設(shè)計(jì)38-39
• 4.2.2 系統(tǒng)總體設(shè)計(jì)39
• 4.2.3 系統(tǒng)詳細(xì)設(shè)計(jì)39-42
• 4.3 本章小結(jié)42-44
• 第五章 系統(tǒng)實(shí)現(xiàn)與性能測(cè)試44-58
• 5.1 系統(tǒng)實(shí)現(xiàn)44-55
• 5.1.1 SolrCloud 服務(wù)器集群實(shí)現(xiàn)44-48
• 5.1.2 數(shù)據(jù)庫(kù)訪問(wèn)實(shí)現(xiàn)48
• 5.1.3 分布式創(chuàng)建索引實(shí)現(xiàn)48-51
• 5.1.4 分布式檢索實(shí)現(xiàn)51-52
• 5.1.5 用戶模塊實(shí)現(xiàn)及系統(tǒng)運(yùn)行截圖52-55
• 5.2 系統(tǒng)性能測(cè)試55-56
• 5.2.1 索引吞吐量測(cè)試55-56
• 5.2.2 檢索時(shí)延測(cè)試56
• 5.3 本章小結(jié)56-58
• 第六章 總結(jié)和展望58-60
• 6.1 總結(jié)58
• 6.2 展望58-60
• 參考文獻(xiàn)60-62
• 致謝62

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前8條

1 霍林;潘英花;王力;黃俊文;;分布式密文全文檢索系統(tǒng)設(shè)計(jì)及安全性研究[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年06期

2 朱友文;黃劉生;陳國(guó)良;楊威;;分布式計(jì)算環(huán)境下的動(dòng)態(tài)可信度評(píng)估模型[J];計(jì)算機(jī)學(xué)報(bào);2011年01期

3 李戴維;李寧;;基于Solr的分布式全文檢索系統(tǒng)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)與現(xiàn)代化;2012年11期

4 曾春,邢春曉,周立柱;基于內(nèi)容過(guò)濾的個(gè)性化搜索算法[J];軟件學(xué)報(bào);2003年05期

5 錢迎進(jìn);肖儂;金士堯;;大規(guī)模集群中一種自適應(yīng)可擴(kuò)展的RPC超時(shí)機(jī)制[J];軟件學(xué)報(bào);2010年12期

6 李永春;丁華福;;Lucene的全文檢索的研究與應(yīng)用[J];計(jì)算機(jī)技術(shù)與發(fā)展;2010年02期

7 李勝華;;搜索引擎的現(xiàn)狀及發(fā)展趨勢(shì)探討[J];現(xiàn)代商貿(mào)工業(yè);2010年12期

8 姚曉娜;祝忠明;;基于分面搜索引擎Solr的機(jī)構(gòu)知識(shí)庫(kù)訪問(wèn)統(tǒng)計(jì)[J];現(xiàn)代圖書情報(bào)技術(shù);2011年Z1期

本文編號(hào)：767245