天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

當前位置:主頁 > 科技論文 > 搜索引擎論文 >

基于Lucene的分布式搜索引擎集群研究與設計

發(fā)布時間:2020-11-15 19:21
   隨著社會信息化程度的不斷提高,傳統(tǒng)的基于單機系統(tǒng)的集中式信息檢索技術已無法滿足以大規(guī)模數(shù)據(jù)集為基礎的并發(fā)多用戶并行信息檢索的需求。利用高速網(wǎng)絡環(huán)境,搭建一個分布式搜索引擎集群系統(tǒng),進行分布式并行信息檢索,已成為搜索引擎新的發(fā)展趨勢。 信息集合的增大使得系統(tǒng)維護開銷和檢索響應時間越來越大。為了適應現(xiàn)代檢索環(huán)境的越來越高的要求,檢索體系設計和算法優(yōu)化仍然是一個信息檢索效率優(yōu)化的重要研究方向。 本文對信息檢索系統(tǒng)中涉及的兩個重大領域:索引和檢索,分別提出了兩種優(yōu)化算法,并在此基礎上衍生出了滿足并行和分布式需求的幾個不同技術。在索引方面,針對單一的RAM索引和FSD索引存在的缺點,采用RAM-FSD協(xié)同索引技術,并在此基礎上衍生出了RAM-FSD協(xié)同并行索引和RAM-FSD協(xié)同分布式并行索引技術。在檢索方面,針對現(xiàn)有線程池的不足,提出了一種新的線程池實現(xiàn)方式。在此基礎上,提出了線程池優(yōu)化檢索技術,并衍生出了并行檢索線程池優(yōu)化和分布式并行檢索線程池優(yōu)化技術。 在分布式搜索引擎集群設計中,本文針對一般分布式搜索引擎系統(tǒng)存在的問題,并吸取了GFS的優(yōu)點,提出了一種安全、高效、容易擴充、資源共享、成本較低的分布式集群系統(tǒng)。
【學位單位】:西安電子科技大學
【學位級別】:碩士
【學位年份】:2012
【中圖分類】:TP391.3
【部分圖文】:

統(tǒng)計曲線,索引技術,溢出錯誤,統(tǒng)計曲線


第三章 RAM-FSD 協(xié)同分布式并行索引技術設計與實現(xiàn) 表:表 3.2 三種索引技術用時對比文件數(shù) FSD 索引 RAM 索引 RAM_FSD 協(xié)同100 0.641 0.406 0.7501000 3.047 2.438 3.12510000 25.084 溢出錯誤 25.50020000 50.156 溢出錯誤 48.016100000 515.437 溢出錯誤 411.969用時單如果不考慮 RAM 的溢出錯誤,可將上述統(tǒng)計表用曲線圖 3.3 表示,為了便的呈現(xiàn)將用時單位由 s 換算成 ms 后繪制如下:

主界面,并行檢索


Workstation)額外虛擬了多臺 PC。表 5.5 軟件環(huán)境配置開發(fā)工具 MyEclipse8.6、Macromedia Dreamweaver 8、Style Master 4.6Web 服務器 Apache 2.2.14、Apache Tomcat 6.5負載均衡 mod_jk-apache-2.0.55.so集群監(jiān)控 MC4J 1.2 Beta 9開發(fā)環(huán)境JDK6.0、Apache Ant1.8.2、Xfire-1.2.6、Lucene3.5.0、HTML Parser1.6、paoding_analyzer3.0、heritrix-1.14.4其它工具 Apache jakarta-jmeter-2.4、soapUI3.6.15.6.2 平臺效果演示RAM-FSD 協(xié)同索引技術、協(xié)同分布式并行索引技術和分布式并行檢索線程池優(yōu)化技術在分布式搜索引擎集群系統(tǒng)項目《一度搜索》中已得到了充分的運用和試驗驗證,運行效果如圖 5.8 和 5.9 所示。

顯示界面,對集,響應時間,群系


圖 5.9 查詢結果顯示界面5.6.3 系統(tǒng)性能評估實驗 1:設定 20 個模擬用戶,對集群系統(tǒng)施加過量請求時,在 1~3 個節(jié)點服務器下對集群的平均響應速度、響應時間和數(shù)據(jù)傳輸速度進行測試。測試結果如下表 5.6 所示:表 5.6 測試結果節(jié)點數(shù) 響應速度(個響應/s) 響應時間(ms) 數(shù)據(jù)傳輸(KB/sec)1 450 109.71 68.82 436 109.98 69.23 442 109.76 69.0從表中可以發(fā)現(xiàn):當節(jié)點數(shù)增加的時候,系統(tǒng)響應速度、傳輸速度先減少后增加,響應時間先增加后減少。實驗 2:設定 3 個節(jié)點服務器下,5、15、20 個模擬用戶,對集群系統(tǒng)施加過
【參考文獻】

相關期刊論文 前10條

1 李曉明;劉建國;;搜索引擎技術及趨勢[J];電腦與電信;2008年05期

2 樊景超;周國民;;基于Lucene的“農(nóng)搜”并行索引技術研究[J];農(nóng)業(yè)網(wǎng)絡信息;2009年08期

3 王華,馬亮,顧明;線程池技術研究與應用[J];計算機應用研究;2005年11期

4 張敏,耿騫;并行信息檢索及其控制過程[J];情報科學;2004年08期

5 李建中;并行數(shù)據(jù)庫的查詢處理并行化技術和物理設計方法[J];軟件學報;1994年10期

6 趙海,李志蜀,韓學為,葉浩;線程池的優(yōu)化設計[J];四川大學學報(自然科學版);2005年01期

7 管建和;甘劍峰;;基于Lucene全文檢索引擎的應用研究與實現(xiàn)[J];計算機工程與設計;2007年02期

8 唐華姣;何友全;徐小樂;徐澄;;基于Lucene的分布式并行索引[J];計算機技術與發(fā)展;2011年02期

9 李昊,劉志鏡;線程池技術的研究[J];現(xiàn)代電子技術;2004年03期

10 田俊華;楊曉江;;分布式并行信息檢索系統(tǒng)的設計與實現(xiàn)——基礎教育資源搜索引擎?zhèn)案研究[J];現(xiàn)代圖書情報技術;2007年08期



本文編號:2885109

資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/2885109.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權申明:資料由用戶cf658***提供,本站僅收錄摘要或目錄,作者需要刪除請E-mail郵箱bigeng88@qq.com
国产精品欧美激情在线| 麻豆欧美精品国产综合久久| 国产精品福利精品福利| 亚洲高清中文字幕一区二区三区 | 中文字幕区自拍偷拍区| 国产精品午夜一区二区三区| 精品人妻少妇二区三区| 美国黑人一级黄色大片| 精品国产成人av一区二区三区| 91精品视频免费播放| 国产亚洲欧美另类久久久| 日韩精品一级片免费看| 91福利免费一区二区三区| 欧美中文字幕一区在线| 久久精品国产亚洲av久按摩| 欧美不卡高清一区二区三区| 日韩无套内射免费精品| 精品亚洲香蕉久久综合网| 国产av熟女一区二区三区蜜桃| 亚洲国产成人精品福利| 亚洲av秘片一区二区三区| 国产又粗又长又爽又猛的视频| 欧美一区二区三区十区| 男女午夜福利院在线观看| 亚洲欧美中文字幕精品| 国产中文另类天堂二区| 四十女人口红哪个色好看| 欧美尤物在线视频91| 欧美性高清一区二区三区视频| 国产欧美一区二区色综合| 国产在线一区二区免费| 日本av一区二区不卡| 国产三级黄片在线免费看| 最新69国产精品视频| 视频在线免费观看你懂的| 国产精品免费福利在线| 中字幕一区二区三区久久蜜桃| 国产99久久精品果冻传媒| 日韩特级黄色大片在线观看| 精品人妻一区二区三区在线看| 欧美一区二区三区在线播放|