天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

當前位置:主頁 > 科技論文 > 搜索引擎論文 >

基于Lucene的分布式搜索引擎集群研究與設計

發(fā)布時間:2020-11-15 19:21
   隨著社會信息化程度的不斷提高,傳統(tǒng)的基于單機系統(tǒng)的集中式信息檢索技術已無法滿足以大規(guī)模數(shù)據(jù)集為基礎的并發(fā)多用戶并行信息檢索的需求。利用高速網(wǎng)絡環(huán)境,搭建一個分布式搜索引擎集群系統(tǒng),進行分布式并行信息檢索,已成為搜索引擎新的發(fā)展趨勢。 信息集合的增大使得系統(tǒng)維護開銷和檢索響應時間越來越大。為了適應現(xiàn)代檢索環(huán)境的越來越高的要求,檢索體系設計和算法優(yōu)化仍然是一個信息檢索效率優(yōu)化的重要研究方向。 本文對信息檢索系統(tǒng)中涉及的兩個重大領域:索引和檢索,分別提出了兩種優(yōu)化算法,并在此基礎上衍生出了滿足并行和分布式需求的幾個不同技術。在索引方面,針對單一的RAM索引和FSD索引存在的缺點,采用RAM-FSD協(xié)同索引技術,并在此基礎上衍生出了RAM-FSD協(xié)同并行索引和RAM-FSD協(xié)同分布式并行索引技術。在檢索方面,針對現(xiàn)有線程池的不足,提出了一種新的線程池實現(xiàn)方式。在此基礎上,提出了線程池優(yōu)化檢索技術,并衍生出了并行檢索線程池優(yōu)化和分布式并行檢索線程池優(yōu)化技術。 在分布式搜索引擎集群設計中,本文針對一般分布式搜索引擎系統(tǒng)存在的問題,并吸取了GFS的優(yōu)點,提出了一種安全、高效、容易擴充、資源共享、成本較低的分布式集群系統(tǒng)。
【學位單位】:西安電子科技大學
【學位級別】:碩士
【學位年份】:2012
【中圖分類】:TP391.3
【部分圖文】:

統(tǒng)計曲線,索引技術,溢出錯誤,統(tǒng)計曲線


第三章 RAM-FSD 協(xié)同分布式并行索引技術設計與實現(xiàn) 表:表 3.2 三種索引技術用時對比文件數(shù) FSD 索引 RAM 索引 RAM_FSD 協(xié)同100 0.641 0.406 0.7501000 3.047 2.438 3.12510000 25.084 溢出錯誤 25.50020000 50.156 溢出錯誤 48.016100000 515.437 溢出錯誤 411.969用時單如果不考慮 RAM 的溢出錯誤,可將上述統(tǒng)計表用曲線圖 3.3 表示,為了便的呈現(xiàn)將用時單位由 s 換算成 ms 后繪制如下:

主界面,并行檢索


Workstation)額外虛擬了多臺 PC。表 5.5 軟件環(huán)境配置開發(fā)工具 MyEclipse8.6、Macromedia Dreamweaver 8、Style Master 4.6Web 服務器 Apache 2.2.14、Apache Tomcat 6.5負載均衡 mod_jk-apache-2.0.55.so集群監(jiān)控 MC4J 1.2 Beta 9開發(fā)環(huán)境JDK6.0、Apache Ant1.8.2、Xfire-1.2.6、Lucene3.5.0、HTML Parser1.6、paoding_analyzer3.0、heritrix-1.14.4其它工具 Apache jakarta-jmeter-2.4、soapUI3.6.15.6.2 平臺效果演示RAM-FSD 協(xié)同索引技術、協(xié)同分布式并行索引技術和分布式并行檢索線程池優(yōu)化技術在分布式搜索引擎集群系統(tǒng)項目《一度搜索》中已得到了充分的運用和試驗驗證,運行效果如圖 5.8 和 5.9 所示。

顯示界面,對集,響應時間,群系


圖 5.9 查詢結果顯示界面5.6.3 系統(tǒng)性能評估實驗 1:設定 20 個模擬用戶,對集群系統(tǒng)施加過量請求時,在 1~3 個節(jié)點服務器下對集群的平均響應速度、響應時間和數(shù)據(jù)傳輸速度進行測試。測試結果如下表 5.6 所示:表 5.6 測試結果節(jié)點數(shù) 響應速度(個響應/s) 響應時間(ms) 數(shù)據(jù)傳輸(KB/sec)1 450 109.71 68.82 436 109.98 69.23 442 109.76 69.0從表中可以發(fā)現(xiàn):當節(jié)點數(shù)增加的時候,系統(tǒng)響應速度、傳輸速度先減少后增加,響應時間先增加后減少。實驗 2:設定 3 個節(jié)點服務器下,5、15、20 個模擬用戶,對集群系統(tǒng)施加過
【參考文獻】

相關期刊論文 前10條

1 李曉明;劉建國;;搜索引擎技術及趨勢[J];電腦與電信;2008年05期

2 樊景超;周國民;;基于Lucene的“農(nóng)搜”并行索引技術研究[J];農(nóng)業(yè)網(wǎng)絡信息;2009年08期

3 王華,馬亮,顧明;線程池技術研究與應用[J];計算機應用研究;2005年11期

4 張敏,耿騫;并行信息檢索及其控制過程[J];情報科學;2004年08期

5 李建中;并行數(shù)據(jù)庫的查詢處理并行化技術和物理設計方法[J];軟件學報;1994年10期

6 趙海,李志蜀,韓學為,葉浩;線程池的優(yōu)化設計[J];四川大學學報(自然科學版);2005年01期

7 管建和;甘劍峰;;基于Lucene全文檢索引擎的應用研究與實現(xiàn)[J];計算機工程與設計;2007年02期

8 唐華姣;何友全;徐小樂;徐澄;;基于Lucene的分布式并行索引[J];計算機技術與發(fā)展;2011年02期

9 李昊,劉志鏡;線程池技術的研究[J];現(xiàn)代電子技術;2004年03期

10 田俊華;楊曉江;;分布式并行信息檢索系統(tǒng)的設計與實現(xiàn)——基礎教育資源搜索引擎?zhèn)案研究[J];現(xiàn)代圖書情報技術;2007年08期



本文編號:2885109

資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/2885109.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權申明:資料由用戶cf658***提供,本站僅收錄摘要或目錄,作者需要刪除請E-mail郵箱bigeng88@qq.com
国产av熟女一区二区三区蜜桃| 国产一区二区三区精品免费| 日本免费一本一二区三区| 日韩成人中文字幕在线一区| 国产精品福利一级久久| 欧美日韩黑人免费观看| 好吊妞在线免费观看视频| 日韩国产中文在线视频| 午夜国产福利在线播放| 亚洲精品日韩欧美精品| 五月的丁香婷婷综合网| 欧美成人高清在线播放| 欧美一区二区日韩一区二区| 亚洲av首页免费在线观看| 可以在线看的欧美黄片| 亚洲中文字幕亲近伦片| 国产麻豆精品福利在线| 青草草在线视频免费视频| 久久精品中文字幕人妻中文 | 好东西一起分享老鸭窝| 加勒比东京热拍拍一区二区| 日本在线高清精品人妻| 欧美日韩精品综合在线| 日韩人妻免费视频一专区| 亚洲专区一区中文字幕| 亚洲精品中文字幕熟女| 高清不卡一卡二卡区在线| 日本乱论一区二区三区| 亚洲精品中文字幕欧美| 国产黄色高清内射熟女视频| 丰满少妇被猛烈撞击在线视频| 91在线播放在线播放观看| 麻豆看片麻豆免费视频| 中文字幕区自拍偷拍区| 国内自拍偷拍福利视频| 丁香六月婷婷基地伊人| 日本精品理论在线观看| 亚洲综合一区二区三区在线 | 精品香蕉国产一区二区三区| 精品国产品国语在线不卡| 亚洲超碰成人天堂涩涩|