隨著多核處理器技術日趨成熟,并行計算思想得到了推廣和普及,這為大幅提高軟件性能提供了有力的軟硬件支持。本文通過對多核并行計算技術的分析和研究,針對全文檢索引擎Lucene在索引大數(shù)據(jù)集文檔時的性能瓶頸問題,提出了一種基于Lucene多核并行索引的設計實現(xiàn)方法。本文提出的多核并行索引是一種在多核環(huán)境下進行高效快速構建Lucene索引的設計方案。多核并行索引以多核并行計算思想為理論基礎,根據(jù)Lucene索引特性和并行庫的支持,通過使用工作池和緩沖策略,優(yōu)化了傳統(tǒng)Lucene索引的I/O瓶頸,并采用生產者/消費者模式,解決了并行多任務索引的負載均衡問題。最終對Lucene傳統(tǒng)的串行索引過程進行了多核并行化整合設計與實現(xiàn)。本文提出了一種多核并行索引的觀點用以提高Lucene索引速度,其主要有兩種具體實現(xiàn):一種是并行緩存索引,主要針對大數(shù)據(jù)集初次創(chuàng)建索引和數(shù)據(jù)恢復重建索引的場景;另一種是并行增量索引,主要針對由于文檔數(shù)據(jù)增減而需要頻繁更新索引的場景。本文對多核并行緩存索引方法的設計和實現(xiàn)進行了詳細的論述,闡述了任務池的構建、緩存索引的并行化、并發(fā)任務隊列的應用等。最后針對基于Lucene的多核并... 

【文章來源】：上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：55 頁

【學位級別】：碩士

【部分圖文】：

Lucene系統(tǒng)結構圖

Lucene索引過程

圖 2-3 Lucene 索引文件概念結構圖Fig.2-3 Diagram of logic structure of Lucene index file項（Term）是最小的索引概念，它直接代表了一個字符串以及其在文件中的位置現(xiàn)次數(shù)等相關信息。而域 (Filed) 是一個關聯(lián)的二元組，由一個域名和一個域值成。域名是一個字符串，域值是一個項。例如將“Title”作為域名和將代表“Title

【參考文獻】：
期刊論文
[1]Lucene全文檢索系統(tǒng)的研究與實現(xiàn)[J]. 龔磊,武友新.  計算機與數(shù)字工程. 2010(05)
[2]基于Lucene的中文倒排索引技術的研究[J]. 鄭榕增,林世平.  計算機技術與發(fā)展. 2010(03)
[3]基于Lucene.Net的分布式全文檢索系統(tǒng)[J]. 譚文堂,賀明科,李阜.  計算機應用與軟件. 2009(09)
[4]基于Lucene的索引系統(tǒng)的設計與實現(xiàn)[J]. 黃少林,王華,張玉紅,蔣一峰.  現(xiàn)代情報. 2009(07)
[5]基于Lucene搜索引擎的設計與實現(xiàn)[J]. 嚴良達.  寧波職業(yè)技術學院學報. 2009(02)
[6]走進多核時代[J]. 李曉明,王韜,劉東,杜江凌.  計算機科學與探索. 2008(06)
[7]基于Lucene的全文檢索系統(tǒng)研究與開發(fā)[J]. 郎小偉,王申康.  計算機工程. 2006(04)
[8]一種基于Lucene檢索引擎的全文數(shù)據(jù)庫的研究與實現(xiàn)[J]. 張校乾,金玉玲,侯麗波.  現(xiàn)代圖書情報技術. 2005(02)

碩士論文
[1]基于多核的并行軟件工程的CDT模型的研究[D]. 陳輝.北京工業(yè)大學 2009
[2]基于Lucene的全文檢索系統(tǒng)的研究與應用[D]. 張校乾.大連理工大學 2005



本文編號：3354164