發(fā)布時(shí)間：2017-11-03 12:09

  本文關(guān)鍵詞：基于倒排索引和字典樹(shù)的站內(nèi)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 站內(nèi)搜索 倒排索引 拼音聯(lián)想 字典樹(shù)Trie

【摘要】：隨著互聯(lián)網(wǎng)的不斷發(fā)展,快節(jié)奏的生活,人們對(duì)更好的用戶體驗(yàn)的追求,搜索的長(zhǎng)時(shí)間等待變得讓人無(wú)法忍受。如何獲得更快的搜索、更好的搜索結(jié)果、更符合用戶心理的推薦成為很多網(wǎng)站、手機(jī)應(yīng)用的痛點(diǎn)。本項(xiàng)目意在通過(guò)建立倒排索引加快搜索,使用字典樹(shù)結(jié)構(gòu)快速找到聯(lián)想詞,二者相結(jié)合的方式提供良好的搜索體驗(yàn)。完成一個(gè)獨(dú)立的站內(nèi)搜索引擎,使得項(xiàng)目可以快速的移植到不同的系統(tǒng)中,提高開(kāi)發(fā)速度,降低開(kāi)發(fā)成本。本項(xiàng)目主要完成一個(gè)輕量級(jí)站內(nèi)搜索引擎。系統(tǒng)主要分為兩大部分:第一部分為全文索引引擎,主要負(fù)責(zé)從數(shù)據(jù)源建立倒排索引、以有效的格式保存索引、增量更新索引、索引的壓縮、搜索排序等功能;第二部分主要為拼音搜索引擎,主要完成關(guān)鍵字檢索、模糊查詢、拼音聯(lián)想等功能;此外完成系統(tǒng)對(duì)外的相關(guān)接口。主要的工作內(nèi)容是:獨(dú)立完成對(duì)整個(gè)站內(nèi)搜索引擎需求分析、系統(tǒng)設(shè)計(jì)、系統(tǒng)實(shí)現(xiàn)以及測(cè)試等工作;完成了系統(tǒng)的8大核心功能模塊,2個(gè)輔助模塊以及所有對(duì)外的接口。具體包括(1)文檔數(shù)據(jù)源獲取,(2)倒排索引的建立與壓縮,(3)倒排索引更新,(4)倒排索引的查找,(5)搜索排序,(6)拼音轉(zhuǎn)化功能的實(shí)現(xiàn),(7)拼音搜索Trie建立,(8)拼音聯(lián)想詞的查找,以及輔助功能如高亮顯示、相關(guān)推薦等功能。系統(tǒng)進(jìn)行設(shè)計(jì)時(shí),極為關(guān)注其本身的可拓展性、可移植性和實(shí)用性。系統(tǒng)實(shí)現(xiàn)過(guò)程中使用基于磁盤排序的歸并算法,可以針對(duì)內(nèi)存無(wú)法裝下的數(shù)據(jù)進(jìn)行排序,增強(qiáng)系統(tǒng)可用性;同時(shí)使用cidx Hit算法進(jìn)行壓縮,使得倒排索引在不影響效率的情況下占用內(nèi)存小;相關(guān)性的計(jì)算使用BM25算法,此外給出不同域權(quán)重排序方式,增強(qiáng)系統(tǒng)的靈活性;由于拼音生成聯(lián)系詞生成需要快速反饋給用戶,所以選擇了字典樹(shù)作為拼音聯(lián)想的核心數(shù)據(jù)結(jié)構(gòu),做到及時(shí)有效的對(duì)用戶輸入進(jìn)行反饋,增強(qiáng)系統(tǒng)的用戶體驗(yàn)性。最終內(nèi)部搜索響應(yīng)時(shí)間一般為0.02s,拼音聯(lián)想響應(yīng)時(shí)間約為2ms,有力保障了本系統(tǒng)的可用性和實(shí)用性。目前本文對(duì)應(yīng)的系統(tǒng)應(yīng)用項(xiàng)目成果展示為百度APIStore的官網(wǎng)站內(nèi)搜索(http://apistore.baidu.com/)。
【關(guān)鍵詞】：站內(nèi)搜索 倒排索引 拼音聯(lián)想 字典樹(shù)Trie
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.52;TP391.3
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第1章 緒論9-20
• 1.1 課題背景及研究的目的和意義9-10
• 1.2 國(guó)內(nèi)外相關(guān)研究現(xiàn)狀10-17
• 1.2.1 搜索引擎的分類10-11
• 1.2.2 全文搜索引擎現(xiàn)狀分析11-13
• 1.2.3 全文搜索引擎關(guān)鍵技術(shù)概述13-15
• 1.2.4 國(guó)內(nèi)外開(kāi)源檢索框架現(xiàn)狀分析15-17
• 1.3 本文的主要研究?jī)?nèi)容17-20
• 1.3.1 本系統(tǒng)的目標(biāo)與挑戰(zhàn)17-18
• 1.3.2 本文選用的相關(guān)基礎(chǔ)框架18-19
• 1.3.3 本文的研究?jī)?nèi)容結(jié)構(gòu)說(shuō)明19-20
• 第2章 基于索引的站內(nèi)搜索引擎需求分析20-26
• 2.1 引言20
• 2.2 站內(nèi)搜索系統(tǒng)功能需求分析20-25
• 2.2.1 拼音搜索引擎需求分析22-23
• 2.2.2 后臺(tái)檢索引擎需求分析23-25
• 2.3 站內(nèi)搜索系統(tǒng)性能需求分析25
• 2.4 本章小結(jié)25-26
• 第3章 基于索引的站內(nèi)搜索引擎的設(shè)計(jì)26-46
• 3.1 引言26
• 3.2 基于倒排索引和字典樹(shù)站內(nèi)搜索系統(tǒng)的總體設(shè)計(jì)26-28
• 3.3 基于倒排索引的檢索系統(tǒng)的詳細(xì)設(shè)計(jì)28-39
• 3.3.1 文檔數(shù)據(jù)源獲取模塊的詳細(xì)設(shè)計(jì)28-32
• 3.3.2 索引建立模塊的詳細(xì)設(shè)計(jì)32-35
• 3.3.3 索引更新模塊的詳細(xì)設(shè)計(jì)35-36
• 3.3.4 搜索查詢模塊的詳細(xì)設(shè)計(jì)36-38
• 3.3.5 搜索排序模塊的詳細(xì)設(shè)計(jì)38-39
• 3.4 基于字典樹(shù)的拼音聯(lián)想搜索的詳細(xì)設(shè)計(jì)39-45
• 3.4.1 拼音轉(zhuǎn)化模塊的詳細(xì)設(shè)計(jì)39-41
• 3.4.2 核心數(shù)據(jù)結(jié)構(gòu)的詳細(xì)設(shè)計(jì)41-42
• 3.4.3 字典樹(shù)建立模塊的詳細(xì)設(shè)計(jì)42-44
• 3.4.4 拼音搜索模塊的詳細(xì)設(shè)計(jì)44-45
• 3.5 本章小結(jié)45-46
• 第4章 基于索引的站內(nèi)搜索引擎的具體實(shí)現(xiàn)46-71
• 4.1 引言46
• 4.2 基于倒排索引的檢索系統(tǒng)的具體實(shí)現(xiàn)46-61
• 4.2.1 文檔數(shù)據(jù)源獲取模塊的具體實(shí)現(xiàn)46-48
• 4.2.2 索引建立模塊的具體實(shí)現(xiàn)48-55
• 4.2.3 索引更新模塊的具體實(shí)現(xiàn)55-57
• 4.2.4 搜索查詢模塊的具體實(shí)現(xiàn)57-59
• 4.2.5 搜索排序模塊的具體實(shí)現(xiàn)59-61
• 4.3 基于字典樹(shù)的拼音聯(lián)想搜索的具體實(shí)現(xiàn)61-69
• 4.3.1 拼音轉(zhuǎn)化模塊的具體實(shí)現(xiàn)62-64
• 4.3.2 核心數(shù)據(jù)結(jié)構(gòu)的具體實(shí)現(xiàn)64-65
• 4.3.3 字典樹(shù)建立模塊的具體實(shí)現(xiàn)65-67
• 4.3.4 拼音搜索模塊的具體實(shí)現(xiàn)67-69
• 4.4 其他輔助模塊的實(shí)現(xiàn)69-70
• 4.5 本章小結(jié)70-71
• 第5章 站內(nèi)搜索系統(tǒng)實(shí)現(xiàn)結(jié)果以及系統(tǒng)測(cè)試71-81
• 5.1 系統(tǒng)功能測(cè)試結(jié)果展示71-76
• 5.1.1 拼音搜索交互測(cè)試效果展示71-73
• 5.1.2 后臺(tái)檢索結(jié)果測(cè)試效果展示73-74
• 5.1.3 系統(tǒng)線下測(cè)試效果展示74-76
• 5.2 系統(tǒng)性能測(cè)試76-80
• 5.2.1 測(cè)試環(huán)境與測(cè)試方式76
• 5.2.2 系統(tǒng)測(cè)試結(jié)果說(shuō)明76-80
• 5.3 本章小結(jié)80-81
• 結(jié)論81-82
• 參考文獻(xiàn)82-86
• 致謝86-87
• 個(gè)人簡(jiǎn)歷87

，

本文編號(hào)：1136118