現(xiàn)有的搜索引擎存在覆蓋率低和查準(zhǔn)率低的缺陷,無法充分滿足用戶對(duì)信息的快速性與有效性要求。元搜索引擎通過調(diào)用多個(gè)搜索引擎來實(shí)現(xiàn)搜索,能較好解決現(xiàn)有搜索引擎的缺陷,但仍然存在智能化程度低、搜索結(jié)果的易用性差、無法滿足個(gè)性化需求等問題。 本文系統(tǒng)綜述了智能元搜索引擎技術(shù)的研究現(xiàn)狀和發(fā)展趨勢(shì),設(shè)計(jì)了一個(gè)基于Multi-Agent的智能元搜索引擎系統(tǒng)結(jié)構(gòu)模型,并對(duì)其中的關(guān)鍵技術(shù)進(jìn)行了研究。數(shù)據(jù)挖掘能夠提取數(shù)據(jù)中隱含的知識(shí),Web數(shù)據(jù)挖掘技術(shù)應(yīng)用于搜索引擎中,為Web信息的利用提出了新的解決方案。Agent技術(shù)的發(fā)展日趨成熟,可有效應(yīng)用于用戶個(gè)性化智能信息檢索中。因此,Web數(shù)據(jù)挖掘技術(shù)、智能Agent技術(shù)與元搜索引擎技術(shù)相融合,可提高元搜索引擎的智能化水平,使元搜索引擎技術(shù)上升到一個(gè)新的高度。本文的主要?jiǎng)?chuàng)新性成果如下所述: 1.在元搜索引擎中吸收了聚類搜索引擎和個(gè)性化檢索的關(guān)鍵元素,提出了一個(gè)基于Multi-Agent的智能元搜索引擎系統(tǒng)結(jié)構(gòu)模型。采用移動(dòng)Agent和常駐Agent相結(jié)合的搜索機(jī)制使系統(tǒng)具有更強(qiáng)的適應(yīng)性,利用并行約簡(jiǎn)算法實(shí)現(xiàn)了常駐Agent對(duì)搜索結(jié)果的動(dòng)態(tài)合并,可有效避免在結(jié)果合成Agent處產(chǎn)生瓶頸。給出了用戶個(gè)性化模式的表示機(jī)制和更新機(jī)制,運(yùn)用個(gè)性化檢索和聚類瀏覽相結(jié)合的檢索方式既能滿足用戶的個(gè)性化要求,提高用戶查詢的查準(zhǔn)率,又能實(shí)現(xiàn)對(duì)搜索結(jié)果的結(jié)構(gòu)化組織,便于用戶快速定位有效信息。 2.提出了一種基于虛擬語(yǔ)言模型的成員搜索引擎選擇算法。采用將成員搜索引擎數(shù)據(jù)庫(kù)與概念相關(guān)聯(lián)的技術(shù),通過靜態(tài)學(xué)習(xí)得到數(shù)據(jù)庫(kù)與各個(gè)概念之間的相關(guān)度,并建立數(shù)據(jù)庫(kù)的特征描述。對(duì)于用戶查詢,先將其映射到相關(guān)概念,然后利用虛擬語(yǔ)言模型計(jì)算查詢與成員搜索引擎數(shù)據(jù)庫(kù)之間的相關(guān)性,結(jié)合用戶對(duì)搜索引擎的偏好度實(shí)現(xiàn)個(gè)性化的成員搜索引擎調(diào)度策略。本算法可以彌補(bǔ)Web信息檢索中短查詢存在的問題,同時(shí)提高數(shù)據(jù)庫(kù)選擇的速度。實(shí)驗(yàn)結(jié)果表明該算法在搜索結(jié)果的查詢精度上比采用CORI算法有明顯的提高。 3.針對(duì)結(jié)果合成算法中搜索引擎性能不均衡帶來的問題,提出了一種基于群決策的合成算法。對(duì)搜索結(jié)果的排序位置和文本信息進(jìn)行規(guī)范化處理得到文檔的相關(guān)分值,平衡搜索引擎之間的差異。利用搜索引擎的性能評(píng)價(jià),提出改進(jìn)的影子文檔方法估算非相關(guān)文檔的分值。考慮成員搜索引擎對(duì)用戶查詢意圖的相關(guān)程度因素,引入群決策思想實(shí)現(xiàn)對(duì)搜索結(jié)果的排序,將與用戶查詢意圖密切相關(guān)的結(jié)果排在搜索結(jié)果的前面,從而提高查準(zhǔn)率。該算法充分利用搜索結(jié)果的信息,計(jì)算簡(jiǎn)單、易于實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明與成員搜索引擎相比,其平均相關(guān)性有明顯提高,并且優(yōu)于Round-robin、CombSum和CombMNZ三種合成算法。 4.為了獲得明確的聚類主題,提出了一種基于概念分組的Web搜索結(jié)果聚類算法。對(duì)概念分組算法進(jìn)行了改進(jìn),突破了其對(duì)查詢特征項(xiàng)的限制,利用特征詞的同現(xiàn)文檔頻率來建立概念分組,進(jìn)而挖掘Web搜索結(jié)果之間的語(yǔ)義關(guān)聯(lián),產(chǎn)生對(duì)查詢主題的概念描述,實(shí)現(xiàn)對(duì)搜索結(jié)果的聚類。類別標(biāo)簽的選擇綜合考慮了特征詞在類內(nèi)和文檔集中的重要性,使得標(biāo)簽具有較強(qiáng)的文檔區(qū)分性。算法中對(duì)特征詞選擇進(jìn)行了優(yōu)化,保證了產(chǎn)生的類別標(biāo)簽具有明確的含義;通過對(duì)搜索結(jié)果的語(yǔ)義挖掘,實(shí)現(xiàn)了對(duì)Web搜索結(jié)果的主題發(fā)現(xiàn),同時(shí),具有對(duì)同義詞的擴(kuò)展能力。該算法具有較低的時(shí)間復(fù)雜度,能夠滿足實(shí)時(shí)的、語(yǔ)義的、重疊聚類的要求。實(shí)驗(yàn)結(jié)果表明該算法聚類性能較好,明顯優(yōu)于K-means聚類算法,并且具有較強(qiáng)的自適應(yīng)性。與中文聚類搜索引擎比比貓相比,在聚類質(zhì)量和類別標(biāo)簽上都與之相近,但能夠產(chǎn)生含義更為明確的類別標(biāo)簽。 

 

【學(xué)位級(jí)別】：博士

 

頁(yè)數(shù)：141

 

文章目錄

 

摘要

ABSTRACT

第一章 緒論

    1.1 研究背景及意義

    1.2 國(guó)內(nèi)外研究現(xiàn)狀

        1.2.1 成員搜索引擎數(shù)據(jù)庫(kù)選擇研究

        1.2.2 搜索結(jié)果合成處理研究

        1.2.3 元搜索引擎的個(gè)性化和智能化研究

    1.3 論文結(jié)構(gòu)安排

    1.4 論文創(chuàng)新點(diǎn)

第二章 智能元搜索引擎技術(shù)的相關(guān)理論

    2.1 向量空間模型

        2.1.1 文檔的向量化表示

        2.1.2 相似度計(jì)算

    2.2 搜索引擎

        2.2.1 搜索引擎的結(jié)構(gòu)

        2.2.2 搜索引擎的分類

        2.2.3 搜索引擎結(jié)果排序

    2.3 元搜索引擎

        2.3.1 元搜索引擎的體系結(jié)構(gòu)

        2.3.2 元搜索引擎的分類

        2.3.3 元搜索引擎的技術(shù)難點(diǎn)

        2.3.4 元搜索引擎的發(fā)展趨勢(shì)

    2.4 聚類瀏覽技術(shù)

        2.4.1 文本聚類的概念

        2.4.2 常用文本聚類方法

        2.4.3 聚類瀏覽技術(shù)的基本要求

        2.4.4 聚類瀏覽技術(shù)的分類

        2.4.5 聚類瀏覽技術(shù)的評(píng)價(jià)方法

        2.4.6 聚類瀏覽技術(shù)的發(fā)展方向

    2.5 小結(jié)

第三章 基于Multi-Agent的智能元搜索引擎模型設(shè)計(jì)

    3.1 引言

    3.2 Agent技術(shù)

        3.2.1 Agent的內(nèi)涵

        3.2.2 Multi-Agent系統(tǒng)

        3.2.3 移動(dòng)Agent與傳統(tǒng)分布式技術(shù)的比較

    3.3 基于Multi-Agent的智能元搜索引擎系統(tǒng)模型整體設(shè)計(jì)

        3.3.1 MAIME系統(tǒng)的ASM設(shè)計(jì)

        3.3.2 MAIME系統(tǒng)的Agent結(jié)構(gòu)設(shè)計(jì)

        3.3.3 MAIME模型的系統(tǒng)結(jié)構(gòu)

        3.3.4 基于Petri網(wǎng)的MAIME建模

    3.4 模型的技術(shù)分析

        3.4.1 移動(dòng)Agent和常駐Agent相結(jié)合的搜索機(jī)制

        3.4.2 個(gè)性化和聚類瀏覽相結(jié)合的檢索方式

    3.5 小結(jié)

第四章 成員搜索引擎選擇算法研究

    4.1 引言

    4.2 典型的成員搜索引擎選擇算法

        4.2.1 定性方法

        4.2.2 定量方法

        4.2.3 基于學(xué)習(xí)的方法

    4.3 基于虛擬語(yǔ)言模型的成員搜索引擎選擇算法

        4.3.1 算法設(shè)計(jì)思路

        4.3.2 基于主題概念的數(shù)據(jù)庫(kù)特征描述

        4.3.3 基于虛擬語(yǔ)言模型的數(shù)據(jù)庫(kù)選擇算法

        4.3.4 算法小結(jié)

    4.4 實(shí)驗(yàn)結(jié)果與分析

        4.4.1 數(shù)據(jù)集合構(gòu)建

        4.4.2 評(píng)價(jià)方法

        4.4.3 實(shí)驗(yàn)結(jié)果

    4.5 小結(jié)

第五章 元搜索引擎結(jié)果合成算法研究

    5.1 引言

    5.2 典型的結(jié)果合成算法

        5.2.1 基于位置信息的合成算法

        5.2.2 基于分值的合成算法

        5.2.3 基于內(nèi)容的合成算法

        5.2.4 重疊文檔在結(jié)果合成中的處理方法

        5.2.5 實(shí)際應(yīng)用中元搜索引擎的合成算法

    5.3 搜索結(jié)果合成的預(yù)處理技術(shù)

        5.3.1 無效鏈接檢查

        5.3.2 查詢結(jié)果消重

    5.4 基于群決策的結(jié)果合成算法

        5.4.1 相關(guān)分值的規(guī)范化

        5.4.2 非相關(guān)文檔的相關(guān)分值估算

        5.4.3 相關(guān)分值合并

        5.4.4 算法小結(jié)

    5.5 實(shí)驗(yàn)結(jié)果與分析

        5.5.1 數(shù)據(jù)集合構(gòu)建

        5.5.2 評(píng)價(jià)方法

        5.5.3 實(shí)驗(yàn)結(jié)果

    5.6 小結(jié)

第六章 搜索結(jié)果聚類算法研究

    6.1 引言

    6.2 典型搜索結(jié)果聚類算法

        6.2.1 傳統(tǒng)聚類算法的應(yīng)用

        6.2.2 典型Web Snippets聚類算法

    6.3 基于概念分組的聚類算法

        6.3.1 概念分組技術(shù)

        6.3.2 概念分組算法的改進(jìn)

        6.3.3 Web搜索結(jié)果聚類算法的步驟

        6.3.4 算法小結(jié)

    6.4 實(shí)驗(yàn)結(jié)果與分析

        6.4.1 評(píng)價(jià)數(shù)據(jù)集合構(gòu)建

        6.4.2 評(píng)價(jià)方法

        6.4.3 實(shí)驗(yàn)結(jié)果

    6.5 小結(jié)

第七章 總結(jié)與展望

    7.1 研究總結(jié)

    7.2 進(jìn)一步的研究工作

致謝

參考文獻(xiàn)