本文選題：微博檢索　切入點：語言模型　出處：《哈爾濱工業(yè)大學(xué)》2012年碩士論文　論文類型：學(xué)位論文

【摘要】：微博提供了一種新的信息傳播方式。在微博上，人們可以通過最多140個字來快速自由地表達自己的感受、見聞或者意見。微博自從出現(xiàn)以來經(jīng)歷了巨大的發(fā)展，目前風(fēng)靡全球的Twitter和國內(nèi)流行的新浪微博都有著數(shù)以億記的用戶，每天產(chǎn)生出巨大數(shù)量的新內(nèi)容。 隨著微博的發(fā)展，它已經(jīng)成為人們獲取信息的一種重要方式。微博中的信息與傳統(tǒng)網(wǎng)頁信息相比更加具有時效性，因為微博的內(nèi)容大部分是對熱門話題的報導(dǎo)或者討論。“沒有檢索的信息是無用的”，對于微博中海量的數(shù)據(jù)，如何使用戶快速有效的得到他想要的內(nèi)容，是微博檢索的主要目的。 本文研究了微博文本檢索的兩個主要特點：(1)相關(guān)性。即檢索結(jié)果應(yīng)該與用戶的查詢盡可能的相關(guān)。(2)實時性。即用戶希望得到盡可能新的結(jié)果。目前流行的商用搜索引擎都采用了一種簡單的檢索模型，即將包含所有查詢詞的微博按其創(chuàng)建時間排序。這種方法雖然考慮到了微博檢索的兩個特點，按創(chuàng)建時間排序的方法也保證了檢索結(jié)果的實時性，，但是這種方法過于“嚴格”的相關(guān)性判斷標準會使得大量的相關(guān)文檔被過濾掉。 本文在語言模型的檢索方法下整體考慮微博檢索的相關(guān)性和實時性。語言模型方法主要包括兩個部分：與查詢相關(guān)的相關(guān)性模型和與查詢無關(guān)的文檔先驗?zāi)Ｐ�。本文使用了一種基于創(chuàng)建時間的文檔先驗?zāi)Ｐ蛠砜紤]微博檢索的實時性，實驗結(jié)果表明這種模型的引入可以使結(jié)果提高4%到5%。而對于相關(guān)性模型的選擇，本文對比了古老的伯努利模型和目前占主導(dǎo)地位的多項式模型。雖然多項式模型在傳統(tǒng)的文本檢索中被認為是優(yōu)于伯努利模型的，但最近伯努利模型在句子檢索中的優(yōu)秀表現(xiàn)顯示了它在短文本檢索中的有效性�？紤]到微博的短文本特性，有必要對伯努利模型在微博檢索的效果進行研究。實驗結(jié)果表明伯努利模型在微博檢索中的結(jié)果的準確率要高于多項式模型，而且伯努利模型對于平滑參數(shù)的改變也比多項式模型更加穩(wěn)定。因此，在語言模型方法中結(jié)合了伯努利模型和基于微博創(chuàng)建時間的文檔先驗?zāi)Ｐ偷臋z索方法有著最好的結(jié)果。 除了對檢索結(jié)果按相關(guān)性排序的方法之外，本文還研究了將檢索結(jié)果按微博創(chuàng)建時間排序的方法。本文采用了一種利用語言模型的檢索結(jié)果進行重排序的方法，并對重排序閾值的選擇進行了重點研究，使用了一種基于文檔得分分布的自動閾值選擇方法。這種方法利用高斯分布對相關(guān)文檔的得分進行建模，并用指數(shù)分布對不相關(guān)文檔的得分進行建模，并在缺少相關(guān)性標注的情況下利用期望最大化算法(EM)對混合模型進行參數(shù)估計。實驗結(jié)果表明這種自動閾值選擇方法的結(jié)果要比人工設(shè)定固定閾值的方法至少高出9%，而且自動閾值選擇的方法也避免了在沒有任何啟發(fā)信息的情況下手工設(shè)定閾值很難達到最優(yōu)值的問題。 本文的最后將語言模型方法和自動閾值選擇方法結(jié)合起來與目前流行的微博檢索方法(即將包含所有查詢詞的微博按其創(chuàng)建時間進行排序)進行了比較。這兩種方法都能產(chǎn)生按微博創(chuàng)建時間排序的結(jié)果，但實驗結(jié)果表明本文的方法的結(jié)果比后一種方法要高出78.3%。
[Abstract]:......
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP393.092;TP391.1

【共引文獻】

相關(guān)碩士學(xué)位論文 前2條

1 王姝瓊;兒童攻擊亞類型、同伴地位與其適應(yīng)不良的關(guān)系[D];山東師范大學(xué);2008年

2 李緒維;微博短文本檢索關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

本文編號：1570590