【摘要】：搜索引擎技術(shù)能幫助人們尋找到他們想要的信息，但隨著目前的搜索引擎技術(shù)和互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)信息呈明顯的爆炸性增長的上升趨勢(shì)，有時(shí)不能幫助人們快速、準(zhǔn)確地獲得他們需要的信息。問答系統(tǒng)是在傳統(tǒng)的搜索引擎技術(shù)的基礎(chǔ)上發(fā)展起來的新的精確的搜索技術(shù)。 近年來，越來越多的QA問題（QuestionAnswer）頻頻出現(xiàn)在各種網(wǎng)站上面，如QA論壇或社區(qū)。把（QA，thread）作為一個(gè)重要的知識(shí)資源的挑戰(zhàn)是如何能根據(jù)答案質(zhì)量自動(dòng)排序的問題。因?yàn)椋≦A，thread）中回答的質(zhì)量良莠不齊，幾乎所有的QA論壇和社區(qū)，對(duì)答案不做任何處理。明顯，這將導(dǎo)致用戶體驗(yàn)產(chǎn)生負(fù)面影響。在本文對(duì)這項(xiàng)的研究中，對(duì)于答案質(zhì)量問題，在考慮代價(jià)的前提下，運(yùn)用排序?qū)W習(xí)算法，主要工作和創(chuàng)新表現(xiàn)在以下幾個(gè)方面。 首先，以百度知道為數(shù)據(jù)源，，抽象出問題答案對(duì)的特征向量，把產(chǎn)生出的數(shù)據(jù)集用于訓(xùn)練排序模型，并在現(xiàn)有的特征選擇算法基礎(chǔ)上提出改進(jìn)的面向排序?qū)W習(xí)的錦標(biāo)賽排序特征選擇方法。 其次，分析了排序支持向量機(jī)在問答系統(tǒng)排序中存在的一些問題，然后把敏感代價(jià)排序?qū)W習(xí)算法應(yīng)用到排序支持向量機(jī)中，提出敏感代價(jià)和基于位置的敏感代價(jià)排序?qū)W習(xí)算法。該算法認(rèn)為在答案對(duì)序列頂部比在答案對(duì)中間或結(jié)尾所犯錯(cuò)誤要付出的代價(jià)更大，所以敏感代價(jià)考慮順序?qū)W習(xí)算法分析了問答對(duì)的分類信息，比如答案和問題是相關(guān)的、部分相關(guān)的、完全不相關(guān)的等�；谖恢玫拿舾写鷥r(jià)排序?qū)W習(xí)算法不僅考慮了問答對(duì)元素的前部和后部的分類信息，而且要考慮其位置信息。 然后，用公式證明敏感代價(jià)排序?qū)W習(xí)算法和基于位置的敏感代價(jià)排序?qū)W習(xí)算法的損失函數(shù)是凸性并具有一次可導(dǎo)性，可用梯度下降優(yōu)化方法。 最后，把以上提出的面向排序?qū)W習(xí)的錦標(biāo)賽排序特征選擇方法、敏感代價(jià)排序?qū)W習(xí)算法和基于位置的敏感代價(jià)順序?qū)W習(xí)算法應(yīng)用到百度知道的實(shí)驗(yàn)數(shù)據(jù)集中，從而訓(xùn)練出新的排序模型，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析和討論。實(shí)驗(yàn)結(jié)果表明，新提出的特征選擇方法和排序?qū)W習(xí)算法的性能均高于比原來的排序?qū)W習(xí)方法。
文內(nèi)圖片：
圖片說明： 第 5 章 實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)與實(shí)驗(yàn)結(jié)果“醫(yī)療健康”、“體育/運(yùn)動(dòng)”、“電子數(shù)碼”、“商業(yè)/理財(cái)”、“教育/科學(xué)”、“社會(huì)/民生”、“文化/藝術(shù)”等。我們的數(shù)據(jù)集取自“百度知道”的“電子/數(shù)碼”分類，試驗(yàn)需要從 QA 論壇上抓取一些問題答案對(duì)（QA ，thread）來提取用于獲取排序模型的訓(xùn)練數(shù)據(jù)。一共從中抓取了 3259 個(gè)（QA ，thread），其中包括問題 3259個(gè)，答案 17385 個(gè)。圖 5-2 為我們給出的“百度知道”中“電子/數(shù)碼”分類下的一個(gè)（QA ，thread）。
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP391.3;TP181

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 劉麗珍,宋瀚濤;文本分類中的特征選取[J];計(jì)算機(jī)工程;2004年04期

2 陳彬，洪家榮，王亞東;最優(yōu)特征子集選擇問題[J];計(jì)算機(jī)學(xué)報(bào);1997年02期

3 鄭實(shí)福,劉挺,秦兵,李生;自動(dòng)問答綜述[J];中文信息學(xué)報(bào);2002年06期

4 代六玲,黃河燕,陳肇雄;中文文本分類中特征抽取方法的比較研究[J];中文信息學(xué)報(bào);2004年01期

5 萬忠;張燕平;張鈴;陳潔;張晨希;張迎春;;基于覆蓋算法決策界的特征選擇算法[J];計(jì)算機(jī)技術(shù)與發(fā)展;2006年04期

本文編號(hào)：2514901