Quality Phrase挖掘是從文本語料庫中提取有意義短語的過程,是文檔摘要、信息檢索等任務的基礎。然而現(xiàn)有的無監(jiān)督短語挖掘方法存在候選短語質(zhì)量不高、Quality Phrase的特征權重平均分配的問題。本文提出基于統(tǒng)計特征的Quality Phrase挖掘方法,將頻繁N-Gram挖掘、多詞短語組合性約束及單詞短語拼寫檢查相結(jié)合,保證了候選短語的質(zhì)量;引入公共知識庫對候選短語添加類別標簽,實現(xiàn)了Quality Phrase特征權重的分配,并考慮特征之間相互影響設置懲罰因子調(diào)整權重比例;按照候選短語的特征加權函數(shù)得分排序,提取Quality Phrase。實驗結(jié)果表明,基于統(tǒng)計特征的Quality Phrase挖掘方法明顯提高了短語挖掘的精度,與最優(yōu)的無監(jiān)督短語挖掘方法相比,精確率、召回率及F1-Score分別提升了5.97%,1.77%和4.02%。

【文章頁數(shù)】：16 頁

【文章目錄】：
引言
1相關定義
2 Quality Phrase評價準則
3基于統(tǒng)計特征的候選短語挖掘方法
    3.1頻繁N?Gram短語挖掘
    3.2多詞短語組合性約束
    3.3單詞短語拼寫檢查
4基于統(tǒng)計特征的Quality Phrase選擇方法
    4.1特征對Quality Phrase的貢獻程度
    4.2特征之間相互影響
5實驗驗證
    5.1數(shù)據(jù)集
    5.2對比算法
    5.3評價指標
    5.4實驗結(jié)果
        5.4.1組合性統(tǒng)計意義度量選擇
        5.4.2候選短語挖掘階段實驗結(jié)果對比
        5.4.3本文算法與其他算法的對比
6結(jié)束語



本文編號：4011740