本文關(guān)鍵詞：基于改進(jìn)HMM下自動(dòng)摘要的生成

  更多相關(guān)文章： 自動(dòng)摘要 web新聞頁(yè)面 HMM模型 改進(jìn)HMM模型

【摘要】：現(xiàn)代社會(huì)計(jì)算機(jī)技術(shù)不斷發(fā)展,電子化的信息和文本咨詢(xún)呈現(xiàn)爆炸性增長(zhǎng),網(wǎng)絡(luò)也早已經(jīng)成為人們獲取和傳遞信息最重要的方式。要在海量的信息中快速鎖定自己感興趣的內(nèi)容需要花費(fèi)人們大量的時(shí)間,所以有效、簡(jiǎn)易的信息檢索技術(shù)是當(dāng)前互聯(lián)網(wǎng)時(shí)代最需要的。而自動(dòng)摘要(Automatic Summarization)生成技術(shù)是對(duì)信息進(jìn)行總結(jié)、濃縮的有力工具。為計(jì)算機(jī)編寫(xiě)程序生成的自動(dòng)摘要需要具有以下特點(diǎn):(1)概括性的表達(dá)原文的主旨大意;(2)語(yǔ)言簡(jiǎn)潔明了,篇幅較短;(3)語(yǔ)義連貫通順,具有可理解性和可讀性。本文分析了傳統(tǒng)的自動(dòng)摘要生成方法,大多都是計(jì)算句子權(quán)重來(lái)提取相對(duì)比較重要的句子組成摘要,并沒(méi)有考慮前后句子間的關(guān)聯(lián)程度。所以本文將隱馬爾科夫模型(HMM)中的狀態(tài)轉(zhuǎn)移特性運(yùn)用到自動(dòng)摘要中,使得生成的摘要更能符合上下文語(yǔ)境。并且在這基礎(chǔ)上進(jìn)一步改進(jìn)傳統(tǒng)HMM模型,加入了觀察狀態(tài)的后向釋放概率,驗(yàn)證結(jié)果表明生成的摘要準(zhǔn)確率有明顯的提高。具體工作如下:首先,文中采用的是以web新聞文本作為對(duì)象來(lái)研究自動(dòng)摘要的相關(guān)技術(shù)理論。由于web新聞網(wǎng)頁(yè)的特殊性,實(shí)現(xiàn)了正則表達(dá)式和行塊分布算法相結(jié)合的正文文本提取方法,并用最大正向匹配算法和TF-IDF詞頻統(tǒng)計(jì)算法對(duì)得到的正文文本進(jìn)行分析處理。然后,對(duì)傳統(tǒng)HMM進(jìn)行深入研究,將隱藏狀態(tài)序列按照句子的重要程度依次定為“A”、“B”、“C”、“D”、“E”,結(jié)合句子的詞頻、位置、標(biāo)題相關(guān)程度、線(xiàn)索詞四種句子特征進(jìn)行HMM的建立并用于自動(dòng)摘要的生成中。對(duì)比發(fā)現(xiàn),該模型生成的摘要比基于普通句子權(quán)重方法生成的摘要更能體現(xiàn)上下文語(yǔ)境的連貫性。最后,將HMM模型根據(jù)web新聞文本的特點(diǎn)進(jìn)行改進(jìn),使得觀察狀態(tài)的釋放不僅跟t時(shí)刻的隱藏狀態(tài)有關(guān)還與t+1時(shí)刻的隱藏狀態(tài)有關(guān),進(jìn)一步細(xì)化了摘要句的提取概率。其中模型訓(xùn)練學(xué)習(xí)算法和Viterbi算法也根據(jù)模型的改進(jìn)進(jìn)行相應(yīng)調(diào)整,實(shí)現(xiàn)基于改進(jìn)HMM模型的自動(dòng)摘要生成。實(shí)驗(yàn)對(duì)比改進(jìn)HMM模型與傳統(tǒng)HMM模型生成摘要的質(zhì)量和運(yùn)行時(shí)間,驗(yàn)證了改進(jìn)HMM的可行性。
【學(xué)位授予單位】：浙江理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TP391.1

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 劉培玉;荀靜;費(fèi)紹棟;朱振方;;基于隱馬爾可夫模型的主觀句識(shí)別[J];中文信息學(xué)報(bào);2016年04期

2 高慶寧;吳鵬;張晶晶;;基于文檔對(duì)象模型與行塊分布算法的網(wǎng)頁(yè)信息抽取[J];情報(bào)理論與實(shí)踐;2016年04期

3 羅毅輝;熊曙初;;一種集成框架下的分布式多文檔自動(dòng)摘要方法[J];情報(bào)雜志;2013年11期

4 吳志川;毛琛;韓蕾;陳立軍;;高度可伸縮的稀疏矩陣乘法[J];計(jì)算機(jī)科學(xué)與探索;2013年11期

5 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲(chóng)技術(shù)研究[J];東莞理工學(xué)院學(xué)報(bào);2011年03期

6 黃承慧;印鑒;侯f ;;一種結(jié)合詞項(xiàng)語(yǔ)義信息和TF-IDF方法的文本相似度量方法[J];計(jì)算機(jī)學(xué)報(bào);2011年05期

7 周瑛;張鈴;;有限混合模型在文本分類(lèi)中的應(yīng)用研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2010年06期

8 劉海天;趙政文;盛光磊;;隱馬爾可夫模型及其在自然語(yǔ)言處理中的應(yīng)用[J];微處理機(jī);2009年03期

9 陳艷;;初識(shí)HTML語(yǔ)言[J];科技信息;2009年03期

10 白曉紅;;言語(yǔ)失誤及其成因與結(jié)果(英文)[J];語(yǔ)文學(xué)刊;2008年23期

，

本文編號(hào)：1278332