信息化的迅速發(fā)展給人們帶來(lái)便利的同時(shí),也使得網(wǎng)絡(luò)中充斥著大量冗余、非結(jié)構(gòu)化的文本信息,這也大大降低了人們獲取信息的效率。自動(dòng)摘要技術(shù)可以幫助人們快速地獲取信息,而利用標(biāo)題生成技術(shù)則可以獲得更加簡(jiǎn)潔的摘要。本文將其作為研究任務(wù),針對(duì)短文本語(yǔ)料和長(zhǎng)文本語(yǔ)料,分別從文本特征表示和層級(jí)模型兩個(gè)方面深入挖掘文本語(yǔ)義信息進(jìn)行標(biāo)題生成。在文本特征表示方面,為了深入挖掘語(yǔ)義信息,本文針對(duì)短文本語(yǔ)料進(jìn)行了基于詞向量的文本特征表示研究。在詞向量基礎(chǔ)上,引入多種抽取式摘要中常用的特征,如詞頻、位置、聚類以及層次分布等特征,使文本特征表示對(duì)標(biāo)題生成具有任務(wù)傾向性,并對(duì)這些文本特征的不同組合和表示進(jìn)行相關(guān)研究;引入這些特征可以從語(yǔ)言學(xué)、統(tǒng)計(jì)學(xué)等角度對(duì)文本語(yǔ)義進(jìn)行深入挖掘。在特征表示時(shí),本文將詞向量與引入特征直接進(jìn)行拼接;并在此基礎(chǔ)上,針對(duì)標(biāo)題生成任務(wù)訓(xùn)練專門的詞向量,利用命名實(shí)體,詞性、主題特征等信息構(gòu)造新的詞向量訓(xùn)練語(yǔ)料,以期得到的詞向量包含部分語(yǔ)言學(xué)和統(tǒng)計(jì)學(xué)信息等。在標(biāo)題生成任務(wù)中引入抽取式摘要特征可以與詞向量在表示語(yǔ)義時(shí)相互補(bǔ)充,從而全面多角度地深入挖掘文本語(yǔ)義信息。通過(guò)對(duì)比實(shí)驗(yàn)驗(yàn)證其有效性。此外,對(duì)稀疏... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１?Ｓｅｑ２ｓｅｑ模型展開丨句??如圖２－１所示，Ｓｅ２Ｓｅ模型主要包括編碼器和解碼器，其中ｉ?＝?１，２，Ｎ

以及狀態(tài)轉(zhuǎn)移的計(jì)算，模型的計(jì)算量也會(huì)隨著時(shí)序狀態(tài)的增加呈指數(shù)增長(zhǎng)。而循??環(huán)神經(jīng)網(wǎng)絡(luò)ＲＮＮ通過(guò)在不同的時(shí)序狀態(tài)共享參數(shù)極大地減少了計(jì)算量，同時(shí)又??能記憶序列信息。圖２－２為ＲＮＮ網(wǎng)絡(luò)的基本結(jié)構(gòu)示意圖。??輸出層?％??Ｖ＼??隱含層?州??輸入層?ｘ??圖２－２?ＲＮＮ網(wǎng)絡(luò)基本結(jié)構(gòu)示意圖??一般的神經(jīng)網(wǎng)絡(luò)（如多層感知機(jī)以及ＤＮＮ等）包括輸入層、隱含層和輸出??層，層與層之間通過(guò)權(quán)值連接。同樣地，如圖２－２所示的ＲＮＮ網(wǎng)絡(luò)也包含輸入??層、隱含層和輸出層；而在ＲＮＮ網(wǎng)絡(luò)中不僅層與層之間有權(quán)重相連（圖２－２中??的權(quán)重矩陣Ｕ，Ｖ為層與層之間的權(quán)重連接），而且隱含層自身也有權(quán)重連接，通過(guò)??權(quán)重矩陣Ｗ將上一時(shí)刻的信息傳遞到下一時(shí)刻，這也是ＲＮＮ能對(duì)時(shí)序信息進(jìn)行??記憶建模的原因。??°ｔ￣ｌ?°ｔ?°ｔ?＋?ｌ??Ａ?皮??ｘｔ－＼?ｘｔ?＋?ｌ??圖２－３?ＲＮＮ網(wǎng)絡(luò)單元展開圖??圖２－３為圖２－２中ＲＮＮ網(wǎng)絡(luò)單元隨時(shí)間的展開圖，ＲＮＮ網(wǎng)絡(luò)可以隨時(shí)間或??序列遞歸，是一種能夠?qū)W習(xí)時(shí)序信息的模型。圖２－３中的ｘｔ是ＲＮＮ在時(shí)刻ｔ的輸??１０??

以及狀態(tài)轉(zhuǎn)移的計(jì)算，模型的計(jì)算量也會(huì)隨著時(shí)序狀態(tài)的增加呈指數(shù)增長(zhǎng)。而循??環(huán)神經(jīng)網(wǎng)絡(luò)ＲＮＮ通過(guò)在不同的時(shí)序狀態(tài)共享參數(shù)極大地減少了計(jì)算量，同時(shí)又??能記憶序列信息。圖２－２為ＲＮＮ網(wǎng)絡(luò)的基本結(jié)構(gòu)示意圖。??輸出層?％??Ｖ＼??隱含層?州??輸入層?ｘ??圖２－２?ＲＮＮ網(wǎng)絡(luò)基本結(jié)構(gòu)示意圖??一般的神經(jīng)網(wǎng)絡(luò)（如多層感知機(jī)以及ＤＮＮ等）包括輸入層、隱含層和輸出??層，層與層之間通過(guò)權(quán)值連接。同樣地，如圖２－２所示的ＲＮＮ網(wǎng)絡(luò)也包含輸入??層、隱含層和輸出層；而在ＲＮＮ網(wǎng)絡(luò)中不僅層與層之間有權(quán)重相連（圖２－２中??的權(quán)重矩陣Ｕ，Ｖ為層與層之間的權(quán)重連接），而且隱含層自身也有權(quán)重連接，通過(guò)??權(quán)重矩陣Ｗ將上一時(shí)刻的信息傳遞到下一時(shí)刻，這也是ＲＮＮ能對(duì)時(shí)序信息進(jìn)行??記憶建模的原因。??°ｔ￣ｌ?°ｔ?°ｔ?＋?ｌ??Ａ?皮??ｘｔ－＼?ｘｔ?＋?ｌ??圖２－３?ＲＮＮ網(wǎng)絡(luò)單元展開圖??圖２－３為圖２－２中ＲＮＮ網(wǎng)絡(luò)單元隨時(shí)間的展開圖，ＲＮＮ網(wǎng)絡(luò)可以隨時(shí)間或??序列遞歸，是一種能夠?qū)W習(xí)時(shí)序信息的模型。圖２－３中的ｘｔ是ＲＮＮ在時(shí)刻ｔ的輸??１０??


本文編號(hào)：3070703