發(fā)布時(shí)間：2020-10-23 01:14

　　 隨著文本數(shù)據(jù)的急劇增加,對(duì)文本的智能化處理和分析成為了解決信息過(guò)載問(wèn)題的重要途徑之一,而文本的語(yǔ)義研究則是其中的關(guān)鍵。作為文本語(yǔ)義研究的一個(gè)重要方向,文本語(yǔ)義的通順度研究目前相對(duì)較少。不可否認(rèn),文本通順度研究對(duì)機(jī)器翻譯,文章智能批改等領(lǐng)域也至關(guān)重要,但怎樣判斷句子是否通順以及句子的組織是否合理則是一個(gè)非常重要且頗具挑戰(zhàn)性的研究課題。傳統(tǒng)的人工處理方式不僅需要耗費(fèi)大量的人力成本和時(shí)間資源,而且存在著較大的不準(zhǔn)確性,差異性等問(wèn)題。若能通過(guò)對(duì)文本語(yǔ)義通順度研究來(lái)構(gòu)建一個(gè)有效模型,讓計(jì)算機(jī)以類似人類的方式去評(píng)判一句話是否通順,那么將有望緩解傳統(tǒng)人工批改所存在的如無(wú)法批改大量文本、低效及一致性評(píng)價(jià)等問(wèn)題。本文提出了一種依存句法分析下的語(yǔ)義通順度計(jì)算方法,該方法通過(guò)融合句子主干以及句子細(xì)節(jié)的語(yǔ)義通順度和語(yǔ)法通順度的聯(lián)合概率來(lái)計(jì)算通順度。本文還提出了一種神經(jīng)網(wǎng)絡(luò)模型和機(jī)器學(xué)習(xí)算法結(jié)合下的語(yǔ)義通順度計(jì)算方法,該方法先對(duì)文章進(jìn)行分詞,通過(guò)word2vec進(jìn)行詞向量表示,然后在模型中加入卷積神經(jīng)網(wǎng)絡(luò)(CNN)層學(xué)習(xí)字向量,并通過(guò)注意力機(jī)制聯(lián)合詞向量與字向量,然后通過(guò)雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型(Bi-LSTM)進(jìn)行學(xué)習(xí),最后輸入到條件隨機(jī)場(chǎng)層(CRF)進(jìn)行計(jì)算輸出。在實(shí)驗(yàn)過(guò)程中,針對(duì)申論議論文數(shù)據(jù)集正負(fù)樣本不平衡的問(wèn)題,使用欠采樣等方法進(jìn)行了數(shù)據(jù)增強(qiáng)處理。實(shí)驗(yàn)結(jié)果表明,相對(duì)于依存句法分析,神經(jīng)網(wǎng)絡(luò)模型與機(jī)器學(xué)習(xí)算法結(jié)合的模型更適用于文本的語(yǔ)義通順度計(jì)算,我們?cè)谝粋�(gè)人工標(biāo)注數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,初步證明了上述模型的可行性和有效性。
【學(xué)位單位】：華中師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP391.1;TP183
【部分圖文】：

—／??ｗ（ｔ＋２）??圖２．?１?ＣＢＯＷ模型??如圖２．１所示，ＣＢＯＷ模型是一個(gè)淺層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，分為輸入層，隱藏層，??輸出層三層。模型的輸入為當(dāng)前詞的上下文信息Ｃ（ｖ＾），其中Ｃ（Ｗｉ）＝?（Ｗｉ＿２，??Ｖｌ＾ｉ，Ｗｉ＋１，?Ｗｉ＋２），隱藏層是對(duì)Ｗｊ的上下文信息進(jìn)行求和運(yùn)算，最后輸出對(duì)當(dāng)前詞??的預(yù)測(cè)概率Ｐ＾ＩＣｋ））。ＣＢＯＷ模型的優(yōu)化目標(biāo)函數(shù)為：??（公式?２．?１）??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??？?ｊ￣￣￣｜??＿?ｗ｛ｔ－２）??／ｒｚ??ｗ（ｔ）???？?：??剩??＿?ｗ（�。玻�??圖?２．?２?Ｓｋｉｐ－ｇｒａｍ?模型??６??

ｗ（ｔ－１）?、＼?＼??—Ｊ?＼?＼?ＳＵＭ??％?？?ｗ〇＞??ｗ（ｔ＋１）?／??—／??ｗ（ｔ＋２）??圖２．?１?ＣＢＯＷ模型??ＣＢＯＷ模型是一個(gè)淺層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，分為輸輸入為當(dāng)前詞的上下文信息Ｃ（ｖ＾），其中Ｃ隱藏層是對(duì)Ｗｊ的上下文信息進(jìn)行求和運(yùn)算，最））。ＣＢＯＷ模型的優(yōu)化目標(biāo)函數(shù)為：??ＩＮＰＵＴ?ＰＲＯＪＥＣＴＩＯＮ?ＯＵＴＰＵＴ??

?Ｉ?Ｉ??｜??圖２．?３卷積神經(jīng)網(wǎng)絡(luò)??卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋｓ，簡(jiǎn)稱ＣＮＮ），屬于人工神經(jīng)網(wǎng)??絡(luò)模型的一種。圖２．３是用于文本分類任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)，由輸入層，卷積層，??池化層，全連接層構(gòu)成，屬于深層神經(jīng)網(wǎng)絡(luò)模型［２２］。其相對(duì)于其他神經(jīng)網(wǎng)絡(luò)模型，??最主要的特點(diǎn)就是卷積計(jì)算操作。通常在卷積層中使用比較直觀的互相關(guān)運(yùn)算方式??［２３］??Ｏ??二維卷積層中，輸入一個(gè)二維矩陣和一個(gè)二維過(guò)濾器（也稱卷積核），就可以通??過(guò)互相關(guān)運(yùn)算輸出一個(gè)二維矩陣。如圖２．３所示，假設(shè)輸入層是一個(gè)３ｘ３的二維矩??陣，過(guò)濾器為２ｘ２的矩陣，圖中的陰影部分為輸入的矩陣元素和過(guò)濾器矩陣元素互??相關(guān)運(yùn)算之后輸出的第一個(gè)值：０Ｘ０＋１Ｘ１＋３Ｘ２＋４Ｘ３＝１９。??０?；?１?２?Ｉ－?＇＇＂．．．ｊ，，．?￣－１￣?????０?１?１９１?２５??３?４?５?＊?＾?＝?—■—??－Ｓ－－??２－３１?３７?４３??６?７?８?＊■—￣￣?￣￣￣??圖２．?４互相關(guān)運(yùn)算??卷積層將輸入和過(guò)濾器作互相關(guān)運(yùn)算
【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 石翠;;依存句法分析研究綜述[J];智能計(jì)算機(jī)與應(yīng)用;2013年06期

2 鑒萍;宗成慶;;基于序列標(biāo)注模型的分層式依存句法分析方法[J];中文信息學(xué)報(bào);2010年06期

3 邢永康;馬少平;;統(tǒng)計(jì)語(yǔ)言模型綜述[J];計(jì)算機(jī)科學(xué);2003年09期

4 余凱;;深度學(xué)習(xí)——機(jī)器學(xué)習(xí)的新浪潮[J];程序員;2013年02期

相關(guān)博士學(xué)位論文 前1條

1 彭艷;短語(yǔ)結(jié)構(gòu)語(yǔ)法與依存語(yǔ)法的心理現(xiàn)實(shí)性研究[D];上海外國(guó)語(yǔ)大學(xué);2007年

相關(guān)碩士學(xué)位論文 前3條

1 陳先昌;基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究[D];浙江工商大學(xué);2014年

2 盧孝新;基于馬爾科夫隨機(jī)場(chǎng)的三維網(wǎng)格模型分割算法研究[D];哈爾濱工業(yè)大學(xué);2010年

3 沈超;基于轉(zhuǎn)換的依存句法分析研究[D];復(fù)旦大學(xué);2009年

本文編號(hào)：2852354