基于序列生成對抗網(wǎng)絡的綜合素質評價系統(tǒng)文本生成研究
發(fā)布時間:2021-01-10 07:07
綜合素質評價是素質教育的一項規(guī)范,開發(fā)針對綜合素質評價的管理系統(tǒng)非常有必要,不僅可以方便管理在讀學生的學習狀態(tài),歸檔后的數(shù)據(jù)也是將來進一步提高素質教育水平的重要參考。但目前的素質評測存在很強的主觀性,主要體現(xiàn)在控制權集中在班主任手中,以及某些學校的評測過程往往不透明、不公開,導致社會上對于綜合素質評價仍然存在質疑。本文使用江西省普通高中畢業(yè)生往年的綜合素質評價數(shù)據(jù),通過基于大數(shù)據(jù)的文本生成方法,以及完全的線上管理,在一定程度上降低參評者的主觀影響,提高評語填寫的公正性;同時減少教師在撰寫評語上所花費的時間,提高工作效率。本文針對素質教育評語內容的生成,對計算機自動文本生成進行了深入的研究分析。首先分類和總結了文本生成領域的研究成果,對幾種相關的神經(jīng)網(wǎng)絡的基本概念、具體結構以及訓練方法進行了介紹說明。在此基礎上,根據(jù)調研提出的下游任務在序列生成對抗網(wǎng)絡模型上進行改進,分別在判別器和生成器中加入關聯(lián)語義對特征及隱變量的影響,實現(xiàn)了基于抽象的關聯(lián)語義控制的評語生成方法,使得網(wǎng)絡能夠根據(jù)輸入的評價等級生成符合預期效果的文本。并且采用了自動評測和人工評測兩種方式互補建立評價系統(tǒng)。實驗結果表明,該...
【文章來源】:南昌大學江西省 211工程院校
【文章頁數(shù)】:75 頁
【學位級別】:碩士
【部分圖文】:
圖2.1循環(huán)神經(jīng)網(wǎng)絡按序列展開??
?第2章文本生成相關理論與技術???Q?Q????A?+???/* ̄?TT?Z"?"7?p\??YYcehei?¥?x?lip?f?V?op]?:?v。椋??「+9?r.-.^?\?I?—?’甲?r-^>?:?|?ri?r ̄>6?I???m?c±3?usei?w?.?i±i?m?siiD?m?i?cfa?m?國?m?廠、??-寸-L?丄一.」一」吻二二?J?丄丨―i—?L-^|■.個》?????????圖2.2?LSTM單元結構??相比RNN只有一個傳遞狀態(tài),引入門限機制的LSTM記憶單元在每個時??間步t接收的輸出有三個,一是當前步輸入值,另外兩個傳輸狀態(tài),一個是細??胞狀態(tài)Cg?(cell?state),和一個隱藏狀態(tài)(hidden?state),經(jīng)過處理后輸出??變?yōu)楫斍安降碾[狀態(tài)Zit和當前步的傳輸狀態(tài)ct,實際上LSTM的&對應著RNN??中的這兩個變量在傳遞過程中的對比,^的改變過程較慢,一般是由上一個??時間步的ct_i加上一些其他數(shù)值,保存著節(jié)點的信息;心主要是為了和當前輸入??組合來獲得門控信號,所以在不同時間步的變化相差較大。??門的結構可以看作一個全連接層,以某隱狀態(tài)和輸入;^拼接進行計算,??門的輸出是一個值域為[0,?1]的實數(shù)向量。??遺忘門根據(jù)隱狀態(tài)和輸入的拼接計算結果選擇性地剔除傳輸狀態(tài)信息控制??長期單元狀態(tài):??ft?=?(r(Wf?■?[ht^.Xt]?+?bf)?(2.2)??輸入門則是選擇性地記憶輸入信息以控制添加到傳輸狀態(tài):??it?=?a(Wi?■?[/it_i,xt]?+?bt)?(2.3)??輸出門決定將傳輸狀態(tài)中的哪
?第2章文本生成相關理論與技術???生成方法通常會假設數(shù)據(jù)總是服從某一分布的,使用極大似然估計盡可能地使??模型生成的數(shù)據(jù)逼近這一分布,而生成對抗網(wǎng)絡的訓練是兩個主體在對抗博弈??的狀態(tài)當中無監(jiān)督地進行自我更新。??生成對抗網(wǎng)絡是一種結構框架,結構如圖2.4,而并不代指某一特定網(wǎng)絡模??型。這種結構并不復雜,主要包含“生成器(Generator?)?”和“判別器(Discriminator)?”??兩部分。在這個結構中,生成器只需要滿足符合最終目標是生成擬合真實樣本分??布數(shù)據(jù)的要求,在形式上并沒有任何約束。實際上在沒有判別器的情況下生成??器也能夠運作,只是訓練目標不一樣,生成器單獨運作時,需要人工定義損失函??數(shù),然而實際情況下人工定義的表征能力非常有限,損失函數(shù)的定義通常是片面??的,因而導致模型收斂之后生成結果并不一定能夠達到預期,尤其是在文本處理??的任務上。生成對抗網(wǎng)絡可以在一定程度上解決這一問題,判別器在這個結構當??中的角色相當于一個不斷自我更新的目標函數(shù),其最終目的是最小化生成樣本??被判斷為真的概率,同時最小化真實樣本被判定為假的概率,對抗訓練中生成器??的更新總是以判別器結果作為依據(jù)的,目標是最小化生成樣本與真實樣本之間??的分布差異。??生成?更動??f?生成文本?j??f?真實文本?J????判劄器網(wǎng)絡一判斷-??圖2.4生成對抗網(wǎng)絡框架總體結構圖??在生成對抗網(wǎng)絡框架中,將生成器抽象為G(_)函數(shù),G(〇所生成的樣本分布??記為ps(x),真實樣本的分布相應記為pdata(x);判別器則抽象為D(〇函數(shù),/)(???)的輸出是一個標量,代表一個二分類結果,在數(shù)據(jù)采樣足夠充
本文編號:2968288
【文章來源】:南昌大學江西省 211工程院校
【文章頁數(shù)】:75 頁
【學位級別】:碩士
【部分圖文】:
圖2.1循環(huán)神經(jīng)網(wǎng)絡按序列展開??
?第2章文本生成相關理論與技術???Q?Q????A?+???/* ̄?TT?Z"?"7?p\??YYcehei?¥?x?lip?f?V?op]?:?v。椋??「+9?r.-.^?\?I?—?’甲?r-^>?:?|?ri?r ̄>6?I???m?c±3?usei?w?.?i±i?m?siiD?m?i?cfa?m?國?m?廠、??-寸-L?丄一.」一」吻二二?J?丄丨―i—?L-^|■.個》?????????圖2.2?LSTM單元結構??相比RNN只有一個傳遞狀態(tài),引入門限機制的LSTM記憶單元在每個時??間步t接收的輸出有三個,一是當前步輸入值,另外兩個傳輸狀態(tài),一個是細??胞狀態(tài)Cg?(cell?state),和一個隱藏狀態(tài)(hidden?state),經(jīng)過處理后輸出??變?yōu)楫斍安降碾[狀態(tài)Zit和當前步的傳輸狀態(tài)ct,實際上LSTM的&對應著RNN??中的這兩個變量在傳遞過程中的對比,^的改變過程較慢,一般是由上一個??時間步的ct_i加上一些其他數(shù)值,保存著節(jié)點的信息;心主要是為了和當前輸入??組合來獲得門控信號,所以在不同時間步的變化相差較大。??門的結構可以看作一個全連接層,以某隱狀態(tài)和輸入;^拼接進行計算,??門的輸出是一個值域為[0,?1]的實數(shù)向量。??遺忘門根據(jù)隱狀態(tài)和輸入的拼接計算結果選擇性地剔除傳輸狀態(tài)信息控制??長期單元狀態(tài):??ft?=?(r(Wf?■?[ht^.Xt]?+?bf)?(2.2)??輸入門則是選擇性地記憶輸入信息以控制添加到傳輸狀態(tài):??it?=?a(Wi?■?[/it_i,xt]?+?bt)?(2.3)??輸出門決定將傳輸狀態(tài)中的哪
?第2章文本生成相關理論與技術???生成方法通常會假設數(shù)據(jù)總是服從某一分布的,使用極大似然估計盡可能地使??模型生成的數(shù)據(jù)逼近這一分布,而生成對抗網(wǎng)絡的訓練是兩個主體在對抗博弈??的狀態(tài)當中無監(jiān)督地進行自我更新。??生成對抗網(wǎng)絡是一種結構框架,結構如圖2.4,而并不代指某一特定網(wǎng)絡模??型。這種結構并不復雜,主要包含“生成器(Generator?)?”和“判別器(Discriminator)?”??兩部分。在這個結構中,生成器只需要滿足符合最終目標是生成擬合真實樣本分??布數(shù)據(jù)的要求,在形式上并沒有任何約束。實際上在沒有判別器的情況下生成??器也能夠運作,只是訓練目標不一樣,生成器單獨運作時,需要人工定義損失函??數(shù),然而實際情況下人工定義的表征能力非常有限,損失函數(shù)的定義通常是片面??的,因而導致模型收斂之后生成結果并不一定能夠達到預期,尤其是在文本處理??的任務上。生成對抗網(wǎng)絡可以在一定程度上解決這一問題,判別器在這個結構當??中的角色相當于一個不斷自我更新的目標函數(shù),其最終目的是最小化生成樣本??被判斷為真的概率,同時最小化真實樣本被判定為假的概率,對抗訓練中生成器??的更新總是以判別器結果作為依據(jù)的,目標是最小化生成樣本與真實樣本之間??的分布差異。??生成?更動??f?生成文本?j??f?真實文本?J????判劄器網(wǎng)絡一判斷-??圖2.4生成對抗網(wǎng)絡框架總體結構圖??在生成對抗網(wǎng)絡框架中,將生成器抽象為G(_)函數(shù),G(〇所生成的樣本分布??記為ps(x),真實樣本的分布相應記為pdata(x);判別器則抽象為D(〇函數(shù),/)(???)的輸出是一個標量,代表一個二分類結果,在數(shù)據(jù)采樣足夠充
本文編號:2968288
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/2968288.html
最近更新
教材專著