深度神經(jīng)網(wǎng)絡(luò)在基于圖片生成中國古詩問題中的研究與應(yīng)用
發(fā)布時間:2020-07-17 07:11
【摘要】:古詩,作為中國文學(xué)的結(jié)晶,始終是中華文化中非常重要的一部分。在中國幾千年的歷史中,詩人創(chuàng)作了上百萬首古詩來贊嘆美景、歌頌愛國、贊美愛情及表達各種情感。中國古詩具有精煉的結(jié)構(gòu)、優(yōu)美的韻律,并且蘊含了豐富的情感,直到今天仍會讓我們感到著迷。近幾年來,隨著神經(jīng)網(wǎng)絡(luò)和自然語言處理領(lǐng)域的快速發(fā)展,利用機器學(xué)習(xí)技術(shù)自動生成中國古詩來得到了廣泛的關(guān)注,F(xiàn)有的工作主要集中在利用關(guān)鍵詞來生成中國古詩,但由于文字本身的表達能力有限,少量關(guān)鍵詞通常無法完全表達用戶寫作意圖,相比于關(guān)鍵詞,圖片中豐富的語義和視覺信息表達能力更強,更適合用于表達用戶寫作意圖,因此基于圖片生成中國古詩是一個非常值得研究的問題;趫D片生成中國古詩是一個比基于關(guān)鍵詞生成古詩更有挑戰(zhàn)性的問題,因為圖片中豐富的視覺信息無法用少量關(guān)鍵詞完全描述,同時一首好的古詩應(yīng)該能夠十分準(zhǔn)確地描述圖片中的內(nèi)容。因此本文設(shè)計了一種基于記憶的深度神經(jīng)網(wǎng)絡(luò)來自動基于圖片生成中國古詩,這種模型可以很有效地挖掘圖片中的視覺信息及語義信息。就我們所知,這是第一個探索基于圖片自動生成中國古詩的模型。我們對模型生成的古詩進行了人為打分評價以及自動定量評價,實驗結(jié)果表明我們提出的模型能夠生成能準(zhǔn)確描述圖片內(nèi)容的中國古詩。本文的主要貢獻有:(1)探索了基于圖片生成中國古詩這個新的科研課題。(2)利用記憶網(wǎng)絡(luò)解決現(xiàn)有工作中主題漂移的問題,以及只能輸入少量關(guān)鍵詞的問題。(3)在生成古詩過程中,有效結(jié)合了圖片中的語義信息和視覺信息。
【學(xué)位授予單位】:中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2018
【分類號】:TP183;I207.22
【圖文】:
后用RGM逐字生成第z行古詩,在生成每個字?^時,RGM利用已經(jīng)生成的逡逑{叫,...,%_0以及第j個位置的環(huán)境變量W作為輸人。RNNPG通過優(yōu)化古詩逡逑真實分布及生成古詩的概率分布之間的交叉熵來獲得最后的模型。圖2.5展示了逡逑兩首_PG自動生成的古詩樣例。逡逑白鷺窺水立,滿懷風(fēng)月一枝春,逡逑青山照水開。未見梅花易可人。逡逑夜來風(fēng)不動,不為東風(fēng)無此客,逡逑明月見樓臺。|世間何處是前身。逡逑圖2.5邋RNNPG生成的中國占詩樣例逡逑相較于傳統(tǒng)方法,RNNPG利用深度神經(jīng)網(wǎng)絡(luò)自動從數(shù)據(jù)中學(xué)習(xí)如何生成古逡逑詩,擺脫了對人工設(shè)計模板及規(guī)則的依賴,更加靈活,能生成更自然的古詩。但逡逑其缺陷在于第一句詩是通過模板生成的,會使得對于相似的用戶寫作意圖,第一逡逑句的變化不大。而且RNNPG只在生成第一句詩時考慮用戶的寫作意圖,另外三逡逑句僅通過前文生成,與用戶寫作意圖無關(guān),存在主題漂移的問題。逡逑2.2.2.基于注意力機制的宋詞生成器逡逑Wang等人提出了基于注意力機制的宋詞生成器(Attention-Based邋Song邋Iambics逡逑Generation
會長距離依賴(Long邋Term邋Dependency)。編碼-解碼器、注意力機制以及LSTM的逡逑細節(jié)將在第三章中詳細敘述。逡逑如圖2.6所示,在ASIG中,用戶輸入代表自己寫作意圖的第一句宋詞,然逡逑后用雙向長短記憶網(wǎng)絡(luò)(Bidirectional邋Long邋Short-Term邋Memory,邋Bi-LSTM)將用戶逡逑輸入編碼成若干隱藏語義表示向量作為解碼器的逡逑環(huán)境向量,每個向量\對應(yīng)了用戶輸入中相應(yīng)位置的一個字,然后用LSTM解逡逑碼器逐字解碼剩下的內(nèi)容{yi,y2,...}。比較特別的是,在解碼每個字沾時,環(huán)境逡逑向量不是固定不變的,而是用注意力機制根據(jù)用戶輸入中每個字對3前字講的逡逑重要性計算動態(tài)環(huán)境向量(Dynamic邋Context邋Vector):其計算過程為,逡逑ct邋=邋aki^^逡逑j-1逡逑exp⑷邐(2.1)逡逑J邋EL邋^p(^)邋1逡逑etk邋=邋vj邋tanh(l^a5i_i邋+邋Uahj),逡逑11逡逑
環(huán)單元(Gated邋Recurrent邋Unit,邋GRU)%,邋GRU與LSTM有相似的作用,都能解決逡逑梯度消失及長距離依賴問題,但GRU結(jié)構(gòu)更簡單。GRU的相關(guān)細節(jié)將在第三章逡逑中詳細描述。圖2.9展示了兩首PPG生成的中國古詩樣例。逡逑PPG通過主題規(guī)劃以及給每句詩分配一個子主題的方式,解決了之前工作逡逑中存在的主題漂移問題,但同時也帶來了一個問題,模型只能容納四個關(guān)鍵詞以逡逑及需要非常好的排序,然而四個關(guān)鍵詞通常并不能完全表達用戶的寫作意圖。逡逑啤酒邐冰心逡逑今宵啤酒兩三缸,一片冰心向明月,逡逑杯底香醇哶5白光。千山春水共潮生。逡逑清爽金風(fēng)涼透骨,繁星閃爍天涯路,逡逑醉看明月掛西窗,|往事縈懷夢里行。逡逑閿2.9邋PPG生成的中閨古詩樣例逡逑2.2.4.記憶增強的自動生成古詩模型逡逑考慮到人類在漫長的學(xué)習(xí)過程中會積累很多知識,比如辭藻、修辭、藝術(shù)技巧逡逑等
本文編號:2759141
【學(xué)位授予單位】:中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2018
【分類號】:TP183;I207.22
【圖文】:
后用RGM逐字生成第z行古詩,在生成每個字?^時,RGM利用已經(jīng)生成的逡逑{叫,...,%_0以及第j個位置的環(huán)境變量W作為輸人。RNNPG通過優(yōu)化古詩逡逑真實分布及生成古詩的概率分布之間的交叉熵來獲得最后的模型。圖2.5展示了逡逑兩首_PG自動生成的古詩樣例。逡逑白鷺窺水立,滿懷風(fēng)月一枝春,逡逑青山照水開。未見梅花易可人。逡逑夜來風(fēng)不動,不為東風(fēng)無此客,逡逑明月見樓臺。|世間何處是前身。逡逑圖2.5邋RNNPG生成的中國占詩樣例逡逑相較于傳統(tǒng)方法,RNNPG利用深度神經(jīng)網(wǎng)絡(luò)自動從數(shù)據(jù)中學(xué)習(xí)如何生成古逡逑詩,擺脫了對人工設(shè)計模板及規(guī)則的依賴,更加靈活,能生成更自然的古詩。但逡逑其缺陷在于第一句詩是通過模板生成的,會使得對于相似的用戶寫作意圖,第一逡逑句的變化不大。而且RNNPG只在生成第一句詩時考慮用戶的寫作意圖,另外三逡逑句僅通過前文生成,與用戶寫作意圖無關(guān),存在主題漂移的問題。逡逑2.2.2.基于注意力機制的宋詞生成器逡逑Wang等人提出了基于注意力機制的宋詞生成器(Attention-Based邋Song邋Iambics逡逑Generation
會長距離依賴(Long邋Term邋Dependency)。編碼-解碼器、注意力機制以及LSTM的逡逑細節(jié)將在第三章中詳細敘述。逡逑如圖2.6所示,在ASIG中,用戶輸入代表自己寫作意圖的第一句宋詞,然逡逑后用雙向長短記憶網(wǎng)絡(luò)(Bidirectional邋Long邋Short-Term邋Memory,邋Bi-LSTM)將用戶逡逑輸入編碼成若干隱藏語義表示向量作為解碼器的逡逑環(huán)境向量,每個向量\對應(yīng)了用戶輸入中相應(yīng)位置的一個字,然后用LSTM解逡逑碼器逐字解碼剩下的內(nèi)容{yi,y2,...}。比較特別的是,在解碼每個字沾時,環(huán)境逡逑向量不是固定不變的,而是用注意力機制根據(jù)用戶輸入中每個字對3前字講的逡逑重要性計算動態(tài)環(huán)境向量(Dynamic邋Context邋Vector):其計算過程為,逡逑ct邋=邋aki^^逡逑j-1逡逑exp⑷邐(2.1)逡逑J邋EL邋^p(^)邋1逡逑etk邋=邋vj邋tanh(l^a5i_i邋+邋Uahj),逡逑11逡逑
環(huán)單元(Gated邋Recurrent邋Unit,邋GRU)%,邋GRU與LSTM有相似的作用,都能解決逡逑梯度消失及長距離依賴問題,但GRU結(jié)構(gòu)更簡單。GRU的相關(guān)細節(jié)將在第三章逡逑中詳細描述。圖2.9展示了兩首PPG生成的中國古詩樣例。逡逑PPG通過主題規(guī)劃以及給每句詩分配一個子主題的方式,解決了之前工作逡逑中存在的主題漂移問題,但同時也帶來了一個問題,模型只能容納四個關(guān)鍵詞以逡逑及需要非常好的排序,然而四個關(guān)鍵詞通常并不能完全表達用戶的寫作意圖。逡逑啤酒邐冰心逡逑今宵啤酒兩三缸,一片冰心向明月,逡逑杯底香醇哶5白光。千山春水共潮生。逡逑清爽金風(fēng)涼透骨,繁星閃爍天涯路,逡逑醉看明月掛西窗,|往事縈懷夢里行。逡逑閿2.9邋PPG生成的中閨古詩樣例逡逑2.2.4.記憶增強的自動生成古詩模型逡逑考慮到人類在漫長的學(xué)習(xí)過程中會積累很多知識,比如辭藻、修辭、藝術(shù)技巧逡逑等
【參考文獻】
相關(guān)期刊論文 前1條
1 周昌樂;游維;丁曉君;;一種宋詞自動生成的遺傳算法及其機器實現(xiàn)[J];軟件學(xué)報;2010年03期
本文編號:2759141
本文鏈接:http://sikaile.net/gudaiwenxuelunwen/2759141.html