對神經(jīng)網(wǎng)絡(luò)內(nèi)部行為的探索與分析一直以來是深度學(xué)習(xí)研究與發(fā)展的熱點。盡管已經(jīng)在大量的實驗和任務(wù)中證明了深度學(xué)習(xí)的實用性,包括詩歌生成任務(wù),但在其模型的可解釋性上總是有很大的爭議。本文結(jié)合目前國內(nèi)教育領(lǐng)域中較為火熱的古典詩歌作為突破口,以在深度學(xué)習(xí)中的古典詩歌自動生成任務(wù)為基礎(chǔ),通過可視分析的方法來探究循環(huán)神經(jīng)網(wǎng)絡(luò)的內(nèi)部行為。首先,利用長短期記憶網(wǎng)絡(luò)進(jìn)行詩歌自動生成模型的建立,通過處理后的數(shù)據(jù)對模型進(jìn)行訓(xùn)練,在訓(xùn)練結(jié)束后通過使用訓(xùn)練好的模型進(jìn)行詩歌自動生成的樣例展示。其次,提取出詩歌自動生成任務(wù)訓(xùn)練過程中的神經(jīng)元狀態(tài),利用循環(huán)神經(jīng)網(wǎng)絡(luò)可視分析工具LSTMVIS對隱藏狀態(tài)的訓(xùn)練結(jié)果進(jìn)行時序的可視化,根據(jù)詩歌的相關(guān)特點和不同的神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行神經(jīng)元行為的假設(shè);并結(jié)合不同參數(shù)的組合所訓(xùn)練的模型進(jìn)行對比可視分析。最后,通過上述假設(shè)和實驗,期望找到訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)是否學(xué)習(xí)到了詩歌的特點,對比不同的參數(shù)設(shè)置所訓(xùn)練的模型來找到學(xué)習(xí)效果和參數(shù)之間的關(guān)系,來提高在詩歌數(shù)據(jù)訓(xùn)練過程中的模型可解釋性。通過上述實驗和分析得到了如下結(jié)果和結(jié)論:第一,對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,通過自動生成可以得到具有明顯押韻特點的類似“五... 

【文章頁數(shù)】：85 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景
        1.1.1 中國古典詩歌題材和特征
        1.1.2 基于人工智能的詩歌自動生成
    1.2 研究的目的與意義
    1.3 主要內(nèi)容與框架
        1.3.1 研究內(nèi)容
        1.3.2 本文框架
    1.4 本文創(chuàng)新點
    1.5 研究方法
第二章 國內(nèi)外相關(guān)研究
    2.1 詩歌自動生成技術(shù)
        2.1.1 詩歌自動生成
        2.1.2 國外詩歌自動生成相關(guān)研究
        2.1.3 國內(nèi)詩歌自動生成相關(guān)研究
        2.1.4 基于深度學(xué)習(xí)的中國古典詩歌自動生成
    2.2 深度神經(jīng)網(wǎng)絡(luò)可視化
        2.2.1 深度學(xué)習(xí)模型可解釋性
        2.2.2 卷積神經(jīng)網(wǎng)絡(luò)可視化
        2.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)可視化
    2.3 本章小結(jié)
第三章 基于RNN的古典詩歌自動生成模型構(gòu)建
    3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        3.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)概述
        3.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的反向傳播
        3.1.3 長短期記憶網(wǎng)絡(luò)
    3.2 詩歌自動生成模型設(shè)計
        3.2.1 總體設(shè)計
        3.2.2 詳細(xì)設(shè)計
    3.3 詩歌自動生成模型實現(xiàn)
        3.3.1 實驗環(huán)境與初始參數(shù)
        3.3.2 數(shù)據(jù)來源與預(yù)處理
        3.3.3 模型訓(xùn)練與參數(shù)優(yōu)化
        3.3.4 詩歌自動生成
    3.4 本章小結(jié)
第四章 基于模型內(nèi)部神經(jīng)元狀態(tài)變化的可視分析
    4.1 可視分析工具
        4.1.1 神經(jīng)元狀態(tài)可視化
        4.1.2 LSTMVIS
    4.2 詩歌自動生成模型可視分析背景與假設(shè)
        4.2.1 實驗背景
        4.2.2 假設(shè)與實驗設(shè)置
        4.2.3 初始設(shè)置與操作
    4.3 詩歌自動生成模型神經(jīng)元內(nèi)部行為可視分析
        4.3.1 可視分析結(jié)果
        4.3.2 實驗結(jié)論
    4.4 本章小結(jié)
第五章 不同參數(shù)組合下模型內(nèi)部行為可視分析
    5.1 隱藏層與樣本批量大小的重要性
        5.1.1 隱藏層
        5.1.2 樣本批量大小
        5.1.3 參數(shù)設(shè)置
    5.2 不同參數(shù)組合可視分析實驗假設(shè)與初始狀態(tài)
        5.2.1 實驗假設(shè)
        5.2.2 初始界面狀態(tài)
    5.3 不同參數(shù)組合模型內(nèi)部行為可視分析
        5.3.1 不同激活值對比
        5.3.2 相同激活值對比
        5.3.3 實驗結(jié)論
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 論文總結(jié)
        6.1.1 研究背景與思考
        6.1.2 研究過程與結(jié)論
    6.2 下一步研究方向
        6.2.1 數(shù)據(jù)層面
        6.2.2 模型層面
        6.2.3 可視分析層面
參考文獻(xiàn)
致謝


【參考文獻(xiàn)】：
期刊論文
[1]機器學(xué)習(xí)模型可解釋性方法、應(yīng)用與安全研究綜述[J]. 紀(jì)守領(lǐng),李進(jìn)鋒,杜天宇,李博.  計算機研究與發(fā)展. 2019(10)
[2]BP神經(jīng)網(wǎng)絡(luò)性能與隱藏層結(jié)構(gòu)的相關(guān)性探究[J]. 楊守建,陳懇.  寧波大學(xué)學(xué)報(理工版). 2013(01)
[3]一種宋詞自動生成的遺傳算法及其機器實現(xiàn)[J]. 周昌樂,游維,丁曉君.  軟件學(xué)報. 2010(03)



本文編號：3648354