對神經網絡內部行為的探索與分析一直以來是深度學習研究與發(fā)展的熱點。盡管已經在大量的實驗和任務中證明了深度學習的實用性,包括詩歌生成任務,但在其模型的可解釋性上總是有很大的爭議。本文結合目前國內教育領域中較為火熱的古典詩歌作為突破口,以在深度學習中的古典詩歌自動生成任務為基礎,通過可視分析的方法來探究循環(huán)神經網絡的內部行為。首先,利用長短期記憶網絡進行詩歌自動生成模型的建立,通過處理后的數(shù)據對模型進行訓練,在訓練結束后通過使用訓練好的模型進行詩歌自動生成的樣例展示。其次,提取出詩歌自動生成任務訓練過程中的神經元狀態(tài),利用循環(huán)神經網絡可視分析工具LSTMVIS對隱藏狀態(tài)的訓練結果進行時序的可視化,根據詩歌的相關特點和不同的神經網絡參數(shù)進行神經元行為的假設;并結合不同參數(shù)的組合所訓練的模型進行對比可視分析。最后,通過上述假設和實驗,期望找到訓練過程中神經網絡是否學習到了詩歌的特點,對比不同的參數(shù)設置所訓練的模型來找到學習效果和參數(shù)之間的關系,來提高在詩歌數(shù)據訓練過程中的模型可解釋性。通過上述實驗和分析得到了如下結果和結論:第一,對神經網絡的訓練,通過自動生成可以得到具有明顯押韻特點的類似“五... 

【文章頁數(shù)】：85 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景
        1.1.1 中國古典詩歌題材和特征
        1.1.2 基于人工智能的詩歌自動生成
    1.2 研究的目的與意義
    1.3 主要內容與框架
        1.3.1 研究內容
        1.3.2 本文框架
    1.4 本文創(chuàng)新點
    1.5 研究方法
第二章 國內外相關研究
    2.1 詩歌自動生成技術
        2.1.1 詩歌自動生成
        2.1.2 國外詩歌自動生成相關研究
        2.1.3 國內詩歌自動生成相關研究
        2.1.4 基于深度學習的中國古典詩歌自動生成
    2.2 深度神經網絡可視化
        2.2.1 深度學習模型可解釋性
        2.2.2 卷積神經網絡可視化
        2.2.3 循環(huán)神經網絡可視化
    2.3 本章小結
第三章 基于RNN的古典詩歌自動生成模型構建
    3.1 循環(huán)神經網絡
        3.1.1 循環(huán)神經網絡概述
        3.1.2 循環(huán)神經網絡的反向傳播
        3.1.3 長短期記憶網絡
    3.2 詩歌自動生成模型設計
        3.2.1 總體設計
        3.2.2 詳細設計
    3.3 詩歌自動生成模型實現(xiàn)
        3.3.1 實驗環(huán)境與初始參數(shù)
        3.3.2 數(shù)據來源與預處理
        3.3.3 模型訓練與參數(shù)優(yōu)化
        3.3.4 詩歌自動生成
    3.4 本章小結
第四章 基于模型內部神經元狀態(tài)變化的可視分析
    4.1 可視分析工具
        4.1.1 神經元狀態(tài)可視化
        4.1.2 LSTMVIS
    4.2 詩歌自動生成模型可視分析背景與假設
        4.2.1 實驗背景
        4.2.2 假設與實驗設置
        4.2.3 初始設置與操作
    4.3 詩歌自動生成模型神經元內部行為可視分析
        4.3.1 可視分析結果
        4.3.2 實驗結論
    4.4 本章小結
第五章 不同參數(shù)組合下模型內部行為可視分析
    5.1 隱藏層與樣本批量大小的重要性
        5.1.1 隱藏層
        5.1.2 樣本批量大小
        5.1.3 參數(shù)設置
    5.2 不同參數(shù)組合可視分析實驗假設與初始狀態(tài)
        5.2.1 實驗假設
        5.2.2 初始界面狀態(tài)
    5.3 不同參數(shù)組合模型內部行為可視分析
        5.3.1 不同激活值對比
        5.3.2 相同激活值對比
        5.3.3 實驗結論
    5.4 本章小結
第六章 總結與展望
    6.1 論文總結
        6.1.1 研究背景與思考
        6.1.2 研究過程與結論
    6.2 下一步研究方向
        6.2.1 數(shù)據層面
        6.2.2 模型層面
        6.2.3 可視分析層面
參考文獻
致謝


【參考文獻】：
期刊論文
[1]機器學習模型可解釋性方法、應用與安全研究綜述[J]. 紀守領,李進鋒,杜天宇,李博.  計算機研究與發(fā)展. 2019(10)
[2]BP神經網絡性能與隱藏層結構的相關性探究[J]. 楊守建,陳懇.  寧波大學學報(理工版). 2013(01)
[3]一種宋詞自動生成的遺傳算法及其機器實現(xiàn)[J]. 周昌樂,游維,丁曉君.  軟件學報. 2010(03)



本文編號：3648354