近年來,深度學習的興起為基于深度神經(jīng)網(wǎng)絡的文本生成方法的發(fā)展提供了新的契機。作為文本生成問題中的代表性任務,自動文本摘要和自動文本簡化旨在提取出原始文本的核心內(nèi)容,并生成一段可讀性強且易于理解的文本,是應對信息過載、閱讀困難等實際問題的高效解決方案。目前主流的神經(jīng)網(wǎng)絡方法多采用基于循環(huán)神經(jīng)網(wǎng)絡的編碼器-解碼器框架,存在原始文本表示欠佳、生成句與原始文本語義相關性不高、生成句子冗余、集外詞生成困難等諸多問題。針對這些問題,本文探究了基于深度神經(jīng)網(wǎng)絡的文本生成方法,在自動文本臀謀炯蚧?熱撾襠峽?沽搜芯抗ぷ?設計并實現(xiàn)了一種基于改進集束搜索的生成式摘要生成方法和一種基于子詞單元的端到端文本簡化方法,分別在多個數(shù)據(jù)集上進行了實驗,實驗結(jié)果表明了模型在任務上的有效性。本文的主要貢獻具體包括:(1)設計并實現(xiàn)了一種基于改進集束搜索的生成式摘要方法,其中包括:一種新型混合編碼器結(jié)構,利用循環(huán)神經(jīng)網(wǎng)絡學習輸入文本序列中的時序信息和長距離依賴,同時利用卷積神經(jīng)網(wǎng)絡捕獲輸入序列的上下文信息;兩種用于摘要解碼的集束搜索算法,即得分函數(shù)結(jié)合了語言模型和語法形式懲罰策略的語法增強集束搜索算法和引入了一個懲罰因子的多樣性集束搜索算法;一種基于關鍵短語的重排序機制,利用候選句與原始文本中重合關鍵短語的重要性得分對候選句進行排序。在CNN/Daily Mail等多個數(shù)據(jù)集上的實驗表明了該模型在文本摘要任務上的有效性。(2)設計并實現(xiàn)了一種基于子詞單元的端到端文本簡化方法,利用字節(jié)對編碼算法提取子詞單元并構建詞表,減小詞表規(guī)模以提升序列到序列模型的效率,利用子詞單元關聯(lián)形態(tài)相近的詞語,解決罕見詞訓練及集外詞生成問題。將該模型應用到PWKP和WikNet等數(shù)據(jù)集上,實驗結(jié)果與詞語級方法相對比表明了本模型的有效性。
【學位單位】：中國科學技術大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP391.1;TP183
【部分圖文】：

。??２．３相關研究工作??２．３．１基于神經(jīng)網(wǎng)絡的文本表示??在自動文本摘要中，首先面臨的一個問題就是原始文本的表示問題，良好的??文本表示是后續(xù)生成高質(zhì)量的摘要句的基礎。文本表示是指將自然語言符號轉(zhuǎn)??換成數(shù)學形式，便于計算機能夠理解并運算，這種數(shù)學形式通常是稠密低維的實??數(shù)向量。在自然語言中，詞語是句子的基本組成單元，而句子構成了文檔，在研??究者們嘗試合理表示詞向量的同時，也有很多模型被提出用于建模句子和文檔，??尤其在近年深度學習大發(fā)展的背景下，基于深度神經(jīng)網(wǎng)絡模型的語句表示研宄??工作大量涌現(xiàn)，其優(yōu)勢在于其自動學習特征的表達能力，從而免于繁雜的特征工??程。目前較為主流的語句表示模型主要包括兩種，即循環(huán)神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)??絡。本節(jié)將對這兩種模型進行具體的介紹。??

且所有節(jié)點（循環(huán)單元）按鏈式連接的遞歸神經(jīng)網(wǎng)絡，也就是說，網(wǎng)絡中每個循環(huán)??單元當前時間步的狀態(tài)由該時間步的輸入和上一個時間步的狀態(tài)同時決定。如??圖２．１所示，循環(huán)神經(jīng)網(wǎng)絡是同一結(jié)構的多次復制，右側(cè)圖案是其展開形式，ｆ時??刻的狀態(tài)＼不僅依賴于ｒ時刻的輸入Ｘ，，還依賴于／－Ｉ時刻的狀態(tài)Ａｍ，而卜１??時刻的狀態(tài)又依賴于卜１時刻的輸入和卜２時刻的狀態(tài)，如此遞歸。時序上的依??賴使循環(huán)神經(jīng)網(wǎng)絡在某時刻輸出時可以充分考慮歷史信息，在理論上能夠?qū)θ??意長度的序列進行建模，尤其適合文本數(shù)據(jù)的處理。然而，在經(jīng)典的循環(huán)神經(jīng)網(wǎng)??絡結(jié)構中，損失的梯度經(jīng)過多個時間步的反向傳播后容易出現(xiàn)極端的非線性態(tài)??勢，即梯度消失問題（Ｇｒａｄｉｅｎｔ?Ｖａｎｉｓｈｉｎｇ?Ｐｒｏｂ丨ｅｍ）＿，換言之，當序列的長度比??較大時，迭代后期梯度在反向傳遞到較早時刻時趨向于零，導致梯度彌散，對模??型參數(shù)的更新非常弱。??為了解決經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡在訓練過程中存在的上述問題

門限循環(huán)單元ＧＲＵ是另外一種應用廣泛的循環(huán)神經(jīng)網(wǎng)絡變體，相較于長短??記憶單元，ＧＲＵ的優(yōu)勢在于其結(jié)構比較簡單、易于實現(xiàn)、收斂速度快。標準的??ＧＲＵ單元結(jié)構如圖２．３所示，其通過重置門（Ｒｅｓｅｔ?Ｇａｔｅ）?ｒ，和更新門（Ｕｐｄａｔｅ?Ｇａｔｅ）??ｚ，來保證模型對較長句子信息的記憶能力。根據(jù)ｆ時刻的輸入向量ｘ，和ｆ?－?１時??刻的隱狀態(tài)／２ｍ，ＧＲＵ循環(huán)計算單元根據(jù)公式（２．６－２．９）計算當前時刻的輸出，??ｒ，?＝?ａ（］Ｖｒｘｘ，?＋?Ｗｒｈｈ，＿ｘ?＋?ｂｒ）?（２．６）??ｈ，?＝?＼２．ｎ＼＼（Ｗｘｔ?＋?Ｗ｛ｒｔ?０?＋?ｂｈ）?（２．７）??ｚ＾ｏｉＷ＾?＋?Ｗ＾＋ｂ，）?（２．８）??／ｉ，?＝?（１?－?ｚ，）?Ｏ?ｈｔ＿ｘ?＋?ｚ，Ｑ?ｈ，?（２．９）??其中Ｏ表示將兩個向量中對應元素相乘得到新的向量，〇■（？）表示激活函??數(shù)
【相似文獻】

相關期刊論文 前10條

1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡拐點預測法[J];金融經(jīng)濟;2017年18期

2 陳曉燕;;淺析簡單神經(jīng)網(wǎng)絡的發(fā)展及簡單模型[J];數(shù)字技術與應用;2019年05期

3 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡大會述評[J];國際學術動態(tài);1996年01期

4 吳立可;;脈沖神經(jīng)網(wǎng)絡和行為識別[J];通訊世界;2018年12期

5 林嘉應;鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡的船舶分類模型[J];信息技術與信息化;2019年02期

6 俞頌華;;卷積神經(jīng)網(wǎng)絡的發(fā)展與應用綜述[J];信息通信;2019年02期

7 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡的通用理論建造基石[J];世界科學;2019年04期

8 鮑偉強;陳娟;熊濤;;基于進化神經(jīng)網(wǎng)絡的短期電力負荷預測研究[J];電工技術;2019年11期

9 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設計研究[J];數(shù)字技術與應用;2018年04期

10 張庭略;;基于硬件的神經(jīng)網(wǎng)絡加速[J];通訊世界;2018年08期

相關博士學位論文 前10條

1 陳冬冬;基于深度神經(jīng)網(wǎng)絡的視覺媒體風格轉(zhuǎn)換方法研究[D];中國科學技術大學;2019年

2 韓旭;基于神經(jīng)網(wǎng)絡的文本特征表示關鍵技術研究[D];北京郵電大學;2019年

3 楊國花;基于級聯(lián)神經(jīng)網(wǎng)絡的對話狀態(tài)追蹤技術研究與實現(xiàn)[D];北京郵電大學;2019年

4 楊威;基于卷積神經(jīng)網(wǎng)絡的高效語義分割方法研究[D];中國科學院大學(中國科學院光電技術研究所);2019年

5 雷學文;基于深度神經(jīng)網(wǎng)絡的風功率日前預測與電力系統(tǒng)聯(lián)合調(diào)度研究[D];西安理工大學;2018年

6 陳川;憶阻神經(jīng)網(wǎng)絡的同步控制及在信息安全中的應用研究[D];北京郵電大學;2019年

7 姜春暉;深度神經(jīng)網(wǎng)絡剪枝方法研究[D];中國科學技術大學;2019年

8 昌杰;基于深度神經(jīng)網(wǎng)絡的腫瘤圖像分析與處理[D];中國科學技術大學;2019年

9 宮磊;可重構平臺上面向卷積神經(jīng)網(wǎng)絡的異構多核加速方法研究[D];中國科學技術大學;2019年

10 丁鵬;基于深度卷積神經(jīng)網(wǎng)絡的光學遙感目標檢測技術研究[D];中國科學院大學(中國科學院長春光學精密機械與物理研究所);2019年

相關碩士學位論文 前10條

1 權峻;太陽能溫室建模及智能控制策略研究[D];天津理工大學;2019年

2 鐘文雅;基于深度卷積神經(jīng)網(wǎng)絡的乳腺X線圖像的分類方法研究[D];南陽師范學院;2019年

3 薛花;基于聚類與神經(jīng)網(wǎng)絡的協(xié)同過濾推薦系統(tǒng)關鍵技術的研究[D];天津理工大學;2019年

4 張璐;基于深度學習的淋巴結(jié)自動分割算法研究[D];浙江大學;2019年

5 郭盼盼;基于GA-BP神經(jīng)網(wǎng)絡的多日股票價格預測[D];鄭州大學;2019年

6 王旭東;基于光散射的磷礦磨礦粒度分析方法研究[D];武漢工程大學;2018年

7 熊雨點;基于深度學習的表單識別系統(tǒng)的研究與實現(xiàn)[D];武漢工程大學;2018年

8 聶若瑩;基于AMDAR數(shù)據(jù)的對流云附近顛簸區(qū)預測方法研究[D];中國民用航空飛行學院;2019年

9 李高玲;基于神經(jīng)網(wǎng)絡的算法作曲與情感識別研究[D];鄭州大學;2019年

10 路高飛;基于遺傳算法改進BP神經(jīng)網(wǎng)絡的信用風險研究[D];鄭州大學;2019年

本文編號：2885591