發(fā)布時(shí)間：2020-05-26 18:51

【摘要】：隨著深度學(xué)習(xí)的發(fā)展以及各項(xiàng)自然語言處理技術(shù)的提高,神經(jīng)網(wǎng)絡(luò)序列生成模型已經(jīng)成為了研究熱點(diǎn)并得到了廣泛的應(yīng)用,比如機(jī)器翻譯,自動(dòng)文本摘要,自動(dòng)生成字幕等。近幾年,序列生成模型已不局限于自然語言處理任務(wù),也逐漸被引入推薦領(lǐng)域。本文對現(xiàn)有的神經(jīng)網(wǎng)絡(luò)序列生成模型進(jìn)行了調(diào)研和分析,并分別對文本序列生成和行為序列生成中存在的幾個(gè)問題展開研究和改進(jìn)。本文的工作可以總結(jié)為以下兩個(gè)部分:1、設(shè)計(jì)并實(shí)現(xiàn)了序列生成模型訓(xùn)練的曝光偏差正則訓(xùn)練框架。本文分析了主流神經(jīng)網(wǎng)絡(luò)序列生成模型存在的訓(xùn)練和測試階段輸入分布不一致的問題,提出引入曝光偏差正則項(xiàng)使模型在測試階段具備更強(qiáng)的泛化能力。同時(shí),為了加快模型的收斂,又提出寄生學(xué)習(xí)和課程學(xué)習(xí)兩種輔助訓(xùn)練方式輔助模型在曝光偏差正則訓(xùn)練框架下更好地完成訓(xùn)練。2、設(shè)計(jì)并實(shí)現(xiàn)了基于時(shí)間窗的批處理訓(xùn)練方式和時(shí)間敏感循環(huán)神經(jīng)網(wǎng)絡(luò)用于提高行為序列生成模型的訓(xùn)練效率和效果。行為序列不同于文本序列,具有序列長度方差大和時(shí)間間隔不等距的特點(diǎn)。本文為了適應(yīng)行為序列的特點(diǎn)對序列生成模型提出相應(yīng)的改進(jìn)。改進(jìn)主要有兩點(diǎn):一是針對行為序列長度方差大的問題,提出基于時(shí)間窗的批處理訓(xùn)練方式提高模型的訓(xùn)練效率;二是針對行為序列時(shí)間間隔不均勻的問題,提出時(shí)間敏感循環(huán)神經(jīng)網(wǎng)絡(luò),利用時(shí)間間隔信息對用戶的長短期興趣進(jìn)行更好地平衡。最終將序列生成模型應(yīng)用于推薦系統(tǒng)中的用戶行為序列建模,作為召回模型。
【圖文】：

ｈ［邋＝邋ｖ邋（ｗｌ邋ｈ＼＾，＋邐（２－２２）逡逑整個(gè)ＣｏｎＳ２Ｓ模型結(jié)構(gòu)圖如圖２－２所示，可以看到采用ＣＮＮｓ的結(jié)構(gòu)使得模逡逑型在訓(xùn)練階段能夠進(jìn)行并行計(jì)算。Ｃ0ｎｖＳ２Ｓ結(jié)構(gòu)是為序列到序列的生成任務(wù)所設(shè)逡逑計(jì)的，也采用了如２．１．２所述的編碼器－解碼器的結(jié)構(gòu)形式，其中編碼器和解碼器逡逑都是由上述的卷積結(jié)構(gòu)實(shí)現(xiàn)。不同的是，解碼器每一層的卷積結(jié)果／Ｉ丨都會(huì)分別和逡逑編碼器編碼得到的輸入表示向量（Ｓｌ，做注意力計(jì)算，得到的輸入表示向逡逑量ｃ／會(huì)和之前的卷積結(jié)果ｈ丨相加得到新的輸入給下一層卷積，，這樣做的好處是，逡逑模型在進(jìn)行注意力機(jī)制計(jì)算的時(shí)候能夠考慮到之前已經(jīng)注意過的詞。逡逑｛■＾，心，．．．，＾｝邋編碼器輸出逡逑Ｉ逡逑邐邐注意力機(jī)制逡逑４邐．逡逑…ｈｔ＿２邋ｈｔ＿ｉ邋邐＾０邐■■■邋ｃｔ－２邋ｃｔ－＼逡逑＞邋ｔ邐—逡逑Ｉ￣０邐Ｉ￣０邐輸出層逡逑非線性計(jì)算邐＾干邐，，逡逑－□□邋ｍ逡逑卷積層逡逑嵌入層邐－邋ｒ￣ｉ邋ｒ￣ｌ逡逑ｙ0邐ｙ，－２邋ｙ，－ｉ逡逑圖２－２邋ＣｏｎＳ２Ｓ模型結(jié)構(gòu)圖【５］逡逑在ｔｒａｎｓｆｏｒｍｅｒ中引入了自注意力機(jī)制

ｔｒａｎｓｆｏｒｍｅｒ的自注意力子層中，Ｑ，Ｋ，Ｖ的值是一致的，比如輸入一個(gè)句子，句逡逑子中的每個(gè)詞都要和該句子中的所有詞進(jìn)行注意力計(jì)算，如此能夠更好地捕獲句逡逑子的內(nèi)部結(jié)構(gòu)。值得注意的是，如圖２－３所示，在ｔｎｍｓｆｏｒｍｅｉ■的解碼階段，注意逡逑力計(jì)算模塊還增加了掩碼計(jì)算，以保證與Ｑ進(jìn)行注意力計(jì)算的Ｋ都來自于前序逡逑序列。多頭自注意力子層指的是要進(jìn)行多次的注意力計(jì)算，如圖２－３中的右半部逡逑分，通過多次計(jì)算提取出不同的信息，同時(shí)也允許模型在不同的表示子空間里學(xué)逡逑習(xí)到相關(guān)的信息。逡逑注意力計(jì)算模塊邐多頭注意力模塊逡逑ｔ邋■邐ｔ邋■逡逑內(nèi)積邐線性變換逡逑ＳｏｆｔＭａｘ邐向屋拼接逡逑掩碼邋１逡逑Ｔ邐；邋（７邐邐：邋：＞＞逡逑按比例縮小值邐＼．ｉ注意力模塊！逡逑邐１邐邐Ｖ＂逡逑內(nèi)積邐｜線性ｉ換｜丨線性ｋ換１１線性變換Ｉ逡逑ｔ邋ｔ邐！邋ｆ邋ｔ逡逑Ｑ邋Ｋ邐Ｖ邐Ｑ邐Ｋ邐Ｖ逡逑圖２－３自注意力模塊和多頭注意力模塊結(jié)構(gòu)圖［２９］逡逑２？３本章小結(jié)逡逑本章主要是為了本文的研究工作做鋪墊，介紹相關(guān)的理論知識(shí)。主要內(nèi)容分逡逑為兩部分：逡逑１、
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡(luò)拐點(diǎn)預(yù)測法[J];金融經(jīng)濟(jì);2017年18期

2 陳曉燕;;淺析簡單神經(jīng)網(wǎng)絡(luò)的發(fā)展及簡單模型[J];數(shù)字技術(shù)與應(yīng)用;2019年05期

3 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會(huì)述評[J];國際學(xué)術(shù)動(dòng)態(tài);1996年01期

4 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識(shí)別[J];通訊世界;2018年12期

5 林嘉應(yīng);鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡(luò)的船舶分類模型[J];信息技術(shù)與信息化;2019年02期

6 俞頌華;;卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J];信息通信;2019年02期

7 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡(luò)的通用理論建造基石[J];世界科學(xué);2019年04期

8 鮑偉強(qiáng);陳娟;熊濤;;基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測研究[J];電工技術(shù);2019年11期

9 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計(jì)研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期

10 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期

相關(guān)會(huì)議論文 前10條

1 孫軍田;張U

本文編號(hào)：2682263