互聯(lián)網(wǎng)技術(shù)的快速發(fā)展積累了大量的信息數(shù)據(jù),其中包括體現(xiàn)內(nèi)在關(guān)聯(lián)關(guān)系的序列數(shù)據(jù)。如何挖掘序列數(shù)據(jù)關(guān)聯(lián)關(guān)系并對未來進(jìn)行預(yù)測,是推動人工智能發(fā)展和社會智能化的一項(xiàng)重要研究工作。在序列數(shù)據(jù)建模過程中,通常會遇到許多難題,如序列數(shù)據(jù)的稀疏性、時序長程依賴挖掘的困難性以及長序列信息傳遞推理問題等。針對這些存在的問題與挑戰(zhàn),本文對序列建模問題進(jìn)行了深入研究,提出了一系列面向序列數(shù)據(jù)的深度建模方法,克服了傳統(tǒng)序列建模中存在的序列間隔忽略和信息推理能力缺乏等問題。本文研究的動機(jī)是通過利用輔助信息對深度序列模型進(jìn)行結(jié)構(gòu)改造,以構(gòu)造更合理的深度序列模型,從而運(yùn)用到實(shí)際應(yīng)用場景中,提升模型的預(yù)測推薦能力。具體來說,本文的主要工作可以總結(jié)為如下幾個方面:針對普遍存在的序列稀疏性問題,提出了一種組合架構(gòu)的長短時記憶網(wǎng)絡(luò)模型。具體而言,在商業(yè)廣告推薦領(lǐng)域,提出利用長短時記憶網(wǎng)絡(luò)來分別對如下兩種序列進(jìn)行關(guān)聯(lián)關(guān)系挖掘:反映全局關(guān)聯(lián)的用戶-查詢語句-廣告的三元關(guān)系序列(全局的長短時記憶模型)和反映局部依賴查詢語句序列(局部的長短時記憶模型),以將用戶的查詢意圖嵌入到連續(xù)向量空間,并進(jìn)一步將其解碼來刻畫不同類型廣告的概率分...

【文章頁數(shù)】：125 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景
    1.2 研究問題
    1.3 本文的研究內(nèi)容和貢獻(xiàn)
    1.4 本文的組織結(jié)構(gòu)
第2章 相關(guān)研究工作綜述
    2.1 序列特征學(xué)習(xí)
        2.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.1.2 長短時記憶模型
        2.1.3 Gated Recurrent Unit
    2.2 視覺特征學(xué)習(xí)
        2.2.1 深度卷積神經(jīng)網(wǎng)絡(luò)
        2.2.2 AlexNet
        2.2.3 VGGNet
    2.3 記憶網(wǎng)絡(luò)
    2.4 生成對抗網(wǎng)絡(luò)
    2.5 推薦算法
        2.5.1 協(xié)同過濾
        2.5.2 矩陣分解
        2.5.3 馬爾科夫模型
    2.6 對話模型
        2.6.1 垂直領(lǐng)域?qū)υ?br>        2.6.2 自然對話生成
        2.6.3 跨模態(tài)對話
第3章 基于序列數(shù)據(jù)的組合架構(gòu)深度學(xué)習(xí)算法
    3.1 引言
    3.2 算法
        3.2.1 問題定義
        3.2.2 局部長短時記憶模型
        3.2.3 全局長短時記憶模型
        3.2.4 組合長短時記憶模型
        3.2.5 模型訓(xùn)練
    3.3 實(shí)驗(yàn)
        3.3.1 實(shí)驗(yàn)數(shù)據(jù)集
        3.3.2 參數(shù)設(shè)定
        3.3.3 對比算法
        3.3.4 評價標(biāo)準(zhǔn)
        3.3.5 結(jié)果展示及分析
    3.4 結(jié)論
第4章 基于時空嵌入的深度預(yù)測模型
    4.1 引言
    4.2 相關(guān)工作
        4.2.1 地點(diǎn)預(yù)測
        4.2.2 深度模型
        4.2.3 生成對抗網(wǎng)絡(luò)
    4.3 算法
        4.3.1 任務(wù)描述
        4.3.2 時空嵌入的長短時記憶模型
        4.3.3 基于時空嵌入的生成對抗網(wǎng)絡(luò)模型
        4.3.4 基于時空嵌入的層次長短時記憶模型
    4.4 實(shí)驗(yàn)
        4.4.1 實(shí)驗(yàn)數(shù)據(jù)集
        4.4.2 參數(shù)設(shè)定
        4.4.3 對比算法
        4.4.4 驗(yàn)證指標(biāo)
        4.4.5 實(shí)驗(yàn)結(jié)果
    4.5 結(jié)論
第5章 基于多輪注意力機(jī)制的深度記憶網(wǎng)絡(luò)模型
    5.1 引言
    5.2 相關(guān)工作
        5.2.1 計(jì)算機(jī)視覺與自然語言處理
        5.2.2 對話模型和聊天機(jī)器人
        5.2.3 視覺對話
    5.3 算法
        5.3.1 問題定義
        5.3.2 多輪注意力記憶網(wǎng)絡(luò)編碼器
        5.3.3 生成式解碼器和判別式解碼器
    5.4 實(shí)驗(yàn)
        5.4.1 實(shí)驗(yàn)數(shù)據(jù)集
        5.4.2 參數(shù)設(shè)定
        5.4.3 對比算法
        5.4.4 評價標(biāo)準(zhǔn)
        5.4.5 實(shí)驗(yàn)結(jié)果
    5.5 結(jié)論
第6章 總結(jié)與展望
    6.1 本文工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
攻讀博士學(xué)位期間主要的研究成果
致謝



本文編號：3867994