互聯(lián)網(wǎng)技術(shù)的快速發(fā)展積累了大量的信息數(shù)據(jù),其中包括體現(xiàn)內(nèi)在關(guān)聯(lián)關(guān)系的序列數(shù)據(jù)。如何挖掘序列數(shù)據(jù)關(guān)聯(lián)關(guān)系并對(duì)未來進(jìn)行預(yù)測(cè),是推動(dòng)人工智能發(fā)展和社會(huì)智能化的一項(xiàng)重要研究工作。在序列數(shù)據(jù)建模過程中,通常會(huì)遇到許多難題,如序列數(shù)據(jù)的稀疏性、時(shí)序長(zhǎng)程依賴挖掘的困難性以及長(zhǎng)序列信息傳遞推理問題等。針對(duì)這些存在的問題與挑戰(zhàn),本文對(duì)序列建模問題進(jìn)行了深入研究,提出了一系列面向序列數(shù)據(jù)的深度建模方法,克服了傳統(tǒng)序列建模中存在的序列間隔忽略和信息推理能力缺乏等問題。本文研究的動(dòng)機(jī)是通過利用輔助信息對(duì)深度序列模型進(jìn)行結(jié)構(gòu)改造,以構(gòu)造更合理的深度序列模型,從而運(yùn)用到實(shí)際應(yīng)用場(chǎng)景中,提升模型的預(yù)測(cè)推薦能力。具體來說,本文的主要工作可以總結(jié)為如下幾個(gè)方面:針對(duì)普遍存在的序列稀疏性問題,提出了一種組合架構(gòu)的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型。具體而言,在商業(yè)廣告推薦領(lǐng)域,提出利用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)來分別對(duì)如下兩種序列進(jìn)行關(guān)聯(lián)關(guān)系挖掘:反映全局關(guān)聯(lián)的用戶-查詢語句-廣告的三元關(guān)系序列(全局的長(zhǎng)短時(shí)記憶模型)和反映局部依賴查詢語句序列(局部的長(zhǎng)短時(shí)記憶模型),以將用戶的查詢意圖嵌入到連續(xù)向量空間,并進(jìn)一步將其解碼來刻畫不同類型廣告的概率分...

【文章頁(yè)數(shù)】：125 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景
    1.2 研究問題
    1.3 本文的研究?jī)?nèi)容和貢獻(xiàn)
    1.4 本文的組織結(jié)構(gòu)
第2章 相關(guān)研究工作綜述
    2.1 序列特征學(xué)習(xí)
        2.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.1.2 長(zhǎng)短時(shí)記憶模型
        2.1.3 Gated Recurrent Unit
    2.2 視覺特征學(xué)習(xí)
        2.2.1 深度卷積神經(jīng)網(wǎng)絡(luò)
        2.2.2 AlexNet
        2.2.3 VGGNet
    2.3 記憶網(wǎng)絡(luò)
    2.4 生成對(duì)抗網(wǎng)絡(luò)
    2.5 推薦算法
        2.5.1 協(xié)同過濾
        2.5.2 矩陣分解
        2.5.3 馬爾科夫模型
    2.6 對(duì)話模型
        2.6.1 垂直領(lǐng)域?qū)υ?br>        2.6.2 自然對(duì)話生成
        2.6.3 跨模態(tài)對(duì)話
第3章 基于序列數(shù)據(jù)的組合架構(gòu)深度學(xué)習(xí)算法
    3.1 引言
    3.2 算法
        3.2.1 問題定義
        3.2.2 局部長(zhǎng)短時(shí)記憶模型
        3.2.3 全局長(zhǎng)短時(shí)記憶模型
        3.2.4 組合長(zhǎng)短時(shí)記憶模型
        3.2.5 模型訓(xùn)練
    3.3 實(shí)驗(yàn)
        3.3.1 實(shí)驗(yàn)數(shù)據(jù)集
        3.3.2 參數(shù)設(shè)定
        3.3.3 對(duì)比算法
        3.3.4 評(píng)價(jià)標(biāo)準(zhǔn)
        3.3.5 結(jié)果展示及分析
    3.4 結(jié)論
第4章 基于時(shí)空嵌入的深度預(yù)測(cè)模型
    4.1 引言
    4.2 相關(guān)工作
        4.2.1 地點(diǎn)預(yù)測(cè)
        4.2.2 深度模型
        4.2.3 生成對(duì)抗網(wǎng)絡(luò)
    4.3 算法
        4.3.1 任務(wù)描述
        4.3.2 時(shí)空嵌入的長(zhǎng)短時(shí)記憶模型
        4.3.3 基于時(shí)空嵌入的生成對(duì)抗網(wǎng)絡(luò)模型
        4.3.4 基于時(shí)空嵌入的層次長(zhǎng)短時(shí)記憶模型
    4.4 實(shí)驗(yàn)
        4.4.1 實(shí)驗(yàn)數(shù)據(jù)集
        4.4.2 參數(shù)設(shè)定
        4.4.3 對(duì)比算法
        4.4.4 驗(yàn)證指標(biāo)
        4.4.5 實(shí)驗(yàn)結(jié)果
    4.5 結(jié)論
第5章 基于多輪注意力機(jī)制的深度記憶網(wǎng)絡(luò)模型
    5.1 引言
    5.2 相關(guān)工作
        5.2.1 計(jì)算機(jī)視覺與自然語言處理
        5.2.2 對(duì)話模型和聊天機(jī)器人
        5.2.3 視覺對(duì)話
    5.3 算法
        5.3.1 問題定義
        5.3.2 多輪注意力記憶網(wǎng)絡(luò)編碼器
        5.3.3 生成式解碼器和判別式解碼器
    5.4 實(shí)驗(yàn)
        5.4.1 實(shí)驗(yàn)數(shù)據(jù)集
        5.4.2 參數(shù)設(shè)定
        5.4.3 對(duì)比算法
        5.4.4 評(píng)價(jià)標(biāo)準(zhǔn)
        5.4.5 實(shí)驗(yàn)結(jié)果
    5.5 結(jié)論
第6章 總結(jié)與展望
    6.1 本文工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
攻讀博士學(xué)位期間主要的研究成果
致謝



本文編號(hào)：3867994