海量信息時代,信息內容理解變得愈發(fā)重要,一種重要的方法是給內容打上合適的語義標簽,例如:根據(jù)內容和用戶的標簽進行推薦;預測網(wǎng)絡評論的語義標簽來過濾有害評論;使用一套關鍵詞對科學文獻進行標注索引等。人工標簽標注低效又不經濟,因此研究高性能的多標簽語義索引算法具有重要意義。傳統(tǒng)多標簽文本語義索引算法大多基于統(tǒng)計機器學習方法,隨著近年來深度學習的飛速發(fā)展,其逐漸變成了自然語言處理領域的最優(yōu)實踐方法,本文針對基于深度學習的多標簽文本語義索引問題,按以下邏輯層層遞進地展開研究:(1)對于標簽空間較小(可選標簽范圍小)的多標簽文本語義索引問題,本文使用經典的二元相關方法,將多標簽問題轉換為多個單標簽問題,使用在自然語言處理領域展現(xiàn)了強大性能的BERT遷移學習的方法作為基學習器來處理每個標簽的分類,將各個基學習器的結果綜合實現(xiàn)多標簽類別預測。(2)對于標簽空間較大(可選標簽范圍大)的多標簽文本語義索引問題,二元相關方法的資源消耗過大(個可選標簽需要訓練個分類器,推斷階段同樣需要個分類器同時工作),同時不易利用標簽間關系。本文設計了基于共享權重的神經網(wǎng)絡結構,同時預測所有標簽,降低計算資源消耗,此外,...

【文章頁數(shù)】：82 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景
    1.2 本文的主要工作
    1.3 本文的主要組織結構
第2章 相關技術研究現(xiàn)狀
    2.1 問題定義
    2.2 評價指標介紹
    2.3 常見方法分析
    2.4 現(xiàn)狀總結與分析
第3章 基于BERT的遷移學習二元相關方法實現(xiàn)多標簽文本語義索引
    3.1 背景概述
    3.2 基于Transformer Encoder的文本語義表示
        3.2.1 Transformer Encoder模型整體架構
        3.2.2 Transformer Encoder中的self-attention
        3.2.3 Multi-head attention
        3.2.4 Residual結構
        3.2.5 LayerNorm
        3.2.6 Positional encoding
    3.3 基于BERT的二元相關方法
        3.3.1 預訓練的通用語言表示
        3.3.2 BERT模型結構
        3.3.3 輸入表示
        3.3.4 預訓練
        3.3.5 遷移學習微調過程和二元相關方法
    3.4 實驗和分析
        3.4.1 實驗數(shù)據(jù)介紹
        3.4.2 探索性數(shù)據(jù)分析及預處理
        3.4.3 實驗設置與結果分析
    3.5 本章小結
第4章 基于多任務學習的共享權重的深度多標簽文本語義索引算法
    4.1 背景概述
    4.2 基于多任務學習的共享權重的深度多標簽文本語義索引算法
        4.2.1 Word2vec詞向量表示
        4.2.2 GRU循環(huán)神經網(wǎng)絡單元
        4.2.3 同時間步表示相接的雙向循環(huán)神經網(wǎng)絡結構
        4.2.4 類BottleNeck結構設計
        4.2.5 串行多任務學習高效利用標簽間關系
        4.2.6 整體結構
    4.3 實驗和分析
        4.3.1 實驗數(shù)據(jù)介紹
        4.3.2 實驗設置與結果分析
    4.4 本章小結
第5章 多標簽文本語義索引中緩解數(shù)據(jù)不均衡影響的方法
    5.1 背景概述
    5.2 Focal loss介紹
    5.3 經驗主義閾值校準方法
    5.4 方法設計
    5.5 實驗與分析
        5.5.1 實驗數(shù)據(jù)介紹
        5.5.2 實驗設置與結果分析
    5.6 本章小結
第6章 可擴展的多標簽文本語義索引算法實現(xiàn)
    6.1 數(shù)據(jù)提取、轉換、加載過程的可擴展性
    6.2 訓練過程的可擴展性
    6.3 本章小結
結論
參考文獻
攻讀碩士期間的主要研究成果
致謝



本文編號：3943332