手寫中文文本識別是計算機視覺和模式識別領(lǐng)域的研究熱點和難點之一,深度學(xué)習(xí)的興起為手寫中文文本識別提供了新的研究方法。大多數(shù)現(xiàn)有的基于深度學(xué)習(xí)的方法首先利用視覺信息訓(xùn)練識別模型,然后將識別模型的結(jié)果與語言模型相結(jié)合,即在決策層融合視覺信息與語言信息。本文從在特征層融合視覺信息與語言信息的角度出發(fā),采用深度學(xué)習(xí)方法和強化學(xué)習(xí)方法構(gòu)建深度網(wǎng)絡(luò)模型,解決手寫中文文本識別問題。旨在通過具有豐富語義信息的多模態(tài)聯(lián)合表達,來提高模型的識別性能。本文的主要工作包括:（1）研究了基于注意力機制的編碼解碼模型在手寫中文文本識別中的應(yīng)用,將字符級別視覺信息與語言信息的特征層融合模塊嵌入基于長短期記憶神經(jīng)網(wǎng)絡(luò)的解碼模塊,構(gòu)建基于字符級別特征層融合的手寫中文文本識別模型。具體地,由于視覺信息與語言信息之間存在著表達形式和語義層次的差異,為了對每個字符的多模態(tài)聯(lián)合表達進行有效地學(xué)習(xí),本文探索了三種字符級別視覺信息與語言信息的特征層融合方法,分別是基于向量加和、向量拼接和門機制的方法。實驗結(jié)果表明了在特征層融合視覺信息與語言信息的有效性,驗證了采用基于門機制的方法相比于其他兩種方法能夠取得更好的識別效果。（2）在字... 

【文章來源】：華東師范大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：84 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景與意義
    1.2 相關(guān)研究工作
        1.2.1 基于過分割的手寫中文文本識別方法
        1.2.2 基于無分割的手寫中文文本識別方法
        1.2.3 特征層融合方法
    1.3 本文研究內(nèi)容
    1.4 本文組織結(jié)構(gòu)
第二章 相關(guān)知識
    2.1 手寫中文文本識別
    2.2 多模態(tài)信息融合
    2.3 深度學(xué)習(xí)相關(guān)技術(shù)
        2.3.1 詞向量
        2.3.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.3.3 長短期記憶神經(jīng)網(wǎng)絡(luò)
        2.3.4 雙向長短期記憶神經(jīng)網(wǎng)絡(luò)
        2.3.5 基于注意力機制的編碼解碼模型
        2.3.6 深度強化學(xué)習(xí)
    2.4 手寫中文圖像數(shù)據(jù)集
        2.4.1 手寫中文單字圖像數(shù)據(jù)集
        2.4.2 手寫中文文本行圖像數(shù)據(jù)集
        2.4.3 ICDAR2013競賽數(shù)據(jù)集
    2.5 系統(tǒng)評估指標
    2.6 本章小結(jié)
第三章 基于字符級別特征層融合的手寫中文文本識別
    3.1 研究動機
    3.2 基于字符級別特征層融合的手寫中文文本識別模型
        3.2.1 模型結(jié)構(gòu)
        3.2.2 圖像編碼模塊
        3.2.3 字符級別視覺信息與語言信息的特征層融合模塊
        3.2.4 基于字符級別特征層融合的LSTM解碼模塊
    3.3 實驗結(jié)果與分析
        3.3.1 實驗設(shè)置
        3.3.2 三種字符級別視覺信息與語言信息的特征層融合方法的對比結(jié)果
        3.3.3 與其他研究者提出的模型的對比結(jié)果
        3.3.4 樣例分析
        3.3.5 注意力機制的可視化結(jié)果
    3.4 本章小結(jié)
第四章 基于多級別特征層融合的手寫中文文本識別
    4.1 研究動機
    4.2 基于多級別特征層融合的手寫中文文本識別模型
        4.2.1 模型結(jié)構(gòu)
        4.2.2 文本片段級別視覺信息與語言信息的特征層融合模塊
        4.2.3 基于多級別特征層融合的LSTM解碼模塊
    4.3 實驗結(jié)果與分析
        4.3.1 實驗設(shè)置
        4.3.2 基準模型
        4.3.3 與其他模型的對比實驗結(jié)果
        4.3.4 不同文本片段長度的對比實驗結(jié)果
    4.4 本章小結(jié)
第五章 基于深度強化學(xué)習(xí)的手寫中文文本識別
    5.1 研究動機
    5.2 基于深度強化學(xué)習(xí)的手寫中文文本識別模型
        5.2.1 模型結(jié)構(gòu)
        5.2.2 強化學(xué)習(xí)過程
    5.3 實驗設(shè)置
    5.4 實驗結(jié)果與分析
    5.5 本章小結(jié)
第六章 總結(jié)及展望
    6.1 本文總結(jié)
    6.2 未來工作
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文以及學(xué)術(shù)成果
參加國際競賽獲獎情況
參考文獻
致謝


【參考文獻】：
期刊論文
[1]深度學(xué)習(xí)在手寫漢字識別中的應(yīng)用綜述[J]. 金連文,鐘卓耀,楊釗,楊維信,謝澤澄,孫俊.  自動化學(xué)報. 2016(08)
[2]基于CNN和隨機彈性形變的相似手寫漢字識別[J]. 高學(xué),王有旺.  華南理工大學(xué)學(xué)報(自然科學(xué)版). 2014(01)



本文編號：3163768