文字,是人類記錄思想的符號(hào),是交流信息的工具。文字對(duì)人類日常生活的重要性不言而喻。場景文字是指自然場景圖像中的文字,路標(biāo)圖像、廣告牌圖像和車牌圖像都攜帶場景文字。識(shí)別自然場景圖像中的文字有廣泛的應(yīng)用,如車牌識(shí)別、卡證識(shí)別和自動(dòng)駕駛。在幾十年前,文字識(shí)別的研究主要針對(duì)掃描文檔文字,經(jīng)過長期的研究積累,掃描文檔文字識(shí)別方法日趨成熟。但是場景文字由于背景復(fù)雜、文字呈現(xiàn)形式多變、圖像質(zhì)量低等因素,仍面臨很多挑戰(zhàn)。其中,不規(guī)則場景文字因其字符排列不規(guī)則和字符旋轉(zhuǎn)變化導(dǎo)致識(shí)別非常困難。近年來,基于注意力機(jī)制的方法為不規(guī)則場景文字識(shí)別提供了新思路�；谧⒁饬C(jī)制的方法能夠精準(zhǔn)的定位字符區(qū)域的特征,具有很好的解決字符不規(guī)則排列問題的潛力。本文基于注意力機(jī)制的方法,對(duì)不規(guī)則場景文字識(shí)別展開一系列研究:（1）.本文提出一種基于注意力機(jī)制并整合Gabor卷積神經(jīng)網(wǎng)絡(luò)來處理不規(guī)則文本的方法。Gabor卷積神經(jīng)網(wǎng)絡(luò)能夠提取對(duì)于方向變化更魯棒的特征,它通過將多方向的Gabor濾波器整合到卷積神經(jīng)網(wǎng)絡(luò)中得到。序列識(shí)別網(wǎng)絡(luò)是一個(gè)基于注意力機(jī)制的“編碼器-解碼器”模型,它利用Gabor卷積神經(jīng)網(wǎng)絡(luò)輸出的特征序列化的輸出... 

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院重慶綠色智能技術(shù)研究院)重慶市

【文章頁數(shù)】：66 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

場景文字識(shí)別的應(yīng)用示例

基于注意力機(jī)制的不規(guī)則場景文字識(shí)別方法研究照不均勻的情況，拍攝設(shè)備性能問題引起的圖像分辨率低、低對(duì)比度，拍攝距離較遠(yuǎn)導(dǎo)致文字尺寸孝拍攝角度變化引起透視形變；2）文本自身多樣性引入的挑戰(zhàn)。如藝術(shù)字、殘缺和彎曲排列的文字；3）文本所在環(huán)境引入的挑戰(zhàn)。如多語言混合、文字遮擋。因此，不規(guī)則場景文字的識(shí)別還存在很大的研究空間。(a)路牌識(shí)別(b)拍照翻譯(c)盲人輔助閱讀(d)單據(jù)識(shí)別圖1.1場景文字識(shí)別的應(yīng)用示例。Figure1.1ApplicationsofSceneTextRecognition.圖1.2場景文字示例。Figure1.2ExampleofSceneText.2

基于注意力機(jī)制的不規(guī)則場景文字識(shí)別方法研究的方法。具體來講，采用Gabor卷積神經(jīng)網(wǎng)絡(luò)(Luan等,2018)提取具有更強(qiáng)的字符旋轉(zhuǎn)不變的特征，然后將Gabor卷機(jī)神經(jīng)網(wǎng)絡(luò)提取到的特征輸入到基于注意力機(jī)制(Bahdanau等,2014)的序列識(shí)別網(wǎng)絡(luò)，基于注意力機(jī)制的序列識(shí)別網(wǎng)絡(luò)再輸出字符序列。本章所提出的框架的示意圖如3.3所示。在Gabor卷機(jī)神經(jīng)網(wǎng)絡(luò)中，卷機(jī)濾波器被多個(gè)方向的Gabor濾波器調(diào)制，調(diào)制得到的新濾波器用于提取對(duì)字符旋轉(zhuǎn)變化更魯棒的特征。與多方向編碼的方法不同(Cheng等,2018)，本章提出的方法通過對(duì)卷機(jī)濾波器進(jìn)行調(diào)制來處理字符旋轉(zhuǎn)變化的問題，而多方向編碼的方法通過旋轉(zhuǎn)和反轉(zhuǎn)特征圖來解決字符旋轉(zhuǎn)變換的問題。而且，多方向編碼的方法通過旋轉(zhuǎn)和反轉(zhuǎn)特征圖得到四個(gè)方向的特征序列，從而引入了額外的計(jì)算開銷，而本章提出的方法不引入額外的計(jì)算開銷。由于基于注意力機(jī)制的序列識(shí)別網(wǎng)絡(luò)存在注意力漂移的問題（如圖3.2所示），圖中黃色十字表示某個(gè)字符注意力的中心點(diǎn)，圖下側(cè)是預(yù)測結(jié)果，紅色字符是預(yù)測錯(cuò)誤的，綠色字符是預(yù)測正確的。本章提出一種聚焦注意力模型，它引入一種簡單的優(yōu)化注意力對(duì)齊性能的損失函數(shù)，只需要標(biāo)注每個(gè)字符中心的橫向位置。具體來講，通過觀察注意力權(quán)重系數(shù)的分布，提出兩種優(yōu)化注意力對(duì)齊性能的損失函數(shù)，第一種是以注意力中心點(diǎn)與字符標(biāo)注中心點(diǎn)為變量設(shè)計(jì)的一種交叉熵?fù)p失函數(shù)，第二種是以注意力權(quán)重系數(shù)的分布與標(biāo)注生成的權(quán)重系數(shù)分布之間的搬土距離(Rubner等,1998)作為損失函數(shù)，兩種損失函數(shù)在實(shí)驗(yàn)數(shù)據(jù)集上性能相當(dāng)，但是權(quán)重分布特點(diǎn)不一。圖3.2注意力漂移現(xiàn)象。Figure3.2Illustrationofattentiondrift.12


本文編號(hào)：3069444