服務(wù)機(jī)器人、自動(dòng)駕駛等的運(yùn)用過(guò)程中,往往要對(duì)視頻圖像進(jìn)行處理,獲取周圍信息。而文字包含了許多高概括度的語(yǔ)義信息,在圖像及視頻的理解中承擔(dān)著十分重要的功能。傳統(tǒng)的印刷文本的識(shí)別與提�。∣CR）技術(shù)已經(jīng)十分成熟,但在文檔之外,自然場(chǎng)景的文本識(shí)別則難度較大,且日益成為研究的熱門領(lǐng)域。目前對(duì)于視頻的文本獲取,基本都將其分割為單幀圖像進(jìn)行處理,這將導(dǎo)致大量的重復(fù)以及不直觀,特別是較大視場(chǎng)的文字以及數(shù)字信息,大多數(shù)方法得到的效果非常差。本文從這一角度出發(fā),利用幀間聯(lián)系,處理整個(gè)視頻,獲取其中文本全景圖,獲得直觀的文本信息。首先,搭建文本檢測(cè)神經(jīng)網(wǎng)絡(luò),對(duì)YOLOv3目標(biāo)檢測(cè)框架進(jìn)行修改,調(diào)整錨框橫縱比、卷積結(jié)構(gòu)等,使其更加符合文字檢測(cè)的要求,融合多尺度錨框結(jié)果,在ICDAR13等數(shù)據(jù)集上進(jìn)行端到端的訓(xùn)練測(cè)試,目的在于獲取高速可靠的文本檢測(cè)框架。然后,建立了文本跟蹤模型,針對(duì)于視頻文本處理,每一幀都使用檢測(cè)將消耗大量的運(yùn)算資源,采用跟蹤代替檢測(cè),可以提高視頻處理速度,獲取關(guān)鍵幀。本文采用ECO跟蹤技術(shù),提出了改進(jìn)版ECO,對(duì)檢測(cè)出的文本進(jìn)行持續(xù)跟蹤,獲取運(yùn)動(dòng)狀態(tài)下文本的位置變化,及時(shí)判斷文本開始結(jié)束關(guān)... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：79 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

文本識(shí)別典型流程圖

圖 1-2 多尺度滑窗檢測(cè)文本線 16 年提出了改進(jìn)版的 MSER[9]，使用新的結(jié)合了督信息用于訓(xùn)練具有文本區(qū)域?qū)Ｗ⒘Φ木矸e神經(jīng)算法提升了召回率指標(biāo)，同時(shí)準(zhǔn)確率也有保障。人于 16 年提出的 CTPN[10](Connectionist Text Pro 結(jié)合，通過(guò)生成 text proposal 來(lái)檢測(cè)文字所在區(qū)域水平向分布的文字檢測(cè)，CTPN 在 Faster-RCNN 的用在文字識(shí)別上，即將文字與背景作為一個(gè)二分類模型并不能達(dá)到很好的效果，因此研究方向在于方面進(jìn)行改進(jìn)提高識(shí)別效果。

圖 1-2 多尺度滑窗檢測(cè)文本線黃偉林等人在 16 年提出了改進(jìn)版的 MSER[9]，使用新的結(jié)合了像素級(jí)信息，字符二類標(biāo)簽的監(jiān)督信息用于訓(xùn)練具有文本區(qū)域?qū)Ｗ⒘Φ木矸e神經(jīng)網(wǎng)絡(luò)，用于篩選文字區(qū)域，整個(gè)算法提升了召回率指標(biāo)，同時(shí)準(zhǔn)確率也有保障。Alsharif O 等人于 16 年提出的 CTPN[10](Connectionist Text Proposal Network)將 CNN 與 LSTM 結(jié)合，通過(guò)生成 text proposal 來(lái)檢測(cè)文字所在區(qū)域，能夠高效用于復(fù)雜場(chǎng)景情況的水平向分布的文字檢測(cè)，CTPN 在 Faster-RCNN 的基礎(chǔ)上進(jìn)行了改進(jìn)，目標(biāo)識(shí)別應(yīng)用在文字識(shí)別上，即將文字與背景作為一個(gè)二分類問題，但簡(jiǎn)單地套用目標(biāo)識(shí)別的模型并不能達(dá)到很好的效果，因此研究方向在于提取文字特有的特征，在過(guò)濾等方面進(jìn)行改進(jìn)提高識(shí)別效果。

【參考文獻(xiàn)】：
碩士論文
[1]基于Struck的目標(biāo)跟蹤算法改進(jìn)研究[D]. 苗超維.中北大學(xué) 2018
[2]基于SIFT特征的圖像配準(zhǔn)與拼接技術(shù)研究[D]. 王天云.南京郵電大學(xué) 2017
[3]基于深度學(xué)習(xí)的自然場(chǎng)景文字識(shí)別[D]. 黃攀.浙江大學(xué) 2016



本文編號(hào)：3390379