發(fā)布時間：2020-05-29 08:36

【摘要】：多模態(tài)的生物特征識別是指利用兩種及以上生物特征,通過綜合不同模態(tài)特征的信息來進(jìn)行身份識別,得到比只利用單一生物特征更加準(zhǔn)確和穩(wěn)定的識別結(jié)果。而人臉和語音的多模態(tài)識別因為其數(shù)據(jù)的易采集性,識別率高,活體檢測功能等優(yōu)點(diǎn)一直是多模態(tài)生物特征識別技術(shù)中的研究熱點(diǎn)。深度學(xué)習(xí)的特征提取能力以及端到端的學(xué)習(xí)模式對于多模態(tài)特征融合有很大幫助,因此本文主要研究如何利用深度學(xué)習(xí)方法對人臉和語音特征進(jìn)行特征層級的融合識別,主要研究內(nèi)容概括如下:(1)提出結(jié)合多模態(tài)卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)的人臉和語音融合識別模型。首先對如何利用卷積網(wǎng)絡(luò)對人臉和語音特征進(jìn)行融合識別進(jìn)行研究,設(shè)計出了4種不同的多模態(tài)卷積網(wǎng)絡(luò)結(jié)構(gòu),并通過實驗對比來確定最佳的網(wǎng)絡(luò)結(jié)構(gòu)。多模態(tài)卷積網(wǎng)絡(luò)的特征提取能力強(qiáng),并且在訓(xùn)練過程中特征提取和融合部分能通過學(xué)習(xí)互相適應(yīng),所以能夠提取出判別性強(qiáng)的融合特征。接著提出了將多模態(tài)卷積網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)合,將一段時間的視頻分幀并利用多模態(tài)卷積網(wǎng)絡(luò)提取出一段時間序列的融合特征并將融合特征放入循環(huán)神經(jīng)網(wǎng)絡(luò)利用時間序列信息得到更準(zhǔn)確的識別結(jié)果的方法。并且提出了3種不同的循環(huán)神經(jīng)網(wǎng)絡(luò)對序列特征進(jìn)行分類的方法并進(jìn)行了實驗對比。(2)提出基于注意力機(jī)制的人臉和語音特征融合識別模型。首先在特征提取階段利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)殘差網(wǎng)絡(luò)來提取人臉特征,用長短時記憶網(wǎng)絡(luò)提取語音特征來減少網(wǎng)絡(luò)參數(shù)。在特征融合方面,利用注意力機(jī)制來綜合處理一個序列中的人臉特征和語音特征,然后利用序列中融合特征的注意力權(quán)重來賦予序列中判別性強(qiáng)的特征更高的權(quán)重同時減少被噪聲污染的特征的權(quán)重,使得噪聲信息帶來的影響進(jìn)一步降低,提高了模型的判別能力。此外還通過實驗來探究不同特征融合方法和網(wǎng)絡(luò)結(jié)構(gòu)對識別結(jié)果的影響,并研究如何將模型應(yīng)用到實時的以及序列的人臉和語音多模態(tài)融合識別中,經(jīng)過實驗驗證模型能夠適用于實時的以及時間序列的人臉語音多模態(tài)身份識別。
【圖文】：

XM2VTS數(shù)據(jù)集示意圖

IQIYI數(shù)據(jù)集示意圖
【學(xué)位授予單位】：華僑大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TN912.3;TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 宋嫵英;董建梅;李炳楠;;多模態(tài)與詞匯附帶習(xí)得實證研究綜述[J];現(xiàn)代交際;2019年19期

2 李炳楠;董建梅;宋嫵英;;概念整合理論下的十四運(yùn)會多模態(tài)隱喻分析[J];現(xiàn)代交際;2019年19期

3 王小英;鄭佩蕓;;多模態(tài)文本在大學(xué)英語閱讀教學(xué)中的應(yīng)用研究[J];上海第二工業(yè)大學(xué)學(xué)報;2019年03期

4 王妤娜;;小學(xué)語文滲透兒童哲學(xué)教育的多模態(tài)教學(xué)模式[J];福建基礎(chǔ)教育研究;2019年09期

5 侯旭京;;多模態(tài)隱喻淺析土味情話——基于綜藝節(jié)目《非常完美》男女嘉賓對話[J];海外英語;2019年22期

6 王芳;;網(wǎng)絡(luò)多模態(tài)環(huán)境下大學(xué)生外語學(xué)習(xí)焦慮及干預(yù)策略[J];海外英語;2019年21期

7 肖芳英;;多模態(tài)教學(xué)模式在大學(xué)英語精讀教學(xué)中的運(yùn)用窺探[J];校園英語;2019年49期

8 黃立鶴;張德祿;;多核并行架構(gòu):多模態(tài)研究的范式、路徑及領(lǐng)域問題之辨[J];外語教學(xué);2019年01期

9 趙雨菲;;近五年我國多模態(tài)翻譯研究綜述[J];農(nóng)家參謀;2019年04期

10 閆雪鋒;;多模態(tài)話語視域下“翻轉(zhuǎn)課堂”教學(xué)模式的改革與探索——以西安職業(yè)技術(shù)學(xué)院公共基礎(chǔ)課為例[J];才智;2019年10期

相關(guān)會議論文 前10條

1 唐淑華;;文學(xué)語篇的語言學(xué)研究視角:多模態(tài)認(rèn)知詩學(xué)——《多模態(tài)、認(rèn)知和實驗文學(xué)》評介[A];認(rèn)知詩學(xué)2014年第1輯[C];2014年

2 杜玲莉;王開建;紀(jì)再祥;;基于多模態(tài)話語理論的大學(xué)英語教學(xué)改革[A];新教育時代（2015年10月 總第1輯）[C];2015年

3 王琳;;淺析多模態(tài)話語分析理論在初中英語寫作教學(xué)中的應(yīng)用[A];第二屆世紀(jì)之星創(chuàng)新教育論壇論文集[C];2015年

4 張霄軍;;多模態(tài)語料庫:搶救瀕危語言的有效途徑[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會論文集[C];2007年

5 張瑩;;大學(xué)英語課堂的多模態(tài)教學(xué)研究[A];“決策論壇——基于公共管理學(xué)視角的決策研討會”論文集（下）[C];2015年

6 夏凡;王宏;;多模態(tài)情感數(shù)據(jù)標(biāo)注方法與實現(xiàn)[A];第一屆建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2005）論文集[C];2005年

7 張旭;郭晨;孫建波;;自適應(yīng)多模態(tài)克隆選擇算法[A];2007年中國智能自動化會議論文集[C];2007年

8 趙廣州;;從多模態(tài)話語理論角度來看交際教學(xué)法中的角色扮演[A];福建省外國語文學(xué)會2010年年會論文集[C];2010年

9 李丹;;多模態(tài)理論框架下初中英語課堂中多媒體技術(shù)使用的必要性和有效性研究[A];外語教育與翻譯發(fā)展創(chuàng)新研究（第八卷）[C];2019年

10 霍暢;侯婷婷;;基于大學(xué)英語翻轉(zhuǎn)課堂的多模態(tài)教學(xué)研究[A];外語教育與翻譯發(fā)展創(chuàng)新研究(第六卷）[C];2017年

相關(guān)重要報紙文章 前10條

1 西南交通大學(xué)外國語學(xué)院 羅載兵;多模態(tài)隱喻的語義發(fā)生[N];中國社會科學(xué)報;2019年

2 蘇州大學(xué)跨文化研究中心、天津職業(yè)技術(shù)師范大學(xué)非盟研究中心 朱玲;多模態(tài)：翻譯研究的新視角[N];中國社會科學(xué)報;2017年

3 中國工程院院士 鄔江興;多模態(tài)智慧網(wǎng)絡(luò)與內(nèi)生安全[N];中國信息化周報;2018年

4 浙江萬里學(xué)院外語部 王中祥;多模態(tài)研究：認(rèn)知語言學(xué)的新方法[N];中國社會科學(xué)報;2017年

5 記者 戴麗昕;共融機(jī)器人多模態(tài)轉(zhuǎn)變成為發(fā)展趨勢[N];上�？萍紙�;2017年

6 西北師范大學(xué)外國語學(xué)院 呂文澎 蘭州商學(xué)院隴橋?qū)W院外國語言文學(xué)系 韓世霞;多模態(tài)寫作的特征與趨勢[N];中國社會科學(xué)報;2016年

7 同濟(jì)大學(xué)外國語學(xué)院 黃立鶴;多模態(tài)語言研究發(fā)展前景廣闊[N];中國社會科學(xué)報;2016年

8 記者 張建列 通訊員 馮春;深圳先進(jìn)院研制出新一代多模態(tài)顯微系統(tǒng)[N];廣東科技報;2016年

9 本報見習(xí)記者 辛雨;成像設(shè)施，有“圖”有“真相”[N];中國科學(xué)報;2019年

10 本報記者 顧鴻儒;人工智能尚未到來 多模態(tài)融合成為趨勢[N];中國電子報;2019年

相關(guān)博士學(xué)位論文 前10條

1 趙維;基于多模態(tài)影像數(shù)據(jù)的腦網(wǎng)絡(luò)研究[D];湖南師范大學(xué);2019年

2 曹俊亮;水下滑翔機(jī)多模態(tài)運(yùn)動控制與路徑規(guī)劃研究[D];上海交通大學(xué);2016年

3 胡敏;多模態(tài)靶向納米探針在微小肝癌的診斷及光熱治療的實驗研究[D];南方醫(yī)科大學(xué);2018年

4 劉f迢，

本文編號：2686675