目前,在即時(shí)通信方面的國(guó)內(nèi)外研究都取得了巨大的進(jìn)步,人與人之間的交流也越來(lái)越方便。同時(shí),用戶開(kāi)始希望接觸一些更加新穎有趣的體驗(yàn),比如采用3D虛擬動(dòng)畫(huà)取代真實(shí)人臉來(lái)進(jìn)行實(shí)時(shí)通信,3D虛擬動(dòng)畫(huà)模型通過(guò)用戶的表情來(lái)驅(qū)動(dòng)。本課題將基于深度學(xué)習(xí)的人臉關(guān)鍵點(diǎn)識(shí)別定位技術(shù)、虛擬現(xiàn)實(shí)技術(shù)與即時(shí)通信相結(jié)合,將人機(jī)交互與視頻聊天相結(jié)合,設(shè)計(jì)實(shí)現(xiàn)一個(gè)互動(dòng)性強(qiáng)的即時(shí)通信系統(tǒng)。本課題采用XMPP+openfire方式實(shí)現(xiàn)即時(shí)通信系統(tǒng),使用起來(lái)更加方便,拓展性更強(qiáng)�？蛻舳酥饕ぷ魇菍�(shí)現(xiàn)XMPP協(xié)議并利用XMPP協(xié)議將數(shù)據(jù)傳輸給服務(wù)端,并接收來(lái)自服務(wù)端的數(shù)據(jù)。Openfire則由服務(wù)端來(lái)搭建使用。針對(duì)當(dāng)前主流人臉關(guān)鍵點(diǎn)定位模型對(duì)復(fù)雜環(huán)境的魯棒性較差的問(wèn)題,本課題采用基于深度學(xué)習(xí)的方法完成人臉關(guān)鍵點(diǎn)定位模型的設(shè)計(jì)與實(shí)現(xiàn),通過(guò)數(shù)據(jù)預(yù)處理、模型設(shè)計(jì)、模型訓(xùn)練,實(shí)現(xiàn)能定位出68個(gè)人臉關(guān)鍵點(diǎn)的魯棒性較高的模型并完成了對(duì)該模型向移動(dòng)端的遷移工作。當(dāng)前視頻通信往往存在延時(shí)、卡頓等問(wèn)題,因此本課題以人臉關(guān)鍵點(diǎn)數(shù)據(jù)取代視頻流數(shù)據(jù)進(jìn)行傳輸,減輕網(wǎng)絡(luò)的壓力。本課題還采用語(yǔ)音編解碼、降噪、回聲消除等處理來(lái)解決語(yǔ)音傳輸中的噪聲干擾、回聲干擾... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：73 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖３－１業(yè)務(wù)功能需求圖??

添，理，后時(shí)通信，同時(shí)可以跟好友進(jìn)行３Ｄ虛擬動(dòng)畫(huà)聊天。從用戶需求出發(fā)，將用戶對(duì)??個(gè)模塊的需求總結(jié)如下：??１）注冊(cè)管理功能：實(shí)現(xiàn)對(duì)用戶創(chuàng)建賬號(hào)做管理。??２）登錄管理功能：實(shí)現(xiàn)對(duì)用戶登錄系統(tǒng)做管理。??３）好友管理功能：實(shí)現(xiàn)對(duì)用戶好友關(guān)系的維護(hù)，實(shí)現(xiàn)好友間添加好友操作??管理。展示出各個(gè)用戶的好友列表、添加好友信息、好友列表快速查找等。??４）即時(shí)通信管理功能：實(shí)現(xiàn)用戶間的實(shí)時(shí)通信，包括文本消息和語(yǔ)音消息??實(shí)時(shí)發(fā)送、轉(zhuǎn)發(fā)和接收，同樣也包括虛擬聊天中的即時(shí)通信管理。??５）虛擬聊天管理功能：實(shí)現(xiàn)對(duì)用戶人臉關(guān)鍵點(diǎn)定位，人臉關(guān)鍵點(diǎn)數(shù)據(jù)對(duì)模??型的驅(qū)動(dòng)，用戶間語(yǔ)音的實(shí)時(shí)錄制、傳輸和播放等管理。??．２．２用戶用例分析??用戶用例模型是連接用戶需求與系統(tǒng)設(shè)計(jì)的橋梁。本課題從用戶需求出發(fā)，??析用戶用例，從而可以在整個(gè)系統(tǒng)設(shè)計(jì)開(kāi)發(fā)流程中起到指導(dǎo)作用。本課題３Ｄ??擬動(dòng)畫(huà)即時(shí)通信系統(tǒng)的系統(tǒng)用例圖如圖３－２所示：??

是用于對(duì)學(xué)習(xí)出來(lái)的模型，調(diào)整分類器的參數(shù)，驗(yàn)證集還用來(lái)確定網(wǎng)絡(luò)結(jié)構(gòu)或者??控制模型復(fù)雜程度的參數(shù)。測(cè)試集主要是用于測(cè)試訓(xùn)練好的模型的分辨能力。人??臉關(guān)鍵點(diǎn)定位模型的設(shè)計(jì)框圖如圖４－２所示：??■Ｉ??ＣＮＮ?丨?｜?ＣＮＮ??１?１?１??ＡＳ１?ＡＳ２??Ｓ〇???Ｋ）??？０??Ｓ１?Ｔ２（Ｓ１）＋厶?Ｓ２??▼?▼??Ｉ?Ｉ?Ｉ??連接層?ｉ??？?點(diǎn)坐標(biāo)相似逆變換??ｌ?廠?廠?ｌ?Ｉ?????ｉ???結(jié)果??圖４－２人臉關(guān)鍵點(diǎn)定位模型設(shè)計(jì)框圖??在模型設(shè)計(jì)中，具體的網(wǎng)絡(luò)結(jié)構(gòu)包括：１、ＣＮＮ：卷積神經(jīng)網(wǎng)絡(luò)，用于生成??人臉關(guān)鍵點(diǎn)坐標(biāo)；２、連接層：將原始圖像及上層得出的人臉關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行相??似變換，生成相似變換后的圖像、熱力圖和特征圖，作為下一層ＣＮＮ的輸入；??３、點(diǎn)坐標(biāo)相似逆變換：將進(jìn)行過(guò)相似變換的人臉關(guān)鍵點(diǎn)坐標(biāo)逆變換為與原始圖??像對(duì)應(yīng)的人臉關(guān)鍵點(diǎn)坐標(biāo)，即最終結(jié)果。??模型的輸入為整張?jiān)紙D片，首先經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)，得到６８?jìng)�(gè)定位點(diǎn)的??偏移量４５１，與ｍｅａｎｓｈａｐｅ?（訓(xùn)練集所有人臉關(guān)鍵點(diǎn)坐標(biāo)均值）相加得到第一層??網(wǎng)絡(luò)輸出的６８?jìng)�(gè)人臉關(guān)鍵點(diǎn)定位數(shù)據(jù)５１；?５１和原始圖片經(jīng)過(guò)連接層得到相似變??換后的人臉關(guān)鍵點(diǎn)熱力圖、相似變換后的圖片以及特征圖片

【參考文獻(xiàn)】：
期刊論文
[1]虛擬現(xiàn)實(shí)技術(shù)的發(fā)展與應(yīng)用[J]. 張益瑋.  通訊世界. 2018(09)
[2]面向通信與計(jì)算融合的5G移動(dòng)增強(qiáng)/虛擬現(xiàn)實(shí)[J]. 周一青,孫布勒,齊彥麗,彭燕,劉玲,張志龍,劉奕彤,劉丹譜,李兆歆,田霖.  電信科學(xué). 2018(08)
[3]級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)人臉關(guān)鍵點(diǎn)定位研究[J]. 井長(zhǎng)興,章東平,楊力.  中國(guó)計(jì)量大學(xué)學(xué)報(bào). 2018(02)
[4]一種面向互聯(lián)網(wǎng)應(yīng)用的多路實(shí)時(shí)流媒體同步合成方案[J]. 王英蘭,劉曉強(qiáng),李柏巖,宋暉,陶抒青,蔡立志,劉振宇.  東華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(01)
[5]利用Unity3D在Android平臺(tái)開(kāi)發(fā)移動(dòng)AR應(yīng)用的研究[J]. 張艷.  教育教學(xué)論壇. 2017(52)
[6]動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境下的音視頻同步技術(shù)[J]. 楊勇智.  信息記錄材料. 2017(11)
[7]一種基于FFMPEG的音視頻同步算法[J]. 曾碧,張宇.  廣東工業(yè)大學(xué)學(xué)報(bào). 2017(04)
[8]基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)定位[J]. 陳銳,林達(dá).  四川理工學(xué)院學(xué)報(bào)(自然科學(xué)版). 2017(01)
[9]基于DSP的實(shí)時(shí)語(yǔ)音壓縮編解碼系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 李英華,張穎穎.  電子技術(shù)與軟件工程. 2017(01)
[10]計(jì)算機(jī)通信中虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用[J]. 張蓓.  電子技術(shù)與軟件工程. 2016(23)

碩士論文
[1]語(yǔ)音信道數(shù)據(jù)傳輸算法設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉龍飛.西安電子科技大學(xué) 2018
[2]基于實(shí)時(shí)表情驅(qū)動(dòng)的三維人臉模型控制研究[D]. 黃明陽(yáng).哈爾濱工程大學(xué) 2018
[3]基于深度學(xué)習(xí)的魯棒表情關(guān)鍵點(diǎn)定位算法設(shè)計(jì)與實(shí)現(xiàn)[D]. 彭營(yíng)營(yíng).北京交通大學(xué) 2017
[4]基于XMPP協(xié)議的移動(dòng)平臺(tái)即時(shí)通信系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 魚(yú)萌.浙江工業(yè)大學(xué) 2016
[5]基于特征提取和特征選擇的級(jí)聯(lián)深度學(xué)習(xí)模型研究[D]. 王維智.哈爾濱工業(yè)大學(xué) 2015



本文編號(hào)：3328422