目前,在即時通信方面的國內(nèi)外研究都取得了巨大的進步,人與人之間的交流也越來越方便。同時,用戶開始希望接觸一些更加新穎有趣的體驗,比如采用3D虛擬動畫取代真實人臉來進行實時通信,3D虛擬動畫模型通過用戶的表情來驅(qū)動。本課題將基于深度學習的人臉關(guān)鍵點識別定位技術(shù)、虛擬現(xiàn)實技術(shù)與即時通信相結(jié)合,將人機交互與視頻聊天相結(jié)合,設(shè)計實現(xiàn)一個互動性強的即時通信系統(tǒng)。本課題采用XMPP+openfire方式實現(xiàn)即時通信系統(tǒng),使用起來更加方便,拓展性更強�？蛻舳酥饕ぷ魇菍崿F(xiàn)XMPP協(xié)議并利用XMPP協(xié)議將數(shù)據(jù)傳輸給服務(wù)端,并接收來自服務(wù)端的數(shù)據(jù)。Openfire則由服務(wù)端來搭建使用。針對當前主流人臉關(guān)鍵點定位模型對復雜環(huán)境的魯棒性較差的問題,本課題采用基于深度學習的方法完成人臉關(guān)鍵點定位模型的設(shè)計與實現(xiàn),通過數(shù)據(jù)預(yù)處理、模型設(shè)計、模型訓練,實現(xiàn)能定位出68個人臉關(guān)鍵點的魯棒性較高的模型并完成了對該模型向移動端的遷移工作。當前視頻通信往往存在延時、卡頓等問題,因此本課題以人臉關(guān)鍵點數(shù)據(jù)取代視頻流數(shù)據(jù)進行傳輸,減輕網(wǎng)絡(luò)的壓力。本課題還采用語音編解碼、降噪、回聲消除等處理來解決語音傳輸中的噪聲干擾、回聲干擾... 

【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：73 頁

【學位級別】：碩士

【部分圖文】：

圖３－１業(yè)務(wù)功能需求圖??

添，理，后時通信，同時可以跟好友進行３Ｄ虛擬動畫聊天。從用戶需求出發(fā)，將用戶對??個模塊的需求總結(jié)如下：??１）注冊管理功能：實現(xiàn)對用戶創(chuàng)建賬號做管理。??２）登錄管理功能：實現(xiàn)對用戶登錄系統(tǒng)做管理。??３）好友管理功能：實現(xiàn)對用戶好友關(guān)系的維護，實現(xiàn)好友間添加好友操作??管理。展示出各個用戶的好友列表、添加好友信息、好友列表快速查找等。??４）即時通信管理功能：實現(xiàn)用戶間的實時通信，包括文本消息和語音消息??實時發(fā)送、轉(zhuǎn)發(fā)和接收，同樣也包括虛擬聊天中的即時通信管理。??５）虛擬聊天管理功能：實現(xiàn)對用戶人臉關(guān)鍵點定位，人臉關(guān)鍵點數(shù)據(jù)對模??型的驅(qū)動，用戶間語音的實時錄制、傳輸和播放等管理。??．２．２用戶用例分析??用戶用例模型是連接用戶需求與系統(tǒng)設(shè)計的橋梁。本課題從用戶需求出發(fā)，??析用戶用例，從而可以在整個系統(tǒng)設(shè)計開發(fā)流程中起到指導作用。本課題３Ｄ??擬動畫即時通信系統(tǒng)的系統(tǒng)用例圖如圖３－２所示：??

是用于對學習出來的模型，調(diào)整分類器的參數(shù)，驗證集還用來確定網(wǎng)絡(luò)結(jié)構(gòu)或者??控制模型復雜程度的參數(shù)。測試集主要是用于測試訓練好的模型的分辨能力。人??臉關(guān)鍵點定位模型的設(shè)計框圖如圖４－２所示：??■Ｉ??ＣＮＮ?丨?｜?ＣＮＮ??１?１?１??ＡＳ１?ＡＳ２??Ｓ〇???Ｋ）??？０??Ｓ１?Ｔ２（Ｓ１）＋厶?Ｓ２??▼?▼??Ｉ?Ｉ?Ｉ??連接層?ｉ??？?點坐標相似逆變換??ｌ?廠?廠?ｌ?Ｉ?????ｉ???結(jié)果??圖４－２人臉關(guān)鍵點定位模型設(shè)計框圖??在模型設(shè)計中，具體的網(wǎng)絡(luò)結(jié)構(gòu)包括：１、ＣＮＮ：卷積神經(jīng)網(wǎng)絡(luò)，用于生成??人臉關(guān)鍵點坐標；２、連接層：將原始圖像及上層得出的人臉關(guān)鍵點坐標進行相??似變換，生成相似變換后的圖像、熱力圖和特征圖，作為下一層ＣＮＮ的輸入；??３、點坐標相似逆變換：將進行過相似變換的人臉關(guān)鍵點坐標逆變換為與原始圖??像對應(yīng)的人臉關(guān)鍵點坐標，即最終結(jié)果。??模型的輸入為整張原始圖片，首先經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)，得到６８個定位點的??偏移量４５１，與ｍｅａｎｓｈａｐｅ?（訓練集所有人臉關(guān)鍵點坐標均值）相加得到第一層??網(wǎng)絡(luò)輸出的６８個人臉關(guān)鍵點定位數(shù)據(jù)５１；?５１和原始圖片經(jīng)過連接層得到相似變??換后的人臉關(guān)鍵點熱力圖、相似變換后的圖片以及特征圖片

【參考文獻】：
期刊論文
[1]虛擬現(xiàn)實技術(shù)的發(fā)展與應(yīng)用[J]. 張益瑋.  通訊世界. 2018(09)
[2]面向通信與計算融合的5G移動增強/虛擬現(xiàn)實[J]. 周一青,孫布勒,齊彥麗,彭燕,劉玲,張志龍,劉奕彤,劉丹譜,李兆歆,田霖.  電信科學. 2018(08)
[3]級聯(lián)神經(jīng)網(wǎng)絡(luò)人臉關(guān)鍵點定位研究[J]. 井長興,章東平,楊力.  中國計量大學學報. 2018(02)
[4]一種面向互聯(lián)網(wǎng)應(yīng)用的多路實時流媒體同步合成方案[J]. 王英蘭,劉曉強,李柏巖,宋暉,陶抒青,蔡立志,劉振宇.  東華大學學報(自然科學版). 2018(01)
[5]利用Unity3D在Android平臺開發(fā)移動AR應(yīng)用的研究[J]. 張艷.  教育教學論壇. 2017(52)
[6]動態(tài)網(wǎng)絡(luò)環(huán)境下的音視頻同步技術(shù)[J]. 楊勇智.  信息記錄材料. 2017(11)
[7]一種基于FFMPEG的音視頻同步算法[J]. 曾碧,張宇.  廣東工業(yè)大學學報. 2017(04)
[8]基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點定位[J]. 陳銳,林達.  四川理工學院學報(自然科學版). 2017(01)
[9]基于DSP的實時語音壓縮編解碼系統(tǒng)的設(shè)計與實現(xiàn)[J]. 李英華,張穎穎.  電子技術(shù)與軟件工程. 2017(01)
[10]計算機通信中虛擬現(xiàn)實技術(shù)的應(yīng)用[J]. 張蓓.  電子技術(shù)與軟件工程. 2016(23)

碩士論文
[1]語音信道數(shù)據(jù)傳輸算法設(shè)計與實現(xiàn)[D]. 劉龍飛.西安電子科技大學 2018
[2]基于實時表情驅(qū)動的三維人臉模型控制研究[D]. 黃明陽.哈爾濱工程大學 2018
[3]基于深度學習的魯棒表情關(guān)鍵點定位算法設(shè)計與實現(xiàn)[D]. 彭營營.北京交通大學 2017
[4]基于XMPP協(xié)議的移動平臺即時通信系統(tǒng)的設(shè)計與實現(xiàn)[D]. 魚萌.浙江工業(yè)大學 2016
[5]基于特征提取和特征選擇的級聯(lián)深度學習模型研究[D]. 王維智.哈爾濱工業(yè)大學 2015



本文編號：3328422