針對(duì)智能配鏡中三維面部特征點(diǎn)提取算法復(fù)雜度較高的問題,提出一種將三維點(diǎn)云轉(zhuǎn)換為映射圖像定位特征點(diǎn)的方法。采用Voronoi方法計(jì)算面部三角網(wǎng)格各頂點(diǎn)處的高斯曲率、平均曲率。選取鼻尖、眼角等曲率特征明顯的區(qū)域估計(jì)面部點(diǎn)云姿態(tài)。根據(jù)曲率旋轉(zhuǎn)不變性,使用初選的點(diǎn)云方向向量簡化旋轉(zhuǎn)矩陣的計(jì)算,使面部點(diǎn)云正面朝向視點(diǎn)。將點(diǎn)云映射轉(zhuǎn)換為圖像,三維網(wǎng)格模型中三角面片一對(duì)一映射到圖像中的三角形。搭建卷積神經(jīng)網(wǎng)絡(luò),使用Texas 3DFRD數(shù)據(jù)集進(jìn)行模型訓(xùn)練。進(jìn)行人臉對(duì)齊,預(yù)測(cè)所得各面部特征點(diǎn)分別限制在圖像某三角形中。根據(jù)圖像中三角形映射查找三維網(wǎng)格模型中對(duì)應(yīng)三角面片,通過三角面片頂點(diǎn)坐標(biāo)計(jì)算配鏡所需的面部特征點(diǎn)位置坐標(biāo),實(shí)現(xiàn)配鏡特征參數(shù)的提取。 

【文章來源】：圖學(xué)學(xué)報(bào). 2019,40(04)北大核心CSCD

【文章頁數(shù)】：6 頁

【部分圖文】：

面部三維網(wǎng)格各區(qū)域曲率(c)

β和γ。因此，x，y，z軸的旋轉(zhuǎn)矩陣Rx，Ry，Rz可表示為,1000cossin0sincosxR(16),cos0sin010sin0cosyR(17),cossin0sincos0001zR(18)則總的旋轉(zhuǎn)矩陣為z,y,x,RRRR(19)進(jìn)行坐標(biāo)旋轉(zhuǎn)之后，原點(diǎn)云C轉(zhuǎn)換為點(diǎn)云CT，即TC=RC(20)各朝向點(diǎn)云與模板點(diǎn)云如圖3所示。(a)偏左側(cè)(b)偏上方(c)偏右側(cè)(d)偏左側(cè)(e)正向(f)模板圖3三角網(wǎng)格模型不同姿態(tài)與模板點(diǎn)云對(duì)比3特征點(diǎn)定位將面部點(diǎn)云姿態(tài)矯正為正視前方的角度后，為獲得面部配鏡所需的各參數(shù)，需要對(duì)面部的關(guān)鍵點(diǎn)進(jìn)行標(biāo)定，即進(jìn)行人臉對(duì)齊(facealignment)。目前在二維的圖像領(lǐng)域，通過神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)等方法預(yù)測(cè)圖像中面部的特征點(diǎn)已經(jīng)非常的快捷和準(zhǔn)確，所以本文采取將點(diǎn)云映射至正視的深度圖后再進(jìn)行關(guān)鍵點(diǎn)位置的獲齲深度圖(depthmap)包含了場(chǎng)景對(duì)象的表面到視點(diǎn)的距離信息，通常至少為8位，即最少有256個(gè)灰度，每個(gè)像素都記錄了從視點(diǎn)(viewpoint)到遮擋物表面的距離，8位深度圖可以滿足特征點(diǎn)識(shí)別的精度。利用Texas3DFR數(shù)據(jù)庫[16]作為數(shù)據(jù)集，標(biāo)定面部配鏡相關(guān)特征點(diǎn)，包括眼眶、眉毛、鼻梁、臉頰等位置。通過多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(multi-taskcascadedconvolutionalnetwork,MTCNN)尋找人臉邊界并提取出面部圖像，將面部紋理圖像與深度圖像歸一化像素為150×150的圖像。本文紋理-深度(RGB-Depth,RGB-D)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為(圖4)：輸入層為2個(gè)3通道3×150×150；緊接著2個(gè)卷積結(jié)構(gòu)單元，每個(gè)單元都在卷積計(jì)算之后采用ReLU層作?

5深度圖像面部特征點(diǎn)定位效果對(duì)于三維網(wǎng)格模型，其表面由若干三角面片拼接而成。若將三維網(wǎng)格模型映射至平面，則其表面的空間三角形也將對(duì)應(yīng)地映射為平面三角形，如圖6(a)所示。本文將以三角面片為單位，進(jìn)行紋理信息的映射，效果如圖6(c)所示。在投影的過程中，實(shí)際世界坐標(biāo)系x與y坐標(biāo)按照系數(shù)映射為圖像像素坐標(biāo)系中的位置。由此，投影生成的圖像類似于一個(gè)映射表，通過圖像中的像素坐標(biāo)，可知該坐標(biāo)位置所在的三角面片以及紋理和位置信息。(a)三角網(wǎng)格映射(b)深度映射(c)紋理信息映射圖6三角網(wǎng)格模型深度信息映射與紋理信息映射將映射成的紋理圖像與深度圖像輸入神經(jīng)網(wǎng)絡(luò)，可以得到預(yù)測(cè)的特征點(diǎn)集，并且各特征點(diǎn)均散布在某個(gè)三角面片的映射三角形之內(nèi)，如圖7所示。由于面部三角網(wǎng)格模型在預(yù)處理時(shí)將點(diǎn)云進(jìn)行降采樣，其頂點(diǎn)個(gè)數(shù)的數(shù)量級(jí)在104~105，并且根據(jù)Delaunay三角剖分原理，三角面片的數(shù)量約為頂點(diǎn)數(shù)量的2~3倍。因此，使用三角面片頂點(diǎn)數(shù)據(jù)估計(jì)其包含的特征點(diǎn)位置滿足配鏡精度要求。圖7面部特征點(diǎn)定位在三角網(wǎng)格之內(nèi)本文通過預(yù)測(cè)的特征點(diǎn)在世界坐標(biāo)系中的幾何坐標(biāo)，求得配鏡相關(guān)參數(shù)；并對(duì)14名被試者的面部參數(shù)使用游標(biāo)卡尺進(jìn)行手工測(cè)量，測(cè)量相對(duì)誤差結(jié)果見表2。由表2可知本文提出的自動(dòng)測(cè)量方法的大多數(shù)參數(shù)測(cè)量誤差均在可接受范圍內(nèi)。表2平均測(cè)量值誤差分析面部參數(shù)自動(dòng)測(cè)量(mm)手工測(cè)量(mm)絕對(duì)誤差(mm)相對(duì)誤差(%)瞳孔間距66.4567.140.691.03面部寬度153.40158.435.033.17外眼角間距109.67112.412.742.44內(nèi)眼角間距43.0541.221.834.44眉眼間距18.8617.181.689


本文編號(hào)：3416932