本文選題：人臉 + 本征圖像　； 參考：《浙江大學(xué)》2017年博士論文

【摘要】：在互聯(lián)網(wǎng)大數(shù)據(jù)的時代背景下,人們通過互聯(lián)網(wǎng)上傳、分享的信息已經(jīng)從原本的文字內(nèi)容漸漸過渡到了以圖片、視頻為主的多媒體素材。從早期的博客、Twitter,到現(xiàn)在的微信和Instagram,以及微信朋友圈最新改版中加入的短視頻功能,都印證了這一發(fā)展趨勢。根據(jù)國際影像產(chǎn)業(yè)協(xié)會一項針對手機拍攝內(nèi)容的研究,以及一項針對圖片分享網(wǎng)站Flickr用戶上傳信息的調(diào)查,超過60%的用戶分享內(nèi)容都是以人為主體,并且大多包含了人臉。隨著目前剛剛興起的視頻直播等新興應(yīng)用的不斷發(fā)展,這一比例還會進一步提升。在中國,以人臉圖片美化為主要功能的美圖秀秀已經(jīng)服務(wù)于過十億用戶,并且日均影響2億張照片�；谏鲜鰬�(yīng)用背景,本文針對眾多圖片、視頻中最重要的對象——人臉,深入研究了其本征圖像、反射模型、幾何結(jié)構(gòu),以及相關(guān)的環(huán)境光照模型,通過綜合利用人臉特有的幾何結(jié)構(gòu)和皮膚的生物學(xué)性質(zhì),對人臉圖片的輻射校準(zhǔn)、高光分離、本征圖像分解等問題提出了切實有效的解決方案。同時,我們以人臉的本征圖像分解為基礎(chǔ),提出了一套成熟的人臉照片處理、增強的流水線,并且實現(xiàn)了虛擬化妝這一具有商業(yè)價值和現(xiàn)實意義的應(yīng)用技術(shù)。我們的主要工作包括以下內(nèi)容:1.為了從相機拍攝的非線性圖片中還原原本的場景輻射度信息,我們提出了一種基于人體皮膚反射率梯度空間下低秩屬性的相機輻射校準(zhǔn)算法。該低秩性質(zhì)不僅具有色彩不變性,同時相對人臉皮膚存在的微弱高光十分穩(wěn)定。為了利用該性質(zhì)并獲取到皮膚反射率本征圖,我們結(jié)合了以幾何結(jié)構(gòu)為額外約束的本征圖像分解算法,將反射率本征圖與其亮度本征圖分開。相較之前的單張圖像相機輻射校準(zhǔn)算法,該算法在大幅降低相機響應(yīng)函數(shù)估算誤差的同時并沒有帶來額外的計算開銷。2.我們提出了 一種利用人臉皮膚物理光學(xué)、人臉幾何結(jié)構(gòu)統(tǒng)計學(xué)特性來實現(xiàn)的在復(fù)雜光照環(huán)境下分離人臉圖片中鏡面高光部分的技術(shù)。首先,人臉的皮膚顏色主要取決于皮膚表皮層黑色素和真皮層血紅蛋白的含量,這一皮膚的光學(xué)性質(zhì)可以用來約束皮膚的漫反射率,從而可以間接約束因皮膚鏡面反射而形成的高光部分的強度。其次,利用人臉幾何結(jié)構(gòu)高度相似的統(tǒng)計學(xué)特性,并且結(jié)合對環(huán)境光照效果的近似和建模,則可以直接形成對鏡面高光強度的約束。該技術(shù)不僅可以對在復(fù)雜光照環(huán)境下拍攝的照片進行處理,還能夠有效處理因過曝而引起的顏色飽和。3.在人臉高光分離技術(shù)的基礎(chǔ)上,我們進一步利用人臉的反射參數(shù)的統(tǒng)計模型作為約束,提出了一種更加準(zhǔn)確的人臉本征圖像分解算法。除此之外,傳統(tǒng)的本征圖像分解大多基于理想的漫反射模型——朗伯模型,該模型并不能很好地模擬皮膚等半透明材質(zhì)的漫反射屬性。因此,本文還引入了一種基于物理光學(xué)的半透明材質(zhì)漫反射模型來對皮膚的漫反射亮度性進行了重新建模,從而進一步提高了本征圖像分解的準(zhǔn)確性。4.針對圖片美化中虛擬化妝這一應(yīng)用,我們以人臉本征圖像分解為基礎(chǔ),在不同的本征圖層上從物理光學(xué)的角度對不同化妝品的化妝效果都進行了建模,從而實現(xiàn)了對各種化妝品效果的真實模擬。這些化妝品包括了但不限于粉底、口紅、腮紅、眼影等。區(qū)別于傳統(tǒng)的虛擬化妝技術(shù),本文提出的方法不僅速度快,而且避免了光照不一致、人臉皮膚特征與化妝效果混雜等傳統(tǒng)虛擬化妝技術(shù)難以避免的問題。更進一步,我們通過與現(xiàn)有的人臉檢測、追蹤技術(shù)相結(jié)合,使得該算法不僅可以作用在靜態(tài)圖片上,還可以實現(xiàn)對視頻流中姿態(tài)、表情同時發(fā)生變化的人臉部分進行真實感虛擬化妝。
[Abstract]:In the era of big internet data, people uploaded through the Internet, sharing information from original text content to picture, video based multimedia material. From the early blogs, Twitter, to the current WeChat and Instagram, and the short video features added to the latest version of WeChat's circle of friends, all of them are printed. According to a research on the content of mobile phones by the international image industry association, and a survey of Flickr users uploading information on the picture sharing website, more than 60% of the users share the content of human beings and mostly include human faces. With the emerging applications, such as the emerging video live broadcast, and other emerging applications In China, in China, Meitu Xiu Xiu has served one billion users with face picture beautification as the main function, and affects 200 million photos at the same day. Based on the above application background, this article studies the most important object in the video, the face, and studies its intrinsic image in depth. The ejection model, geometric structure, and the related environmental illumination model, through the comprehensive use of the geometric structure of the face and the biological properties of the skin, put forward a practical and effective solution to the radiation calibration of the face images, the high light separation, the decomposition of the intrinsic image and so on. A set of mature face photo processing, enhanced pipelining, and the implementation of virtual make-up, a commercial and practical application technology. Our main work includes the following: 1. in order to restore the original scene radiance information from the nonlinear picture taken by the camera, we propose a kind of human skin based on the human skin. The low rank attribute of the camera radiation calibration algorithm under the reflectivity gradient space. The low rank property not only has the color invariance, but also the weak high light is very stable relative to the face skin. In order to use this property and obtain the skin reflectivity eigengraph, we combine the eigenimage decomposition algorithm with the geometric structure as the extra constraint. The albedo eigengraph is separated from the luminance eigengraph. Compared with the previous single image camera radiometric calibration algorithm, this algorithm reduces the estimation error of the camera response function and does not bring additional computing overhead.2.. We propose a method of using the physical optics of the face skin and the geometric characteristics of the face. First, the skin color of the face is mainly dependent on the skin epidermal melanin and the content of the dermal hemoglobin. The optical properties of the skin can be used to restrain the diffuse reflectance of the skin, which can be indirectly constrained by the reflection of the skin. The intensity of the high light part. Secondly, by using the statistical characteristics of the highly similar geometric structure of the face, and combining the approximation and modeling of the environmental illumination effect, the constraint on the high light intensity of the mirror can be formed directly. This technique can not only deal with the photos taken in the complex light environment, but also effectively handle the overexposure. On the basis of the face high light separation technology caused by color saturation.3., we further utilize the statistical model of the reflection parameters of the face as constraints, and propose a more accurate decomposition algorithm for face eigenimages. In addition, the traditional eigenimage decomposition is mostly based on the ideal diffuse model Lambert model. It is not good to simulate the diffuse reflectance properties of skin and other semitransparent materials. Therefore, this paper also introduces a translucent material diffuse model based on physical optics to remodel the diffuse reflectance of the skin, thus further improving the accuracy of the intrinsic image decomposition.4. for the virtual make-up of the picture beautification. One application, based on the face eigenimage decomposition, we modeled the cosmetic effects of different cosmetics from the physical optics angle on different eigenlayers, thus realizing the real simulation of the effects of various cosmetics. These cosmetics include but not limited to the foundation, lipstick, blush, eye shadow, etc., which are different from the traditional deficiency. In this paper, the method proposed in this paper is not only fast, but also avoids the problem that the traditional virtual make-up technology can not be avoided, such as the inconsistency of light and the mix of facial skin features and cosmetic effects. Furthermore, by combining with the existing face detection and tracking techniques, the algorithm can not only function on the static picture, but also make the algorithm not only function on the static picture but also the static image. It can realize the virtual virtual make-up of the face part of the video stream in which the gestures and facial expressions change simultaneously.
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP391.41

【相似文獻】

相關(guān)期刊論文 前10條

1 白鍵;馮象初;;基于曲線波變換的圖像分解[J];電子學(xué)報;2007年01期

2 王憲棟;圖像代數(shù)與圖像分解[J];西安電子科技大學(xué)學(xué)報;1995年01期

3 韓明華,葉如意;基于小波變換的圖像分解與重構(gòu)編碼的實現(xiàn)[J];微機發(fā)展;2003年11期

4 姜東煥;徐光寶;宋國鄉(xiāng);;基于小波和變分泛函的圖像分解[J];系統(tǒng)工程與電子技術(shù);2007年06期

5 李敏;馮象初;;基于小波空間的圖像分解變分模型[J];電子學(xué)報;2008年01期

6 吳敏金;沈霄鳳;金升俊;;圖像分解中的多通道濾波器組合[J];中國圖象圖形學(xué)報;2005年11期

7 張文娟;王艷紅;;運用總變分最小化和振蕩函數(shù)的圖像分解方法[J];西安工業(yè)大學(xué)學(xué)報;2008年03期

8 孟敏;平子良;;基于指數(shù)矩的圖像分解和重建[J];內(nèi)蒙古師范大學(xué)學(xué)報(自然科學(xué)漢文版);2011年03期

9 李峰;曾曉輝;陳盛霞;沈玉娟;;基于算子的圖像分解[J];中國圖象圖形學(xué)報;2013年01期

10 白鍵;馮象初;;非凸泛函的圖像分解[J];西安電子科技大學(xué)學(xué)報;2013年02期

相關(guān)會議論文 前2條

1 秦勃;時鵬;;經(jīng)驗?zāi)Ｊ蕉喑叨葓D像分解[A];第一屆全國幾何設(shè)計與計算學(xué)術(shù)會議論文集[C];2002年

2 方宇強;戴斌;;基于圖像分解的魯棒光流計算[A];第二十九屆中國控制會議論文集[C];2010年

相關(guān)重要報紙文章 前3條

1 記者 曹婧逸;打造影院級影音空間漸成潮流[N];中華工商時報;2012年

2 晉毅;危機中的希臘[N];中國攝影報;2013年

3 記者鄭千里;掃描隧道組合顯微鏡又添利器[N];科技日報;2002年

相關(guān)博士學(xué)位論文 前1條

1 李琛;人臉本征圖像分解及其應(yīng)用[D];浙江大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 劉春榮;結(jié)構(gòu)字典學(xué)習(xí)方法及應(yīng)用的研究[D];北京工業(yè)大學(xué);2015年

2 沙馬木呷;基于全變分與分塊低秩卡通—紋理正則的圖像分解與復(fù)原研究[D];電子科技大學(xué);2016年

3 戴海鵬;本征圖像分解方法與應(yīng)用研究[D];天津大學(xué);2014年

4 楊傲;基于變分多尺度圖像分解的SAR與可見光圖像融合[D];西安電子科技大學(xué);2015年

5 黃曉彤;幾種圖像分解模型分析及其在文字提取中的應(yīng)用[D];云南大學(xué);2013年

6 張力娜;偏微分方程在圖像分解及邊緣檢測中的應(yīng)用[D];西安電子科技大學(xué);2008年

7 李艷霞;基于變分偏微分方程的圖像分解研究與應(yīng)用[D];中國海洋大學(xué);2009年

8 劉鳴;基于PDE的圖像分解方法研究與應(yīng)用[D];青島大學(xué);2008年

9 劉健;基于Mumford-Shah模型和G空間圖像分解的研究[D];中國海洋大學(xué);2011年

10 施克漢;基于變指數(shù)增長反應(yīng)—擴散方程組的圖像分解研究[D];哈爾濱工業(yè)大學(xué);2014年

，

本文編號：2011352