基于紋理修復(fù)的虛擬試衣網(wǎng)絡(luò)
發(fā)布時(shí)間:2022-01-11 17:09
隨著互聯(lián)網(wǎng)經(jīng)濟(jì)的飛速發(fā)展,線上購(gòu)物已經(jīng)成為了一種生活方式,服裝網(wǎng)購(gòu)的市場(chǎng)規(guī)模也在逐年增長(zhǎng)。顧客在購(gòu)買服裝時(shí),非常關(guān)心衣服穿到自己身上的實(shí)際效果如何,但是在線上購(gòu)買時(shí)只能根據(jù)商家提供的圖片進(jìn)行挑選,無(wú)法像在實(shí)體店一樣可以試穿。虛擬試衣技術(shù)利用三維建模仿真算法或二維圖像生成算法來(lái)模擬指定服裝穿在用戶身上的著裝效果,為其提供更加真實(shí)的購(gòu)物體驗(yàn)。因此該技術(shù)有巨大的應(yīng)用前景,其能夠輔助顧客做出購(gòu)買決策,有助于促進(jìn)服裝的線上銷售。本文提出了基于紋理修復(fù)的虛擬試衣網(wǎng)絡(luò),通過(guò)輸入用戶圖像和模特圖像,該網(wǎng)絡(luò)能夠生成該用戶身穿模特身上服裝的試衣結(jié)果。與前人方法的區(qū)別在于,本文所提出的方法在無(wú)需訓(xùn)練額外網(wǎng)絡(luò)的前提下實(shí)現(xiàn)了“隨心換”,即用戶可以選擇模特身上指定的服裝(上裝、下裝、全身服裝)進(jìn)行換衣。本文認(rèn)為試衣結(jié)果主要由服裝紋理和用戶紋理構(gòu)成,首先,依據(jù)用戶圖像和模特圖像的密集姿態(tài),通過(guò)紋理重映射得到服裝紋理,且該紋理與用戶的體形、姿態(tài)相匹配;再利用人物解析遷移,通過(guò)輸入用戶身體分割圖和模特人物解析得到遷移結(jié)果,其恰好為試衣結(jié)果所對(duì)應(yīng)的人物解析;然后對(duì)遷移結(jié)果和用戶人物解析做交集操作實(shí)現(xiàn)用戶紋理的最優(yōu)提取;最...
【文章來(lái)源】:東華大學(xué)上海市 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:63 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
天真算法獲取的用戶紋理會(huì)導(dǎo)致試衣結(jié)果發(fā)生錯(cuò)誤
發(fā)遮擋服裝的情形時(shí)。 人物解析遷移的網(wǎng)絡(luò)結(jié)構(gòu)如圖 3-2 所示,是一個(gè)雙通道的編碼解碼網(wǎng)絡(luò),輸入為用戶身體分割圖 與模特人物解析 ,輸出為遷移結(jié)果 ′,輸入和輸出的尺寸均為 256×256。首先對(duì)網(wǎng)絡(luò)各通道的輸入分別使用一個(gè)步長(zhǎng)為 2 的卷積層得到的尺寸一致的特征圖,再合并這兩個(gè)特征圖,輸入到一個(gè)自編碼解碼網(wǎng)絡(luò)生成遷移結(jié)果。為了使得生成的結(jié)果能夠盡可能維持用戶的身份信息,本文對(duì)經(jīng)過(guò)第一個(gè)卷積層后的特征圖做了下采樣(利用最近鄰插值對(duì)特征圖的長(zhǎng)、寬分別縮小 1/2),而后合并到解碼器的中間結(jié)果中。網(wǎng)絡(luò)中的卷積核的尺寸均為3×3,解碼器中均使用轉(zhuǎn)置卷積層[49]。
東華大學(xué)碩士學(xué)位論文第三章用戶紋理提取18鍵和值g。對(duì)鍵做轉(zhuǎn)置操作,再將查詢與鍵做矩陣乘法得到一個(gè)HW×HW的特征圖,該特征圖的任意一行即代表了輸入特征中某一特征單元與所有特征單元的相關(guān)性。然后利用Softmax函數(shù)對(duì)該特征圖的每一行做歸一化,得到的結(jié)果作為權(quán)重,與值g做加權(quán)求和得到該輸入特征的注意力,最后與輸入特征X相加得到最終輸出Z。圖3-3自注意力模塊其中Softmax函數(shù)作用是對(duì)每一行做歸一化,使得每一行之和為1,對(duì)于一個(gè)數(shù)組,位置i對(duì)應(yīng)Softmax的值通過(guò)計(jì)算當(dāng)前第i個(gè)元素的指數(shù)與所有元素指數(shù)和的比值得到,即=∑(3-1)通過(guò)Softmax分配到權(quán)重越大的特征單元對(duì)應(yīng)的相關(guān)性越高,再利用加權(quán)求和操作使得這些相關(guān)性更高的特征單元對(duì)計(jì)算結(jié)果有更大的影響,即模型會(huì)更重視這些特征單元。因此為了使得模型通過(guò)學(xué)習(xí)特征間的相關(guān)性來(lái)捕捉人體結(jié)構(gòu)信息,本文在網(wǎng)絡(luò)的解碼器階段加入自注意力模塊。由于在訓(xùn)練人物解析遷移時(shí),使用了生成對(duì)抗網(wǎng)絡(luò)(GAN)的訓(xùn)練框架,其一般由一個(gè)生成器和一個(gè)鑒別器組成。生成器就是上文所述的人物解析遷移的網(wǎng)絡(luò),負(fù)責(zé)生成所需的遷移結(jié)果。而對(duì)于鑒別器,本文采用了SAGAN[23]中的鑒別器,其輸入的尺寸與遷移結(jié)果的尺寸(18×256×256)一致,為卷積網(wǎng)絡(luò)結(jié)構(gòu),包含了6層卷積核大小為、步長(zhǎng)為2的卷積層,與一般卷積網(wǎng)絡(luò)的區(qū)別在于,將激活函數(shù)從ReLU(線性修正單元)替換為L(zhǎng)eakyReLU(帶泄露的線性修正單元)[50],將批歸一化[51]替換為譜歸一化[24]。其中,譜歸一化通過(guò)限制模型各卷積層權(quán)重的譜范數(shù)大小,使得訓(xùn)練更加穩(wěn)定。鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)是按卷積層、譜歸一化、激活函數(shù)的順序重復(fù)堆疊6次,另外,SAGAN為了使模型充分學(xué)習(xí)到特征單元
【參考文獻(xiàn)】:
期刊論文
[1]虛擬試衣對(duì)消費(fèi)者需求心理及生活方式的影響[J]. 王嬌,鐘苡君. 天津紡織科技. 2017(01)
[2]數(shù)字化藝術(shù)在服裝產(chǎn)業(yè)中的體現(xiàn)——虛擬試衣的應(yīng)用淺析[J]. 何鈺菡. 中國(guó)民族博覽. 2015(08)
本文編號(hào):3583148
【文章來(lái)源】:東華大學(xué)上海市 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:63 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
天真算法獲取的用戶紋理會(huì)導(dǎo)致試衣結(jié)果發(fā)生錯(cuò)誤
發(fā)遮擋服裝的情形時(shí)。 人物解析遷移的網(wǎng)絡(luò)結(jié)構(gòu)如圖 3-2 所示,是一個(gè)雙通道的編碼解碼網(wǎng)絡(luò),輸入為用戶身體分割圖 與模特人物解析 ,輸出為遷移結(jié)果 ′,輸入和輸出的尺寸均為 256×256。首先對(duì)網(wǎng)絡(luò)各通道的輸入分別使用一個(gè)步長(zhǎng)為 2 的卷積層得到的尺寸一致的特征圖,再合并這兩個(gè)特征圖,輸入到一個(gè)自編碼解碼網(wǎng)絡(luò)生成遷移結(jié)果。為了使得生成的結(jié)果能夠盡可能維持用戶的身份信息,本文對(duì)經(jīng)過(guò)第一個(gè)卷積層后的特征圖做了下采樣(利用最近鄰插值對(duì)特征圖的長(zhǎng)、寬分別縮小 1/2),而后合并到解碼器的中間結(jié)果中。網(wǎng)絡(luò)中的卷積核的尺寸均為3×3,解碼器中均使用轉(zhuǎn)置卷積層[49]。
東華大學(xué)碩士學(xué)位論文第三章用戶紋理提取18鍵和值g。對(duì)鍵做轉(zhuǎn)置操作,再將查詢與鍵做矩陣乘法得到一個(gè)HW×HW的特征圖,該特征圖的任意一行即代表了輸入特征中某一特征單元與所有特征單元的相關(guān)性。然后利用Softmax函數(shù)對(duì)該特征圖的每一行做歸一化,得到的結(jié)果作為權(quán)重,與值g做加權(quán)求和得到該輸入特征的注意力,最后與輸入特征X相加得到最終輸出Z。圖3-3自注意力模塊其中Softmax函數(shù)作用是對(duì)每一行做歸一化,使得每一行之和為1,對(duì)于一個(gè)數(shù)組,位置i對(duì)應(yīng)Softmax的值通過(guò)計(jì)算當(dāng)前第i個(gè)元素的指數(shù)與所有元素指數(shù)和的比值得到,即=∑(3-1)通過(guò)Softmax分配到權(quán)重越大的特征單元對(duì)應(yīng)的相關(guān)性越高,再利用加權(quán)求和操作使得這些相關(guān)性更高的特征單元對(duì)計(jì)算結(jié)果有更大的影響,即模型會(huì)更重視這些特征單元。因此為了使得模型通過(guò)學(xué)習(xí)特征間的相關(guān)性來(lái)捕捉人體結(jié)構(gòu)信息,本文在網(wǎng)絡(luò)的解碼器階段加入自注意力模塊。由于在訓(xùn)練人物解析遷移時(shí),使用了生成對(duì)抗網(wǎng)絡(luò)(GAN)的訓(xùn)練框架,其一般由一個(gè)生成器和一個(gè)鑒別器組成。生成器就是上文所述的人物解析遷移的網(wǎng)絡(luò),負(fù)責(zé)生成所需的遷移結(jié)果。而對(duì)于鑒別器,本文采用了SAGAN[23]中的鑒別器,其輸入的尺寸與遷移結(jié)果的尺寸(18×256×256)一致,為卷積網(wǎng)絡(luò)結(jié)構(gòu),包含了6層卷積核大小為、步長(zhǎng)為2的卷積層,與一般卷積網(wǎng)絡(luò)的區(qū)別在于,將激活函數(shù)從ReLU(線性修正單元)替換為L(zhǎng)eakyReLU(帶泄露的線性修正單元)[50],將批歸一化[51]替換為譜歸一化[24]。其中,譜歸一化通過(guò)限制模型各卷積層權(quán)重的譜范數(shù)大小,使得訓(xùn)練更加穩(wěn)定。鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)是按卷積層、譜歸一化、激活函數(shù)的順序重復(fù)堆疊6次,另外,SAGAN為了使模型充分學(xué)習(xí)到特征單元
【參考文獻(xiàn)】:
期刊論文
[1]虛擬試衣對(duì)消費(fèi)者需求心理及生活方式的影響[J]. 王嬌,鐘苡君. 天津紡織科技. 2017(01)
[2]數(shù)字化藝術(shù)在服裝產(chǎn)業(yè)中的體現(xiàn)——虛擬試衣的應(yīng)用淺析[J]. 何鈺菡. 中國(guó)民族博覽. 2015(08)
本文編號(hào):3583148
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3583148.html
最近更新
教材專著