為了克服基于視頻的布料材質(zhì)識(shí)別中由于忽略了動(dòng)態(tài)因素的影響導(dǎo)致材質(zhì)識(shí)別準(zhǔn)確率低的難點(diǎn),利用布料仿真視頻庫(kù),提出一種基于增強(qiáng)動(dòng)態(tài)稠密軌跡特征的布料材質(zhì)識(shí)別方法以有效識(shí)別布料的材質(zhì)屬性信息.首先利用材質(zhì)合成方法構(gòu)造64種不同材質(zhì)的布料仿真視頻數(shù)據(jù)庫(kù);然后利用構(gòu)造的布料動(dòng)態(tài)視頻庫(kù),通過(guò)遷移預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)增強(qiáng)布料動(dòng)態(tài)視頻的各幀特征信息,并消除部分非動(dòng)態(tài)特征;其次利用動(dòng)態(tài)稠密軌跡特征描述布料視頻的動(dòng)態(tài)特征,以充分捕捉不同布料材質(zhì)視頻的動(dòng)態(tài)信息;最后通過(guò)Fisher向量編碼生成布料動(dòng)態(tài)信息的特征數(shù)據(jù)庫(kù),并訓(xùn)練SVM分類器建立布料材質(zhì)視頻動(dòng)態(tài)信息到材質(zhì)屬性參數(shù)的映射.利用構(gòu)建的布料仿真視頻庫(kù)作為數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)的結(jié)果表明,該方法對(duì)64種不同布料材質(zhì)視頻的材質(zhì)種類識(shí)別準(zhǔn)確率達(dá)到73.83%. 

【文章來(lái)源】：計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2020,32(06)北大核心

【文章頁(yè)數(shù)】：13 頁(yè)

【部分圖文】：

增強(qiáng)后的布料材質(zhì)視頻料信息,并消除背景造成的干擾,有效地用于布料

第6期夏海浜,等:基于增強(qiáng)動(dòng)態(tài)稠密軌跡特征的布料材質(zhì)識(shí)別935a.原視頻b.L1增強(qiáng)后c.L2增強(qiáng)后d.L3增強(qiáng)后e.L4增強(qiáng)后f.L5增強(qiáng)后圖3增強(qiáng)后的布料材質(zhì)視頻圖4遷移層數(shù)選擇強(qiáng)網(wǎng)絡(luò),增強(qiáng)后的視頻幀分辨率為240×135.其中,VGG-19網(wǎng)絡(luò)為具有19層的網(wǎng)絡(luò),如圖5所示,其包含1個(gè)輸入層、14個(gè)卷積層、5個(gè)池化層、3個(gè)全連接層和1個(gè)Softmax層.圖5左側(cè)所示為布料視頻動(dòng)態(tài)特征增強(qiáng)的網(wǎng)絡(luò)結(jié)構(gòu),其中遷移VGG網(wǎng)絡(luò)的前3組卷積層可用于動(dòng)態(tài)特征增強(qiáng);具體增強(qiáng)操作如圖5右側(cè)所示,先將視頻分割為200幀的圖片集,使用遷移的部分VGG網(wǎng)絡(luò)過(guò)濾圖片集生成特征增強(qiáng)圖片集,再將該圖片集合成幀率為20幀/s視頻組成特征增強(qiáng)視頻庫(kù).以本文的仿真視頻為對(duì)象進(jìn)行實(shí)驗(yàn).圖6所示為2段復(fù)雜場(chǎng)景視頻處理前后的對(duì)比圖,圖6a中原背景具有高亮顏色,經(jīng)遷移學(xué)習(xí)處理后的視頻消除了該類信息,并且布料邊緣得到了很好的刻畫,圖6b的原背景和布料顏色相近,但經(jīng)處理后的視頻背景和布料可以較好地區(qū)分.實(shí)驗(yàn)可知,經(jīng)過(guò)遷移的前3組卷積層處理后的視頻能夠增強(qiáng)布料信息,并消除背景造成的干擾,有效地用于布料動(dòng)態(tài)信息的提取.圖7所示為特征增強(qiáng)前后的視頻幀光流圖,其中紅點(diǎn)為靜態(tài)特征點(diǎn),綠點(diǎn)為光流特征點(diǎn),可以看到經(jīng)VGG網(wǎng)絡(luò)增強(qiáng)后的光流圖相比增強(qiáng)前的光流圖背景中只存在少量的背景特征點(diǎn),即經(jīng)VGG網(wǎng)絡(luò)增強(qiáng)后的視頻基本消除了背景信息.圖7中上行是視頻特征增強(qiáng)前的4幀光流圖,下行是視頻特征增強(qiáng)后的4幀光流圖,上行每一幀和下行的每一幀相對(duì)應(yīng).對(duì)比實(shí)驗(yàn)結(jié)果可知,圖7上行顯示圖5動(dòng)態(tài)特征增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)

第6期夏海浜,等:基于增強(qiáng)動(dòng)態(tài)稠密軌跡特征的布料材質(zhì)識(shí)別935a.原視頻b.L1增強(qiáng)后c.L2增強(qiáng)后d.L3增強(qiáng)后e.L4增強(qiáng)后f.L5增強(qiáng)后圖3增強(qiáng)后的布料材質(zhì)視頻圖4遷移層數(shù)選擇強(qiáng)網(wǎng)絡(luò),增強(qiáng)后的視頻幀分辨率為240×135.其中,VGG-19網(wǎng)絡(luò)為具有19層的網(wǎng)絡(luò),如圖5所示,其包含1個(gè)輸入層、14個(gè)卷積層、5個(gè)池化層、3個(gè)全連接層和1個(gè)Softmax層.圖5左側(cè)所示為布料視頻動(dòng)態(tài)特征增強(qiáng)的網(wǎng)絡(luò)結(jié)構(gòu),其中遷移VGG網(wǎng)絡(luò)的前3組卷積層可用于動(dòng)態(tài)特征增強(qiáng);具體增強(qiáng)操作如圖5右側(cè)所示,先將視頻分割為200幀的圖片集,使用遷移的部分VGG網(wǎng)絡(luò)過(guò)濾圖片集生成特征增強(qiáng)圖片集,再將該圖片集合成幀率為20幀/s視頻組成特征增強(qiáng)視頻庫(kù).以本文的仿真視頻為對(duì)象進(jìn)行實(shí)驗(yàn).圖6所示為2段復(fù)雜場(chǎng)景視頻處理前后的對(duì)比圖,圖6a中原背景具有高亮顏色,經(jīng)遷移學(xué)習(xí)處理后的視頻消除了該類信息,并且布料邊緣得到了很好的刻畫,圖6b的原背景和布料顏色相近,但經(jīng)處理后的視頻背景和布料可以較好地區(qū)分.實(shí)驗(yàn)可知,經(jīng)過(guò)遷移的前3組卷積層處理后的視頻能夠增強(qiáng)布料信息,并消除背景造成的干擾,有效地用于布料動(dòng)態(tài)信息的提取.圖7所示為特征增強(qiáng)前后的視頻幀光流圖,其中紅點(diǎn)為靜態(tài)特征點(diǎn),綠點(diǎn)為光流特征點(diǎn),可以看到經(jīng)VGG網(wǎng)絡(luò)增強(qiáng)后的光流圖相比增強(qiáng)前的光流圖背景中只存在少量的背景特征點(diǎn),即經(jīng)VGG網(wǎng)絡(luò)增強(qiáng)后的視頻基本消除了背景信息.圖7中上行是視頻特征增強(qiáng)前的4幀光流圖,下行是視頻特征增強(qiáng)后的4幀光流圖,上行每一幀和下行的每一幀相對(duì)應(yīng).對(duì)比實(shí)驗(yàn)結(jié)果可知,圖7上行顯示圖5動(dòng)態(tài)特征增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)

【參考文獻(xiàn)】：
期刊論文
[1]實(shí)時(shí)的流體布料碰撞檢測(cè)方法[J]. 臧惠,劉箴,柴艷杰,劉婷婷,周昆.  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2018(04)
[2]布料動(dòng)畫模擬綜述[J]. 朱淮冰,金小剛,馮結(jié)青,彭群生.  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2004(05)



本文編號(hào)：3057487