機器視覺圖像中的雨線、雨滴或水滴的存在,將直接影響圖像背景的清晰度,對監(jiān)測系統(tǒng)性能造成很大的影響。如何有效地去除圖像中的雨線、雨滴或水滴,提高圖像的質(zhì)量,是需要解決的重要課題。本文研究了基于注意力生成對抗網(wǎng)絡(luò)的圖像去雨算法,具體工作包括:1.設(shè)計出一種表示圖像中雨線和雨滴通用的物理模型。該模型考慮了光線經(jīng)過雨線或雨滴產(chǎn)生的折射和反射效應(yīng)對圖像的影響,同時為獲取清晰的背景圖,利用二進制掩碼的思想創(chuàng)建了雨線或雨滴的注意力分布圖,可將一些關(guān)于背景環(huán)境的信息提供給生成對抗網(wǎng)絡(luò)（GAN:Generative Adversarial Networks）使用,能夠提高判斷是否是有雨區(qū)域的準(zhǔn)確性。2.提出了基于注意力生成對抗網(wǎng)絡(luò)的自然圖像去雨算法。采用殘差連接方式的6層注意力循環(huán)網(wǎng)絡(luò)和對稱性跳躍連接方式的上下文自動編碼器,提高了網(wǎng)絡(luò)層之間信息流傳播的效率,并減輕了梯度消失現(xiàn)象;將視覺注意力注入到生成對抗網(wǎng)絡(luò)中,提高了網(wǎng)絡(luò)學(xué)習(xí)和判別雨線或雨滴區(qū)域及其環(huán)繞區(qū)域的能力,能夠使生成的去雨圖像背景細節(jié)更清晰。實驗結(jié)果表明,該算法在圖像質(zhì)量評價的主、客觀兩方面優(yōu)于比較的其它經(jīng)典算法,且能夠有效地適用于同時對雨線和... 

【文章來源】：天津工業(yè)大學(xué)天津市

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【部分圖文】：

含水滴的橡

第二章圖像去雨技術(shù)11FOV=165°雨滴背景像素點圖2-4雨滴的視覺范圍6．雨滴的光度特性。雨滴的光學(xué)特性相當(dāng)于在圖像平面投影的情況下分析的，而雨滴的光度特性是在雨滴動態(tài)模型下分析。雨滴動態(tài)模型是在靜態(tài)模型建立基礎(chǔ)上分析的，再加入雨滴對光線的折射和反射模型共同描述運動雨滴模糊的光度模型。圖2-5表示光線經(jīng)過雨滴反射和折射進入相機的光線角度圖。圖2-5雨滴的折射，鏡面反射，內(nèi)部反射雨滴整體視覺亮度表達式為2221()(1(,))(,)()(,)()eNeLnkikiLskiLp==++（2-8）式中(,)N(1(,))2()ekikiLp代表雨滴對光線的內(nèi)部反射作用，(,)()ekiLp表示鏡面反射作用，221(,)()NekiLp=表示光線折射作用。雨滴物理模型建立都要考慮雨滴形態(tài)，大小，雨滴下落速度，在整幅圖像中的空間分布，雨滴的光學(xué)特性和光度特性，基于上述雨滴物理模型目前圖像中雨

第三章基于注意力生成對抗網(wǎng)絡(luò)的自然圖像去雨算法研究25Conv+ReLUxl=h(xl-1)+xl-1Conv+ReLUxl-1圖3-5ResNet網(wǎng)絡(luò)結(jié)構(gòu)圖該殘差網(wǎng)絡(luò)主要用于從前一塊的輸入圖像和掩碼中提取特征，每個殘差塊包括2層卷積核為3ⅹ3的卷積加上ReLU非線性激活函數(shù)進行圖像特征的提取，相比較傳統(tǒng)的卷積層或全連接層在圖像特征提取時都會存在一定的特征信息丟失、損耗等問題。而殘差卷積層之間都有直接的連接，任一卷積層的輸入都是前面所有卷積層輸出的并集，同時，該卷積層所學(xué)習(xí)到的特征圖都會作為后面所有卷積層的輸入，這就保證了特征提取的完整性。2．長短期記憶卷積網(wǎng)絡(luò)。主要學(xué)習(xí)雨線、雨滴的注意力分布圖。經(jīng)過長短期記憶網(wǎng)絡(luò)后的卷積層的結(jié)果是一個從0到1的矩陣，與二進制掩碼不一樣的是，此矩陣是一個非二進制映射，在0到1區(qū)間的值不斷變化，代表從非雨區(qū)域到有雨區(qū)域逐漸增加注意力，值越接近1代表注意力越大。由于雨線、雨滴的周圍區(qū)域也需要注意，而且有雨區(qū)域的透明度實際上也不盡相同(有些部分并不完全遮擋背景，因此傳達一些背景信息)。LSTM結(jié)構(gòu)細節(jié)如下圖3-6所示。圖3-6ConvLSTM網(wǎng)絡(luò)原理圖由殘差網(wǎng)絡(luò)提取的雨線、雨滴特征圖和初始化的注意圖分布圖拼接傳遞到


本文編號：3400958