【摘要】：隨著人工智能和計(jì)算機(jī)視覺技術(shù)的飛速發(fā)展,基于神經(jīng)網(wǎng)絡(luò)的圖像處理方法掀起了新的發(fā)展浪潮。神經(jīng)網(wǎng)絡(luò)是一種端到端的數(shù)據(jù)驅(qū)動(dòng)模型,其訓(xùn)練過程需要大量的彩色圖像訓(xùn)練集。而使用相機(jī)拍攝彩色圖像時(shí),大多數(shù)相機(jī)使用覆蓋一層彩色濾波陣列(通常是Bayer模式的彩色濾波陣列)的CCD/CMOS圖像傳感器進(jìn)行采集,得到Mosaic圖像,然后經(jīng)過Demosaicing算法從Mosaic圖像中復(fù)原出彩色圖像。在眾多的Demosaicing復(fù)原算法中,基于深度學(xué)習(xí)的Demosaicing方法由于融入了深度學(xué)習(xí)技術(shù),取得了不錯(cuò)的復(fù)原效果。然而,現(xiàn)有基于深度學(xué)習(xí)的Demosaicing算法中的卷積操作,都是針對RGB彩色圖像設(shè)計(jì)的,對Mosaic圖像這種特殊排列方式并不具有很好的適配性。因此,在本文中,我們首先針對Mosaic圖像Bayer模式的周期性,設(shè)計(jì)了相位卷積操作來對Mosaic圖像進(jìn)行特征提取,再基于這種卷積操作,設(shè)計(jì)了基于生成對抗網(wǎng)絡(luò)和相位卷積的去馬賽克圖像復(fù)原方法。這種算法緊密結(jié)合Bayer模式的相位特征,特別適用于Mosaic圖像的Demosaicing過程,實(shí)驗(yàn)結(jié)果表明,所設(shè)計(jì)的圖像復(fù)原方法與現(xiàn)有深度學(xué)習(xí)Demosaicing方法相比具有較好的復(fù)原效果。另一方面,在許多端到端的應(yīng)用中,如長期勘探、偵察和監(jiān)視等場合,人們并不會(huì)去長時(shí)間關(guān)注圖像本身的質(zhì)量,而是只關(guān)注分類、識別和理解的結(jié)果。而彩色圖像Demosaicing過程,更多是為了滿足人眼的欣賞要求,由于過于注重視覺效果,從而在復(fù)原算法會(huì)融入過多的信息冗余。因此,這種情況下如果跳過Demosaicing過程,直接對Mosaic圖像進(jìn)行端到端的分類識別,這樣可以避免復(fù)雜的圖像復(fù)原算法,減少計(jì)算負(fù)擔(dān)并降低功耗,對于諸多監(jiān)控設(shè)備、移動(dòng)設(shè)備的實(shí)際應(yīng)用來說尤其重要�；诖诵枨蟊尘�,本文提出了一個(gè)稱為MosaicNet的深度分類網(wǎng)絡(luò),來直接對Mosaic圖像進(jìn)行分類識別。該方法不僅減少了Demosaicing過程的復(fù)雜計(jì)算,還避免了其引入的誤差,獲得比全彩色圖像網(wǎng)絡(luò)模型更好的分類精度,實(shí)驗(yàn)結(jié)果也證實(shí)了這一結(jié)論。最后,本文還采集并構(gòu)建了Mosaic圖像數(shù)據(jù)集,并使用它對MosaicNet模型進(jìn)行訓(xùn)練和測試,在真實(shí)Mosaic圖像的實(shí)驗(yàn)條件下驗(yàn)證MosaicNet的可行性和識別效果。
【圖文】：

然后將此作為網(wǎng)絡(luò)輸入，經(jīng)過一系列卷積層對整個(gè)圖像滑窗濾波，提取出圖像特征，在經(jīng)過上采樣層，把特征矩陣映射成為與目標(biāo)彩色圖像相同大小，最后再經(jīng)過一個(gè)卷積層，得到最后的彩色圖像去馬賽克結(jié)果，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3.1所示。圖3.1深度聯(lián)合去馬賽克去噪方法將網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行數(shù)學(xué)建模，，輸入是Mosaic圖像 和噪聲級的估計(jì) ；輸出是具有RGB每像素三重態(tài)的相同大小的圖像 。我首先對Bayer 模式的Mosaic圖像輸入拼接的樣本進(jìn)行重新排列，得到一幅四分之一分辨率的多通道圖像，相當(dāng)于對圖像下采樣，降低了后續(xù)步驟的計(jì)算量,數(shù)學(xué)表示為第一層從 中提取2 × 2 塊，并將其打包為4通道特征映射，并以c作為位置索引。 0 ( , ) = (2 + ( 2), 2 + 2 ) (3-1)之后的卷積層具有相同的結(jié)構(gòu)，卷積核為 × ，并加之以RELU激活函數(shù)進(jìn)行非線性變換。 = (

(b)四種相位圖3.5 Mosaic圖像及相位排列為卷積方式提供新的思路。如圖3.5(b)所示，如果我們分別以R,G1,G2,B為中心進(jìn)行觀測可發(fā)現(xiàn)，這里僅以3 × 3鄰域進(jìn)行說明，R中心的鄰域內(nèi)有緊鄰的4 個(gè)G 通道像素點(diǎn)和4個(gè)B通道像素點(diǎn)，G1中心的鄰域內(nèi)有緊鄰的2個(gè)R通道像素點(diǎn)、2個(gè)B通道像素點(diǎn)和4個(gè)G通道像素點(diǎn)，G2中心的鄰域內(nèi)有緊鄰的2個(gè)R通道像素點(diǎn)、2個(gè)B通道像素點(diǎn)和4個(gè)G通道像素點(diǎn)，B中心的鄰域內(nèi)有緊鄰的4個(gè)G通道像素點(diǎn)和4個(gè)R通道像素點(diǎn)。因此，以各個(gè)色彩通道為中心的鄰域內(nèi)，排列各不相同，因此如果分別對四種不同相位排列進(jìn)行分別卷積
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.41;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;Ultrahigh thermoelectric performance in mosaic crystals[J];Science Foundation in China;2015年03期

2 ;Mosaic Maps of China in Different Seasons Based on Data from HJ-1A/1B Satellites[J];Aerospace China;2010年01期

3 ;Changes in Cell Ultrastructure in Maize Leaves Infected by Maize Dwarf Mosaic Virus[J];Agricultural Sciences in China;2003年10期

4 ;A Study of Oxalate-Induced Systemic Resistance of Muskmelon to Squash Mosaic Virus[J];Journal of Shanghai University;2000年02期

5 彭澄廉;Combining Gprof and Event-Driven Monitoring for Analyzing Distributed Programs:A Rough View of NCSA Mosaic[J];Journal of Computer Science and Technology;1996年04期

6 王樹力,李鳳山,李瑛;SMALL-DIAMETER KOREAN PINES AND THEIR ROLES INNATURAL KOREAN PINE FOREST[J];Journal of Northeast Forestry University;1996年03期

7 Carol Levin ,于長云;Internet的商業(yè)嘗試[J];個(gè)人電腦;1994年02期

8 ;The Method of Single Peak Fourier Analysis of Measuring the Size of Mosaic Block and Microstrain by X-ray Diffraction[J];Journal of Materials Science & Technology;2000年01期

9 丁一;Mosaic究竟是什么意思[J];知識就是力量;1998年09期

10 方夢陽;;方夢陽作品欣賞[J];數(shù)位時(shí)尚(新視覺藝術(shù));2012年06期

相關(guān)會(huì)議論文 前10條

1 Y.SHI;Y.J.SHI;Y.Z.WANG;Z.Y.WANG;H.L.LI;;Identification of Watermelon mosaic virus infecting sesame in China[A];中國植物病理學(xué)會(huì)2015年學(xué)術(shù)年會(huì)論文集[C];2015年

2 GUO Song;WONG Sek-Man;;Disruption of a Conserved Stem-loop Structure Located Upstream of Pseudoknot domain in Tobacco mosaic virus Enhances Viral RNAs Accumulation[A];中國植物病理學(xué)會(huì)2016年學(xué)術(shù)年會(huì)論文集[C];2016年

3 LI Yong-qiang;DENG Cong-liang;ZHOU Qi;;Characterization of a New Badnavirus from Wisteria sinensis[A];中國植物病理學(xué)會(huì)2016年學(xué)術(shù)年會(huì)論文集[C];2016年

4 舒國陽;代兵;朱嘉琦;高鴿;王楊;劉康;王強(qiáng);韓杰才;;Mosaic拼接襯底同質(zhì)外延生長大尺寸單晶金剛石工藝及性能表征[A];第十七屆全國晶體生長與材料學(xué)術(shù)會(huì)議摘要集[C];2015年

5 Peng Bin;Zhang Zhenwei;Wu Huijie;Gu Qinsheng;;Pumpkin:A New Natural Host of Papaya leaf distortion mosaic virus[A];中國植物病理學(xué)會(huì)2019年學(xué)術(shù)年會(huì)論文集[C];2019年

6 ;Crosslinking of the capsid protein and its effect on infectivity and stability of tobacco mosaic virus[A];第六屆全國化學(xué)生物學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

7 ;Rapid Detection of wheat yellow mosaic virus by Reverse Transcription Loop-mediated Isothermal Amplification[A];中國植物病理學(xué)會(huì)2011年學(xué)術(shù)年會(huì)論文集[C];2011年

8 王威;;星載Mosaic模式SAR系統(tǒng)關(guān)鍵參數(shù)設(shè)計(jì)[A];第二屆高分辨率對地觀測學(xué)術(shù)年會(huì)論文集[C];2013年

9 ;The Complete Genomic Sequence of Tobacco vein banding mosaic virus and Its Similarities with Other Potyviruses[A];中國植物病理學(xué)會(huì)2008年學(xué)術(shù)年會(huì)論文集[C];2008年

10 ;Cucumber Mosaic Virus Movement Protein Severs Actin Filaments to Increase Plasmodesmatal Permeability[A];2009中國植物學(xué)會(huì)植物細(xì)胞生物學(xué)學(xué)術(shù)年會(huì)論文摘要集[C];2009年

相關(guān)重要報(bào)紙文章 前10條

1 琪明;瀏覽器的變遷[N];計(jì)算機(jī)世界;2004年

2 記者 張四代;美盛預(yù)期2016年肥市向好[N];農(nóng)資導(dǎo)報(bào);2015年

3 廣發(fā)基金市場部;投資標(biāo)普農(nóng)業(yè)指數(shù) 分享美盛盛宴[N];證券時(shí)報(bào);2011年

4 本報(bào)記者 張孜異;Baugur末日[N];21世紀(jì)經(jīng)濟(jì)報(bào)道;2009年

5 本報(bào)記者 李豫川;長期投資機(jī)會(huì)再現(xiàn)[N];中國證券報(bào);2009年

6 張定坤;復(fù)合肥價(jià)格還要漲[N];江蘇農(nóng)業(yè)科技報(bào);2007年

7 林平樓;Flash制作馬賽克效果[N];中國電腦教育報(bào);2004年

8 張定坤;兩頭受擠，復(fù)合肥企業(yè)陷兩難[N];中國化工報(bào);2007年

9 ;Web歷史上的11個(gè)偉大瞬間[N];網(wǎng)絡(luò)世界;2007年

10 河南 EVAer;夢幻特效輕松做[N];電腦報(bào);2003年

相關(guān)博士學(xué)位論文 前1條

1 SYEDA AMBER KAZMI;[D];華中農(nóng)業(yè)大學(xué);2015年

相關(guān)碩士學(xué)位論文 前9條

1 張楷偉;基于深度學(xué)習(xí)的Mosaic圖像復(fù)原和識別方法研究[D];西安電子科技大學(xué);2019年

2 李佳昕;表達(dá)H5亞型禽流感病毒Mosaic HA蛋白重組火雞皰疹病毒的構(gòu)建與免疫效力的測定[D];揚(yáng)州大學(xué);2018年

3 楊寅;MOSAIC瓣膜置換術(shù)后早期臨床療效和生存質(zhì)量評估[D];天津醫(yī)科大學(xué);2012年

4 舒國陽;Mosaic拼接法高質(zhì)量大尺寸單晶金剛石生長研究[D];哈爾濱工業(yè)大學(xué);2016年

5 田彥超;PERIMOUNT瓣膜與MOSAIC瓣膜在瓣膜置換術(shù)后早期臨床療效比較研究[D];天津醫(yī)科大學(xué);2016年

6 趙寶英;小氣道病變時(shí)肺HRCT Mosaic attenuation與肺通氣功能的相關(guān)性研究[D];中國醫(yī)科大學(xué);2003年

7 李瑋;一株海洋真菌的鑒定及其次級代謝產(chǎn)物的研究[D];福建農(nóng)林大學(xué);2009年

8 孫瑩;不確定性和元小說：《馬賽克人》的后現(xiàn)代主義特點(diǎn)研究[D];江西師范大學(xué);2011年

9 夏玉璽;基于圖像Mosaics技術(shù)的ROV導(dǎo)航研究[D];哈爾濱工程大學(xué);2008年

本文編號：2656997