【摘要】：圖像有序性估計(jì)是計(jì)算機(jī)視覺中一個(gè)非常經(jīng)典和有挑戰(zhàn)性的問題,通常被定義成一個(gè)分類或者回歸的任務(wù)。圖像有序性數(shù)據(jù)集與普通圖像分類數(shù)據(jù)集最大的區(qū)別是圖像間存在著有序性關(guān)系,在計(jì)算機(jī)視覺領(lǐng)域有著非常廣泛的應(yīng)用,比如年齡估計(jì)、美學(xué)估計(jì)、顏值打分、圖像質(zhì)量評(píng)估等。有序性估計(jì)問題的標(biāo)簽可以是連續(xù)的或者離散的。近幾年隨著深度學(xué)習(xí)的廣泛應(yīng)用,該問題會(huì)呈現(xiàn)什么樣的特點(diǎn)、與傳統(tǒng)的方法有哪些不同、在哪些應(yīng)用場(chǎng)景會(huì)得到進(jìn)一步的發(fā)展?本論文將圍繞這幾個(gè)問題展開研究,具體研究內(nèi)容主要分為以下五點(diǎn):1.基于CNN的圖像有序性估計(jì)近幾年,隨著深度學(xué)習(xí)的火熱發(fā)展,許多應(yīng)用問題將CNN模型看成一個(gè)應(yīng)用工具,輸入圖片即可輸出結(jié)果。基于深度學(xué)習(xí)的圖像有序性估計(jì)問題也有類似的現(xiàn)象。本文針對(duì)兩個(gè)問題:為什么CNN能在該問題上有較好的效果、如何讓CNN在有序性問題上發(fā)揮更好的作用,在深度學(xué)習(xí)背景下重新思考圖像的有序性估計(jì),特別是針對(duì)有序性關(guān)系,提出了兩種CNN模型。首先,提出了一種雙任務(wù)的估計(jì)模型DTCNN(Double-task CNN model),一方面考慮有序性圖像的類別屬性,另一方面考慮其有序性關(guān)系。在該模型的基礎(chǔ)上,本部分從三個(gè)方面進(jìn)一步分析了DTCNN模型能起作用的原因:一是雙任務(wù)間的關(guān)系;二是雙任務(wù)中粗細(xì)化類別等級(jí);三是雙任務(wù)上的神經(jīng)元激活情況。為了避免通過人為經(jīng)驗(yàn)或者大量實(shí)驗(yàn)以選擇合適的平衡因子,本文進(jìn)一步提出了Risk-CNN模型,將有序性關(guān)系嵌入到分類任務(wù)中�；谪惾~斯風(fēng)險(xiǎn)規(guī)則,使用動(dòng)態(tài)加權(quán)損失函數(shù)將類別信息和有序性信息進(jìn)行融合。在兩個(gè)不同的有序性數(shù)據(jù)集上,實(shí)驗(yàn)結(jié)果顯示DTCNN和Risk-CNN都獲得了非常有競(jìng)爭(zhēng)力的性能。2.基于網(wǎng)格丟棄的圖像有序性分類與理解圖像有序性分類通常是給一張圖片以有序性的離散標(biāo)簽。在實(shí)際的應(yīng)用中,有序性的標(biāo)簽比較難獲得,所以一般的有序性數(shù)據(jù)集都不夠大,從而導(dǎo)致深度學(xué)習(xí)算法容易出現(xiàn)過擬合的問題。為了解決這個(gè)問題,許多的數(shù)據(jù)增強(qiáng)方法和神經(jīng)元丟棄方法被提出,但是過擬合問題仍然十分嚴(yán)重。本文針對(duì)以上問題提出了一種網(wǎng)格丟棄的方法,隨機(jī)地丟棄圖片中的一些網(wǎng)格,以丟棄的圖片作為訓(xùn)練樣本。在學(xué)習(xí)過程中,將丟棄的網(wǎng)格位置也作為一種有監(jiān)督的信息進(jìn)行訓(xùn)練。最后,通過可視化類別激活圖(CAM)來驗(yàn)證該方法的有效性,并發(fā)現(xiàn)網(wǎng)格丟棄的方法在模型學(xué)習(xí)過程中更多地關(guān)注在整個(gè)人臉區(qū)域。對(duì)于小數(shù)據(jù)集來說,網(wǎng)格丟棄的方法比神經(jīng)元丟棄的方法更加有效,兩者結(jié)合使用能達(dá)到最好的性能。在實(shí)驗(yàn)中,年齡估計(jì)的數(shù)據(jù)集Adience來驗(yàn)證了提出的方法的有效性。3.基于網(wǎng)格丟棄的多視角學(xué)習(xí)除了提出網(wǎng)格丟棄方法外,本文進(jìn)一步發(fā)展了多視角的學(xué)習(xí)系統(tǒng)以提高模型的識(shí)別性能。一方面,提出了一個(gè)基于多視角最大池化(MVMP)的分類方法,其中每一張圖片都以網(wǎng)格化的形式被隨機(jī)地遮擋,以此產(chǎn)生多個(gè)視角的圖片。另一方面,為了充分考慮有序性的關(guān)系,提出了一個(gè)基于多視角的最大池化的分類任務(wù)和基于平均池化的回歸任務(wù)(MVMPAP),其中回歸的任務(wù)有利于分類的任務(wù)。對(duì)比其他主流方法在Adience數(shù)據(jù)集上的結(jié)果,本文提出的兩種方法獲得了當(dāng)前最好的性能。4.有序性視覺美學(xué)識(shí)別和理解視覺美學(xué)識(shí)別和理解是圖像有序性估計(jì)的一個(gè)重要的應(yīng)用問題。近幾年,相比傳統(tǒng)的使用手工特征和淺層分類器的方法,圖像美學(xué)評(píng)估使用深度學(xué)習(xí)獲得了非常好的性能。與識(shí)別問題類似,美學(xué)估計(jì)將圖片按照美學(xué)屬性劃分成不同的等級(jí)。然而,受限于對(duì)美學(xué)的認(rèn)知,目前還沒有深入地理解為什么圖片會(huì)呈現(xiàn)不同的美感,特別地,到底是圖片的哪一部分有美感,美感的程度如何?事實(shí)上,大多數(shù)傳統(tǒng)的方法都采用手工的特征來理解圖片的美學(xué)和預(yù)測(cè)圖片的目標(biāo)/內(nèi)容信息,但是在深度學(xué)習(xí)中,關(guān)于這一方面的研究較少。另外,美學(xué)估計(jì)是一個(gè)非常主觀的評(píng)定,有時(shí)候很難給出一個(gè)非常明確的標(biāo)簽。這使得美學(xué)評(píng)估極容易導(dǎo)致不平衡的樣本分布。為了處理這些問題,本文設(shè)計(jì)了一個(gè)端到端的CNN模型來同時(shí)執(zhí)行圖像美學(xué)分類和理解。為了應(yīng)對(duì)不平衡的樣本,提出了一種樣本加權(quán)的分類方法,對(duì)重要程度不同的樣本賦予不同的權(quán)值。事實(shí)上,將一些模棱兩可的邊界樣本剔除也是一種特殊的樣本加權(quán)分類方法。為了進(jìn)一步理解深度CNN網(wǎng)絡(luò)學(xué)到了什么,本部分在最后一個(gè)特征層上使用全局性的平均池化(GAP),以生成美學(xué)激活圖(Aes AM)和屬性激活圖(Att AM)。美學(xué)激活圖和屬性激活圖分別代表美學(xué)等級(jí)和美學(xué)屬性在空間位置上的激活表現(xiàn),特別地,Aes AM和Att AM主要考慮在深度學(xué)習(xí)模型中學(xué)到了什么。本部分采用公開的最大美學(xué)數(shù)據(jù)集AVA進(jìn)行實(shí)驗(yàn),并且獲得了最好的性能。得益于Att AM,美學(xué)等級(jí)在內(nèi)容上更有可解釋性。最后,給出了一個(gè)簡單的基于Aes AM的圖像切割的應(yīng)用。5.緊致的年齡估計(jì)模型年齡估計(jì)是圖像有序性估計(jì)的一個(gè)重要應(yīng)用。大量的研究比如Alex Net、Vgg Net、Goog Le Net、Res Net、Res Ne Xt、SENet等都側(cè)重于在不同的數(shù)據(jù)集上提升性能,使得模型層數(shù)很深、參數(shù)量很多、計(jì)算量很大。然而,這些模型在實(shí)際應(yīng)用中需要的存儲(chǔ)和計(jì)算量太大,特別是對(duì)于一些嵌入式或者移動(dòng)設(shè)備,難以滿足實(shí)際需求。最近,Mobile Nets V1-V2系列和Shuffle Nets V1-V2系列相繼被提出,用于減少模型的參數(shù)量、計(jì)算量和存儲(chǔ)量,被稱為輕量級(jí)的模型。但是這些系列工作對(duì)模型的性能有一些影響,往往只能在特定的數(shù)據(jù)上獲得較好的效果,性能不夠穩(wěn)定。這主要是因?yàn)槭褂昧丝煞蛛x性卷積(Depth-wise separable convolution),打斷了卷積操作中不同通道間的關(guān)聯(lián)性,最終影響模型特征提取的能力。在本文中,針對(duì)小尺度圖片和年齡估計(jì)問題,開展緊致性模型的設(shè)計(jì)工作。當(dāng)給定一個(gè)數(shù)據(jù)集,如何設(shè)計(jì)一個(gè)實(shí)用的模型,使得該模型性能好、參數(shù)量和計(jì)算量少,剛好能適合該數(shù)據(jù)集,既不浪費(fèi)參數(shù)也能獲得較好的預(yù)測(cè)性能(既不過擬合也不欠擬合)。本章提出了一個(gè)緊致、高效、級(jí)聯(lián)、基于周圍環(huán)境的年齡估計(jì)模型C3AE。對(duì)比Mobile Nets/Shuffle Nets和Vgg Net系列工作,該模型分布僅需要約1/9和1/2000的參數(shù)量,但是能獲得極有競(jìng)爭(zhēng)力的結(jié)果。特別地,本部分將年齡估計(jì)問題進(jìn)行了重新建模,提出了一種新的兩點(diǎn)表示方法。通過該方法,能夠得到一個(gè)只含兩個(gè)非零元素的一維向量,并采用級(jí)聯(lián)(Cascade)的方式將其嵌入到年齡估計(jì)網(wǎng)絡(luò)中。另外,為了充分利用人臉周圍的環(huán)境信息,提出了多支CNN網(wǎng)絡(luò),以更好地聚合多尺度的環(huán)境信息。在實(shí)驗(yàn)中,主要在三個(gè)不同的數(shù)據(jù)集WIKI-IMDB、MORPH II、FG-Net進(jìn)行了測(cè)試,本文提出的方法獲得了非常有競(jìng)爭(zhēng)力的結(jié)果。
【圖文】：

圖 5-1 AVA 數(shù)據(jù)集中高等級(jí)美學(xué)和低等級(jí)美學(xué)圖像的比較。，比如情感的、抽象的、歷史的、幽默的、政治性的、科技的等。根據(jù)之前的工作[71,100]，除非對(duì)這些屬性類別進(jìn)行重新梳理，，屬性信息對(duì) AVA 數(shù)據(jù)集中學(xué)評(píng)定幾乎不起作用。因此，屬性類別沒有必要與美學(xué)預(yù)測(cè)進(jìn)行聯(lián)合訓(xùn)練，分開學(xué)習(xí)�；谝陨线@些原因，在本章中，主要考慮圖像美學(xué)二分類問題和美學(xué)理解。設(shè)計(jì)了兩個(gè)模塊同時(shí)對(duì)視覺美學(xué)/屬性進(jìn)行預(yù)測(cè)，并在測(cè)試中生成類別激活圖 5-3所示。另外，為了處理美學(xué)分值分布不均勻的問題，提出了基于樣本的函數(shù)來對(duì)每個(gè)樣本給予不同的權(quán)重。特別地，模棱兩可的樣本給予比較少的，而比較明確的樣本則給予較大的權(quán)重。事實(shí)上，這種做法與支持向量機(jī)的是有背離的。最大的區(qū)別是支持向量機(jī)有一個(gè)重要的前提，樣本的標(biāo)簽是確。但是本章要解決的問題中有些樣本的標(biāo)簽是不確定和主觀的。本章的主要工作是得到一個(gè)性能優(yōu)異的美學(xué)等級(jí)分類器并理解等級(jí)分類器何學(xué)習(xí)的。具體的方法見流程圖 5-3。本章的主要貢獻(xiàn)如下，
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 林鐘杰;;錄像帶的故障及其處理[J];外語電化教學(xué);1988年01期

2 吳大元,諸葛向彬,陳守川;激光大屏幕顯示中振鏡掃描圖像失真的研究[J];中國激光;1989年08期

3 張浩楠;薛儉雷;殷玉瑩;彭玲;;光學(xué)相干層析成像的圖像失真及處理技術(shù)研究[J];齊齊哈爾醫(yī)學(xué)院學(xué)報(bào);2014年12期

4 饒雪云;劉宇為;;基于預(yù)測(cè)誤差的加密圖像可逆信息隱藏算法仿真與軟件設(shè)計(jì)[J];電子世界;2019年15期

5 郭美欽;江健民;;人臉圖像風(fēng)格遷移的改進(jìn)算法[J];深圳大學(xué)學(xué)報(bào)(理工版);2019年03期

6 常穎;賈懿虎;;基于圖像解壓縮的增強(qiáng)算法研究[J];通訊世界;2019年05期

7 程欣宇;;室外視頻監(jiān)控中霧塵圖像自動(dòng)增強(qiáng)方法仿真[J];計(jì)算機(jī)仿真;2018年10期

8 邊科迪;毛倩;;基于四方向搜索的自適應(yīng)可逆秘密圖像共享[J];數(shù)據(jù)通信;2017年06期

9 劉玉濤;趙德斌;;失焦圖像的無參考質(zhì)量評(píng)價(jià)[J];智能計(jì)算機(jī)與應(yīng)用;2018年05期

10 龔曉婷;段錦;黃冠婷;韓學(xué)輝;王堯;;基于改進(jìn)大氣散射模型的圖像去霧算法研究[J];長春理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2019年03期

相關(guān)會(huì)議論文 前4條

1 周軍;;基于靜電聚焦像增強(qiáng)器放射圖像失真的校正[A];2009年浙江省醫(yī)學(xué)工程學(xué)術(shù)年會(huì)論文匯編[C];2009年

2 胡倩;盛玉霞;柴利;;超分辨率重建圖像部分參考質(zhì)量評(píng)價(jià)方法[A];2018中國自動(dòng)化大會(huì)(CAC2018)論文集[C];2018年

3 王耀政;;DSA操作方法減小圖像失真在冠脈造影的應(yīng)用[A];中國中西醫(yī)結(jié)合學(xué)會(huì)醫(yī)學(xué)影像專業(yè)委員會(huì)第十七次全國學(xué)術(shù)大會(huì)暨甘肅省中西醫(yī)結(jié)合學(xué)會(huì)醫(yī)學(xué)影像專業(yè)委員會(huì)第六屆學(xué)術(shù)年會(huì)資料匯編[C];2019年

4 陳文革;汪維力;;基于印刷防偽的數(shù)字水印技術(shù)的應(yīng)用[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年

相關(guān)重要報(bào)紙文章 前2條

1 趙路　譯;明亮的燈光 富裕的城市[N];科學(xué)時(shí)報(bào);2011年

2 宣慶慶;請(qǐng)關(guān)愛您的電腦[N];中國石化報(bào);2003年

相關(guān)博士學(xué)位論文 前7條

1 章超;基于深度學(xué)習(xí)的圖像有序性估計(jì)研究[D];電子科技大學(xué);2019年

2 章登勇;語義對(duì)象級(jí)圖像篡改被動(dòng)取證技術(shù)研究[D];湖南大學(xué);2018年

3 梁健;全偏振成像相機(jī)及偏振去霧技術(shù)研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院西安光學(xué)精密機(jī)械研究所);2017年

4 劉操;面向交通卡口圖像的駕駛員違章行為視覺感知研究[D];武漢大學(xué);2016年

5 李智;圖像數(shù)據(jù)中的隱藏信息檢測(cè)技術(shù)研究[D];四川大學(xué);2004年

6 董天禎;面向空間多視點(diǎn)圖像的三維場(chǎng)景渲染與重建技術(shù)研究[D];哈爾濱工程大學(xué);2014年

7 張翔;活細(xì)胞中運(yùn)動(dòng)囊泡的識(shí)別和追蹤算法及單分子熒光能量共振轉(zhuǎn)移技術(shù)方法的研究[D];華中科技大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 杜人鋼;基于統(tǒng)計(jì)特征的無參考圖像質(zhì)量評(píng)價(jià)模型研究[D];江西財(cái)經(jīng)大學(xué);2019年

2 諶喬波;基于生成對(duì)抗網(wǎng)絡(luò)的單張圖像去雨技術(shù)研究[D];上海交通大學(xué);2018年

3 蔣宏建;基于移動(dòng)端輕量級(jí)深度學(xué)習(xí)圖像去霧算法的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2019年

4 趙長明;面向802.11p并發(fā)傳輸?shù)膱D像分層編碼算法與實(shí)現(xiàn)[D];大連理工大學(xué);2018年

5 張勤;基于GPU的Directionlet域SAR圖像相干斑噪聲抑制并行算法研究[D];安徽大學(xué);2019年

6 金于君;圖像去霧算法研究[D];深圳大學(xué);2018年

7 徐博;低照度圖像的增強(qiáng)算法研究[D];哈爾濱理工大學(xué);2019年

8 楊瑛;視頻監(jiān)控圖像的質(zhì)量評(píng)估方法研究[D];華東師范大學(xué);2019年

9 滿美麟;基于區(qū)域霧濃度的自適應(yīng)調(diào)參圖像去霧方法研究[D];山東大學(xué);2019年

10 王曉雨;圖像可逆信息隱藏誤差預(yù)測(cè)關(guān)鍵技術(shù)研究[D];齊魯工業(yè)大學(xué);2019年

本文編號(hào)：2667944