【摘要】：美是人類感知、認(rèn)知和情感相互作用的結(jié)果。在計(jì)算機(jī)領(lǐng)域,圖像美學(xué)質(zhì)量評(píng)估的目的是讓計(jì)算機(jī)能夠模擬人類的審美系統(tǒng),自動(dòng)對(duì)圖像的美感進(jìn)行判別。研究人員通常將其轉(zhuǎn)化為一個(gè)機(jī)器學(xué)習(xí)問(wèn)題,即讓模型在人類標(biāo)注的數(shù)據(jù)上進(jìn)行訓(xùn)練,學(xué)習(xí)如何預(yù)測(cè)圖像的美學(xué)等級(jí)。而學(xué)習(xí)到的模型能在很多勞動(dòng)力密集的主觀任務(wù)中發(fā)揮作用,如智能照片編輯、圖像推薦或搜索、海報(bào)橫幅生成,其應(yīng)用前景十分廣泛。目前,基于大規(guī)模數(shù)據(jù)訓(xùn)練的深度卷積模型在可計(jì)算美學(xué)評(píng)估中被廣泛使用,但是仍然存在兩個(gè)難題:包括如何處理CNN的識(shí)別機(jī)制與人類審美感知識(shí)別機(jī)制之間的差異性,以及如何從大量數(shù)據(jù)中學(xué)習(xí)到更好的美學(xué)規(guī)則。本文主要通過(guò)研究將人類視覺(jué)感知和數(shù)據(jù)緊湊表達(dá)的知識(shí)應(yīng)用于基于深度卷積網(wǎng)絡(luò)的美學(xué)質(zhì)量評(píng)估任務(wù),以提升美學(xué)評(píng)估模型的性能,主要工作如下:1)提出了一種基于視覺(jué)感知的雙層神經(jīng)網(wǎng)絡(luò)(Visual Perception Network),用于啟發(fā)性地學(xué)習(xí)圖像中與視覺(jué)感知相關(guān)的特征。該網(wǎng)絡(luò)包含兩個(gè)子網(wǎng)絡(luò),感興趣區(qū)域子網(wǎng)絡(luò)和多尺度信息子網(wǎng)絡(luò),分別用于學(xué)習(xí)圖像中的感興趣區(qū)域特征和多層次細(xì)粒度特征。另外,為了學(xué)習(xí)到圖像中的感興趣區(qū)域,我們還提出一種新穎的感興趣區(qū)域搜索算法,用于搜索出圖像中吸引力強(qiáng)的局部區(qū)域。實(shí)驗(yàn)結(jié)果表明,該算法能夠有效地融合圖像中不同層次的信息,獲得較好的效果。2)設(shè)計(jì)了一種基于數(shù)據(jù)緊湊表達(dá)的訓(xùn)練策略。該策略關(guān)注于美學(xué)數(shù)據(jù)的有效利用問(wèn)題,分階段利用聚合程度不同的圖像,學(xué)習(xí)簡(jiǎn)單到復(fù)雜的美學(xué)規(guī)則。該策略先計(jì)算數(shù)據(jù)集中圖像的局部密度和距離,將數(shù)據(jù)集分為三個(gè)聚合程度不同的子集,緊湊的、稀疏的、高度稀疏的。接著從緊湊的數(shù)據(jù)開(kāi)始訓(xùn)練,逐步加入稀疏的數(shù)據(jù),以一種從緊湊到稀疏(Compact-to-Sparse)的方式逐步訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,這種學(xué)習(xí)方式不僅能夠有效地提高模型的泛化性能,而且可以學(xué)習(xí)到數(shù)據(jù)集中樣本的聚合程度。本文設(shè)計(jì)的算法是在深度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,結(jié)合人類視覺(jué)感知的知識(shí),從網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)、訓(xùn)練策略三方面對(duì)CNN進(jìn)行改進(jìn)。實(shí)驗(yàn)結(jié)果表明,在大規(guī)模美學(xué)數(shù)據(jù)集AVA上,我們的算法能達(dá)到較為領(lǐng)先的水平。
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41
【圖文】：

可計(jì)算美學(xué)評(píng)估的整體框架如圖所示，該框架包含四個(gè)基本要素，分別是輸入處理、美學(xué)特征提取、決策判別和輸出量化美學(xué)等級(jí)或美學(xué)分?jǐn)?shù)。美學(xué)質(zhì)量評(píng)估從一般機(jī)器學(xué)習(xí)算法流程，分為訓(xùn)練和推理兩個(gè)階段，是一種基于學(xué)習(xí)的算法。為了得到性能優(yōu)越的美學(xué)模型，美學(xué)特征設(shè)計(jì)是其中最關(guān)鍵的環(huán)節(jié)，無(wú)論在手階段還是通用特征階段，抽象的接近人類感知的高級(jí)特征的表現(xiàn)，都優(yōu)于底層的覺(jué)特征。另外，美學(xué)問(wèn)題雖然有其特殊性，但是美學(xué)模型的獲取仍然是建立機(jī)器法基礎(chǔ)上的，因而也會(huì)面臨機(jī)器學(xué)習(xí)算法的一些常見(jiàn)問(wèn)題，如過(guò)擬合和優(yōu)化困難決這些問(wèn)題也能夠獲得模型性能的提升。

像美學(xué)分?jǐn)?shù)的相對(duì)客觀性。 內(nèi)容多樣性豐富：數(shù)據(jù)集中圖片包括各類動(dòng)植物、自然景觀、人文景觀和數(shù)字圖像。圖2-2中展示了 AVA 數(shù)據(jù)集中的部分圖片。(a) (b)圖 2-2 圖 (a) 低美感圖像顏色混亂，構(gòu)圖不規(guī)整，主體不顯著，圖 (b) 高美感圖片通常遵循色彩平衡、高景深、主體突出。圖 123 行：顏色、構(gòu)圖、主體。2.2.3 評(píng)估指標(biāo)如 1.2 節(jié)中所述，不同的文獻(xiàn)中使用不同的美學(xué)量化指標(biāo)來(lái)評(píng)價(jià)模型的性能，這主要取決于算法的應(yīng)用場(chǎng)景，常用的評(píng)估指標(biāo)有以下幾個(gè)：(1) 分類準(zhǔn)確度指標(biāo)[1,15,16,26,27](2)回歸精度指標(biāo)[26

涉及到誤差的反向傳播算法。在反向傳播時(shí)，網(wǎng)絡(luò)中的每一層都接受后一層返回的梯度張量輸入，并通過(guò)計(jì)算產(chǎn)生本層的梯度張量輸出，直至輸入層。在訓(xùn)練結(jié)束后，網(wǎng)絡(luò)中的參數(shù)已經(jīng)固定了，可以得到一個(gè)可用于美學(xué)量化評(píng)估的模型。圖2-3展示了一個(gè)完整的 CNN 結(jié)構(gòu)。圖 2-3 一個(gè)典型的 CNN 結(jié)構(gòu)。該結(jié)構(gòu)前半部分為特征提取器，后半部分為分類器，網(wǎng)絡(luò)的輸出結(jié)果為預(yù)測(cè)輸入圖像屬于的各類別概率。2.3.2 CNN 的特征提取單元CNN 的特征提取工作主要是依靠卷積層、池化層和激活層共同完成的。其中卷積層是 CNN 中的核心組件，大部分的計(jì)算量來(lái)源于卷積層，在 CNN 中擔(dān)任著特征提取14

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 賈麗娟;;關(guān)于圖像分辨率的教學(xué)思考[J];印刷世界;2011年05期

2 丁曉蓮;周激流;李曉華;吳朋;;人臉識(shí)別率與圖像分辨率關(guān)系的比較分析[J];計(jì)算機(jī)工程;2009年11期

3 張秀屏，劉錫國(guó)，叢玉良;提高彩電圖像分辨率的研討[J];光學(xué)精密工程;1994年02期

4 衛(wèi)紅;為DVD機(jī)配哪種彩電[J];家庭科技;2000年07期

5 卜麗靜;張銘娟;陳方惠;許崢輝;趙曉宇;;利用地面靶標(biāo)的超分辨率重建圖像分辨率評(píng)價(jià)[J];測(cè)繪科學(xué);2019年12期

6 ;斯波特5衛(wèi)星商業(yè)圖像分辨率將達(dá)2.5m[J];國(guó)際太空;1997年05期

7 宋其華;郭根生;;解析計(jì)算機(jī)圖像分辨率[J];中國(guó)電化教育;2003年11期

8 谷梗;;數(shù)字圖像分辨率定義與其計(jì)量方法——對(duì)“數(shù)字電影技術(shù)術(shù)語(yǔ)普及讀本”有關(guān)條目的商榷意見(jiàn)[J];現(xiàn)代電影技術(shù);2013年07期

9 ;教你詳細(xì)了解各種分辨率[J];計(jì)算機(jī)與網(wǎng)絡(luò);2011年24期

10 謝美華;王正明;;圖像分辨率增強(qiáng)的偏微分方程方法[J];遙感學(xué)報(bào);2005年06期

相關(guān)會(huì)議論文 前10條

1 楊德強(qiáng);蘇光大;徐天偉;;一種基于幻想臉的人臉圖像分辨率提升新技術(shù)[A];第二十七屆中國(guó)控制會(huì)議論文集[C];2008年

2 翟廣濤;;基于二進(jìn)小波變換的圖像分辨率增強(qiáng)算法[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（下冊(cè)）[C];2003年

3 任曉暉;龔勇清;;體全息存儲(chǔ)再現(xiàn)圖像分辨率實(shí)驗(yàn)研究[A];第十一屆全國(guó)光學(xué)測(cè)試學(xué)術(shù)討論會(huì)論文（摘要集）[C];2006年

4 陳樂(lè);強(qiáng)天鵬;章有為;;小徑管CR射線檢測(cè)圖像分辨率研究[A];2017遠(yuǎn)東無(wú)損檢測(cè)新技術(shù)論壇論文集[C];2017年

5 趙源萌;鄧朝;張馨;張存林;;被動(dòng)式人體太赫茲安檢成像的分辨率增強(qiáng)算法研究[A];中國(guó)光學(xué)學(xué)會(huì)2011年學(xué)術(shù)大會(huì)摘要集[C];2011年

6 張?jiān)骆?仇曉蘭;丁赤飚;雷斌;付琨;;高分辨率SAR圖像橋梁目標(biāo)仿真與特性分析[A];第三屆高分辨率對(duì)地觀測(cè)學(xué)術(shù)年會(huì)（地面系統(tǒng)與應(yīng)用技術(shù)分會(huì)）優(yōu)秀論文集[C];2014年

7 張龍;張翔;孟新秀;;基于圖像的艦船目標(biāo)識(shí)別技術(shù)研究[A];2019年全國(guó)公共安全通信學(xué)術(shù)研討會(huì)優(yōu)秀論文集[C];2019年

8 鄭虹;曾坤;郭迪;應(yīng)佳熙;楊鈺;彭璽;陳忠;屈小波;;基于梯度引導(dǎo)的邊緣增強(qiáng)多對(duì)比度腦部MRI圖像超分辨[A];2018第二十屆全國(guó)波譜學(xué)學(xué)術(shù)年會(huì)會(huì)議論文摘要集[C];2018年

9 吳明曉;張晶;;基于深度學(xué)習(xí)的頸動(dòng)脈超聲圖像斑塊識(shí)別方法[A];中國(guó)醫(yī)學(xué)裝備大會(huì)暨2019醫(yī)學(xué)裝備展覽會(huì)論文匯編[C];2019年

10 蔡世學(xué);;最新研制的一種小型空載圖象雷達(dá)成果[A];第十三屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2001年

相關(guān)重要報(bào)紙文章 前10條

1 記者 劉霞;迄今最詳細(xì)人腦圖像“出爐”[N];科技日?qǐng)?bào);2019年

2 記者 劉海英;商用打印機(jī)印制出隱形圖像[N];科技日?qǐng)?bào);2016年

3 尹長(zhǎng)城 北京大學(xué)醫(yī)學(xué)部生物物理學(xué)系教授 分析中心電鏡室主任 中國(guó)生物物理學(xué)會(huì)冷凍電鏡分會(huì)副理事長(zhǎng) 中國(guó)電子顯微學(xué)會(huì)低溫電鏡專業(yè)委員會(huì)主任;獲諾獎(jiǎng)的冷凍電鏡是何方“神器”？[N];北京科技報(bào);2017年

4 劉筱霞;陳永常;PHOTOSHOP中圖像分辨率的設(shè)置[N];中國(guó)包裝報(bào);2002年

5 WLF;細(xì)說(shuō)分辨率[N];電腦報(bào);2003年

6 記者 曾遺榮邋通訊員 冷承秋 實(shí)習(xí)生 向哲林;美國(guó)一高科技公司將落戶武漢[N];湖北日?qǐng)?bào);2007年

7 金鳳;無(wú)需眼鏡就能看 能聽(tīng)還能“摸”的3D影像來(lái)了[N];科技日?qǐng)?bào);2019年

8 燕蘭;先科電子：為品牌DVD正名[N];中國(guó)經(jīng)營(yíng)報(bào);2000年

9 宋連黨;家庭VCD像冊(cè)大制作[N];中國(guó)電腦教育報(bào);2003年

10 ;第四代超級(jí)CCD的實(shí)力[N];計(jì)算機(jī)世界;2004年

相關(guān)博士學(xué)位論文 前10條

1 樊春玲;數(shù)據(jù)驅(qū)動(dòng)的圖像感知和質(zhì)量評(píng)價(jià)方法[D];中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院);2019年

2 卞春江;光學(xué)遙感圖像有效區(qū)域在軌實(shí)時(shí)檢測(cè)與壓縮技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2018年

3 牛仁杰;星載ATP圖像處理平臺(tái)關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院光電技術(shù)研究所);2018年

4 穆楠;夜間場(chǎng)景下顯著目標(biāo)檢測(cè)方法研究[D];武漢科技大學(xué);2019年

5 張士杰;超像素級(jí)圖像組協(xié)同關(guān)聯(lián)性分析與研究[D];天津大學(xué);2017年

6 王文勝;寬幅光學(xué)遙感圖像艦船飛機(jī)目標(biāo)檢測(cè)識(shí)別技術(shù)研究[D];中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所);2018年

7 孫琨;圖像匹配與場(chǎng)景三維重建方法研究[D];華中科技大學(xué);2017年

8 霍麗娜;基于視覺(jué)感知與注意機(jī)制的圖像顯著目標(biāo)檢測(cè)[D];西安電子科技大學(xué);2016年

9 王體春;基于保真性準(zhǔn)則的圖像智能增強(qiáng)和圖像質(zhì)量評(píng)價(jià)的理論和方法[D];重慶醫(yī)科大學(xué);2018年

10 湯楊;基于圖像繪制的Image Warping理論與方法研究[D];南京理工大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 秦靖翔;星載SAR圖像艦船檢測(cè)算法研究[D];電子科技大學(xué);2019年

2 韋永來(lái);基于攝像機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的行人再識(shí)別研究[D];合肥工業(yè)大學(xué);2019年

3 張明蕊;SAR圖像數(shù)據(jù)分集與擴(kuò)容方法研究[D];電子科技大學(xué);2019年

4 辛佳佳;基于DSP的同時(shí)偏振圖像去霧系統(tǒng)設(shè)計(jì)[D];長(zhǎng)春理工大學(xué);2019年

5 閆峰;基于優(yōu)化極限學(xué)習(xí)機(jī)算法對(duì)焊點(diǎn)的質(zhì)量識(shí)別[D];云南大學(xué);2018年

6 林思哲;基于自底向上的視覺(jué)顯著性檢測(cè)模型研究[D];電子科技大學(xué);2019年

7 張大偉;基于GAN的人臉圖像補(bǔ)全算法研究[D];長(zhǎng)安大學(xué);2019年

8 唐義Z

本文編號(hào)：2782988