【摘要】：深度卷積神經(jīng)網(wǎng)絡(DCNN)難以針對性地分析圖像的特定區(qū)域及其相互關系.文中將深度特征與人工設計的特征進行互補結合,提出對圖像美學質(zhì)量評分的方法.首先確定并抽取對美感起主導作用的特定區(qū)域,針對該區(qū)域及其與其它區(qū)域的關系,選擇和設計5組美學相關的人工特征,特別是提出線條角度特征和清晰度對比特征.基于Siamese網(wǎng)絡結構獲取深度特征.選用支持向量回歸(SVR)對上述兩類特征進行回歸預測,并設計基于spearman秩相關系數(shù)的權值調(diào)節(jié)最終的分數(shù).實驗表明,文中方法效果較優(yōu),與圖像美學質(zhì)量的主觀評價具有較好的一致性.
【圖文】：

構的圖像美學排名網(wǎng)絡(PhotoAestheticsＲankingNetwork，PAＲN)，不僅考慮圖像的類別和風格屬性，還考慮圖像對之間美學質(zhì)量的相對排名．相比現(xiàn)有其它圖像美學質(zhì)量評估網(wǎng)絡，結構更簡單，目前效果更優(yōu)．因此，本文采用PAＲN網(wǎng)絡獲取圖像的深度特征．AlexNet網(wǎng)絡結構［13］是目前圖像分類任務模型中較簡潔的一種網(wǎng)絡結構，研究表明［2，8］，該網(wǎng)絡在圖像美學質(zhì)量評估領域取得良好效果，因此Kong等［12］將已在ImageNet數(shù)據(jù)庫上訓練好的AlexNet網(wǎng)絡作為后續(xù)任務的基礎．AlexNet網(wǎng)絡的結構圖如圖1所示．圖1AlexNet網(wǎng)絡結構Fig．1StructureofAlexNet為了提高模型性能，PAＲN網(wǎng)絡不僅考慮圖像的風格和類別屬性，還考慮圖像對之間的美學質(zhì)量排名．因此，PAＲN網(wǎng)絡在AlexNet網(wǎng)絡結構的基礎上進行適應性的擴展．AlexNet網(wǎng)絡輸出是分類標簽值，為滿足圖像美學質(zhì)量排名的需求，將AlexNet網(wǎng)絡中softmax層的損失函數(shù)使用歐氏距離代替，記作lossreg:lossreg=12N∑Ni=1^yi－yi22，(1)其中，N表示訓練集圖片數(shù)量，，yi表示第i幅圖像的真實評分，^yi表示模型的輸出評分．當2幅圖像的美學質(zhì)量分數(shù)相近時，極小化式(1)可能會造成結果相對排名錯序．而在實際應用中，人們更希望得到對圖像美學質(zhì)量正確的排名．為了保證真實美學評分的排名與預測美學評分的排名一致，PAＲN網(wǎng)絡中引入Siamese網(wǎng)絡結構組織兩路AlexNet網(wǎng)絡．Siamese網(wǎng)絡結構是由2個完全相同的CNN和1個代價函數(shù)構成，2個CNN共享同一組參數(shù)．網(wǎng)絡輸入1對圖像I1和I2，I1、I2表達i，j分別從2個AlexNet網(wǎng)絡輸入得到2個輸出，根據(jù)2幅圖像的美學評分計算排名損失函數(shù)lossrank:lossrank=12N∑

圖2PAＲN網(wǎng)絡結構Fig．2StructureofPAＲN2人工特征設計本文人工提取的美學特征如表1所示，其中*為本文設計的特征．表1本文選用和設計的人工特征Table1Handcraftedfeaturesusedanddesignedinthispaper美學特征描述顯著區(qū)彩度對比特征［14］f1～f6f1～f3為顯著區(qū)域色調(diào)、飽和度和亮度的平均值;f4～f6為顯著區(qū)域和背景區(qū)域之間平均色調(diào)、平均飽和度及平均亮度的差的平方顯著區(qū)布局特征［14］f7～f15將整幅圖像平分為9塊，計算每塊中顯著區(qū)域像素的占比人臉區(qū)域特征［7］f16～f18分別計算人臉區(qū)域的亮度平均值、人臉區(qū)域與背景區(qū)域亮度之差及人臉區(qū)域的占比線條角度特征*f19～f36統(tǒng)計圖像中線條的角度顯著區(qū)清晰度對比特征*f37～f38量化圖像顯著區(qū)域和背景區(qū)域的清晰度指標PAＲN網(wǎng)絡對輸入圖像尺寸大小有要求，圖像經(jīng)過裁剪、填充、變形等操作再進行特征提取，都會影響圖像的構圖布局和最終評估結果的準確性．除此之外，PAＲN網(wǎng)絡輸入都是整幅圖像，并不關注圖像的美感主導區(qū)域，更忽視該區(qū)域與背景之間關系對圖像美學質(zhì)量的影響．因此，本節(jié)從這2個角度出發(fā)，提取圖像的美感主導區(qū)域，人工設計一系列美學特征，補充深度特征．2．1美感主導區(qū)域的選擇和提取人們在評估1幅圖像的美學質(zhì)量時，通常會關注一些特定區(qū)域的特性．這些區(qū)域對圖像主題的表達和審美的感知起著決定性的作用，主導圖像本身的美感．為了獲得對圖像美學屬性更全面的描述，選取對圖像美感起主導作用的區(qū)域．由于人類視覺系統(tǒng)和注意力機制的共性，人們在觀察一幅圖像時，常會被圖像的顯著區(qū)域吸引．顯著區(qū)域包含最能引起用戶興趣、最能表現(xiàn)圖像內(nèi)容的信息．這些信息在很?


本文編號：2564706