近年來(lái),計(jì)算機(jī)視覺中的識(shí)別任務(wù),圖像分類、目標(biāo)物體定位、圖像語(yǔ)義分割等,在有監(jiān)督機(jī)器學(xué)習(xí)框架中取得具有前景的效果。然而,這樣的機(jī)器學(xué)習(xí)系統(tǒng)要能在實(shí)際任務(wù)中被廣泛使用,具有良好的表現(xiàn)和魯棒的性能,需要依賴于大量精確標(biāo)注的訓(xùn)練數(shù)據(jù)。獲得大量精確標(biāo)注的訓(xùn)練數(shù)據(jù)需要高昂的時(shí)間和人力成本。探索在盡可能使用少量標(biāo)注情況下獲得良好性能的機(jī)器學(xué)習(xí)方法（即有限監(jiān)督學(xué)習(xí)方法）有助于降低獲取精確標(biāo)注樣本所需要的時(shí)間和人力成本。因此,本文圍繞著有限監(jiān)督學(xué)習(xí),研究了典型應(yīng)用于圖像分類中的基于圖的半監(jiān)督學(xué)習(xí)算法、基于全卷積網(wǎng)絡(luò)的弱監(jiān)督目標(biāo)定位算法以及少樣本語(yǔ)義分割算法,分別提出新的改進(jìn)算法并進(jìn)行實(shí)驗(yàn)驗(yàn)證。具體進(jìn)行的主要研究工作包括:1、基于圖的半監(jiān)督分類算法中,快速?gòu)椥粤餍吻度胨惴ǖ难芯�。本文研究的第一個(gè)問題是基于大規(guī)模圖的多類分類半監(jiān)督學(xué)習(xí)問題。現(xiàn)有的可應(yīng)用于大規(guī)模數(shù)據(jù)集的基于圖的半監(jiān)督學(xué)習(xí)方法大多不能處理未見樣本或是基于硬線性約束,這限制了它們的應(yīng)用范圍和算法學(xué)到的模型性能。為此,本文在前人工作的基礎(chǔ)上,提出了兩種新的線性復(fù)雜度的算法,快速?gòu)椥粤餍吻度胨惴ǎ╢-FME）和簡(jiǎn)化彈性流形嵌入算法（r-FME）。這... 

【文章來(lái)源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：110 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

論文結(jié)構(gòu)關(guān)系圖

華南理工大學(xué)博士學(xué)位論文圖3-1線性模型和其殘差項(xiàng)示意圖3.3.2彈性流形算法彈性流形算法整合了基于圖的半監(jiān)督學(xué)習(xí)算法中的流形平滑、標(biāo)簽適配和線性回歸思想，并有所改進(jìn)。具體地，在給定X、S和Y的情況下，彈性流形嵌入算法(flexiblemanifoldembedding,FME)[1]的目的是尋找最佳的軟預(yù)測(cè)標(biāo)簽矩陣F=h(X)+F0∈Rn×c,其中h(X)=XTW+1bT，F(xiàn)0∈Rn×c是回歸殘差項(xiàng)，其他定義和式(3-4)中相同。FME通過最小化以下目標(biāo)函數(shù)，同時(shí)計(jì)算F和h(X)(F,W,b)=argminF,W,bTr(FTLF)+Tr[(FY)TU(FY)]+μ(∥XTW+1bTF∥2F+γ∥W∥2F),(3-5)式中μandγ是用來(lái)平衡不同項(xiàng)的參數(shù),L=DS和U∈Rn×n的定義與式(3-2)中相同。U被用來(lái)給有標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)設(shè)置不同的權(quán)重。在不失去一般性的情況下，本章節(jié)中重寫了式(3-5)中的參數(shù)μ和γ，這與原始FME論文[1]不同。假設(shè)原FME論文[1]中式（8）的參數(shù)分別為βandλ。當(dāng)β=μγandλ=γ1時(shí)，式(3-5)等同于原FME論文[1]中式（8）。在FME的目標(biāo)函數(shù)式(3-5)中，第一個(gè)項(xiàng)是流形平滑約束項(xiàng)，它鼓勵(lì)鄰近的數(shù)據(jù)點(diǎn)更可能為相同的分類標(biāo)簽；第二個(gè)項(xiàng)是標(biāo)簽適配約束項(xiàng)，表示其中對(duì)有標(biāo)記數(shù)據(jù)的良好的預(yù)測(cè)分?jǐn)?shù)應(yīng)該接近其所給定的標(biāo)簽；第三個(gè)項(xiàng)是殘差項(xiàng)F0=XTW+1bTF，它控制著F和h(X)之間差異的大�。坏谒膫�(gè)項(xiàng)是規(guī)則化項(xiàng)，控制h(X)的模型復(fù)雜度。24

第三章基于快速流形嵌入的半監(jiān)督分類(a)Twomoon(b)Pinwheel圖3-2合成數(shù)據(jù)集“Twomoon”和“Pinwheel”示意圖。不同的顏色代表不同的類別L，設(shè)置γA和γI為{109,106,103,100,103,106,109}。對(duì)于f-FME和r-FME，設(shè)置μ和γ為從1024到1024的值，步長(zhǎng)為103。實(shí)驗(yàn)中報(bào)告了最佳參數(shù)配置下的top-1識(shí)別準(zhǔn)確度。合成數(shù)據(jù)集“Twomoon”[58]和“Pinwheel”注2[133]（如圖3-2所示）用于本小節(jié)中的性能評(píng)估。實(shí)驗(yàn)隨機(jī)為每個(gè)類別生成1000個(gè)數(shù)據(jù)點(diǎn)，并分別使用其中一半作為訓(xùn)練和測(cè)試數(shù)據(jù)集。對(duì)于訓(xùn)練集，每個(gè)類別隨機(jī)標(biāo)記2個(gè)樣本，并將其余的訓(xùn)練樣本視為未標(biāo)記的數(shù)據(jù)。本小節(jié)中將訓(xùn)練集中的未標(biāo)記數(shù)據(jù)和未看到的測(cè)試數(shù)據(jù)分別稱為“Unlabel”和“Test”。在本小節(jié)中，實(shí)驗(yàn)使用的錨點(diǎn)數(shù)量為m=100。實(shí)驗(yàn)報(bào)告了20輪實(shí)驗(yàn)的平均識(shí)別精度。結(jié)果見表3-4。實(shí)驗(yàn)觀察到f-FME和r-FME在合成數(shù)據(jù)集上表現(xiàn)良好，這證明了本章節(jié)所提出的f-FME和r-FME的有效性。由于f-FME和r-FME能夠有效地利用有標(biāo)記和未標(biāo)記數(shù)據(jù)的信息，因此它們?cè)跍y(cè)試集上具有更高的精確度。3.7.3f-FME和r-FME的有效性本小節(jié)中將f-FME和r-FME與FME在使用不同數(shù)量的錨數(shù)據(jù)點(diǎn)下進(jìn)行比較。實(shí)驗(yàn)在USPS手寫數(shù)字?jǐn)?shù)據(jù)集[2]上進(jìn)行，這個(gè)數(shù)據(jù)集包含7291張訓(xùn)練圖像和2007張測(cè)試圖像，10種類別的數(shù)字。參數(shù)設(shè)置與3.7.2小節(jié)中一樣。本小節(jié)實(shí)驗(yàn)中每個(gè)類別使用10個(gè)有標(biāo)記的數(shù)據(jù)。結(jié)果如圖3-3中所示，這表明當(dāng)錨點(diǎn)的數(shù)量m增加時(shí)，分類精度會(huì)提高。還可以看到f-FME和r-FME通過使用少量的錨數(shù)據(jù)點(diǎn)可以達(dá)到與FME相當(dāng)?shù)慕Y(jié)果。3.7.4大規(guī)模現(xiàn)實(shí)數(shù)據(jù)集上的性能為了進(jìn)一步將f-FME和r-FME與現(xiàn)有的快速半監(jiān)督學(xué)習(xí)方法進(jìn)行比較，本小節(jié)使用以下大型現(xiàn)實(shí)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。由于FME不適用于大規(guī)模數(shù)據(jù)集（見章節(jié)3.7.1），注2ht


本文編號(hào)：3584297