【摘要】：隨著全球化、網(wǎng)絡(luò)化、信息化的深入,海量復(fù)雜的結(jié)構(gòu)化數(shù)據(jù)不斷地被收集和儲存,智能數(shù)據(jù)分析作為技術(shù)進(jìn)步的必要組成部分變得尤為重要,而機(jī)器學(xué)習(xí)因其在數(shù)據(jù)處理中的關(guān)鍵作用,受到了越來越多的關(guān)注。度量學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個基礎(chǔ)問題,許多主流的機(jī)器學(xué)習(xí)方法如K-均值聚類、最近鄰分類、支持向量機(jī)等,性能很大程度上都依賴于所選擇度量能否合理反映數(shù)據(jù)間的重要關(guān)系。手動選取的度量函數(shù)如歐氏距離雖然具有簡單性和普遍性的優(yōu)勢,但其很難適應(yīng)模式分類中的大部分問題。度量學(xué)習(xí)技術(shù),通過利用數(shù)據(jù)監(jiān)督信息,自動學(xué)習(xí)面向任務(wù)的距離函數(shù),近年來成為一個熱門的研究方向。雖然現(xiàn)有的度量學(xué)習(xí)方法在很多應(yīng)用上取得了較好的結(jié)果,但它們不能很好地處理復(fù)雜的真實數(shù)據(jù)。針對度量學(xué)習(xí)面臨的挑戰(zhàn)性問題,本文從正則化先驗的設(shè)計、度量矩陣的刻畫、馬氏距離的構(gòu)造、模型的優(yōu)化等方面,對基于大間隔最近鄰的度量學(xué)習(xí)方法進(jìn)行了深入研究,主要研究成果如下:(1)提出了一種基于復(fù)合結(jié)構(gòu)的大間隔最近鄰度量學(xué)習(xí)算法。該方法認(rèn)為度量矩陣M不符合精確的低秩假設(shè),并使用稀疏和低秩復(fù)合模型來刻畫。與傳統(tǒng)稀疏方法使用l_1范數(shù)正則不同,該方法要求稀疏部分的所有像素值都小于一個預(yù)先定義的閾值,這樣損失函數(shù)會平等對待大于該閾值的所有像素值,使得模型更穩(wěn)定。同時,與傳統(tǒng)低秩方法最小化度量矩陣所有奇異值的和不同,該方法只要求低秩部分的奇異值小于另一個自適應(yīng)學(xué)習(xí)得到的閾值,這樣模型將會過濾掉對應(yīng)較小奇異值的無關(guān)信息,使模型更魯棒。即使在實際情況中,M的最優(yōu)稀疏度和秩難以確定,該方法仍然穩(wěn)定且可用。(2)提出了一種基于最大相關(guān)熵準(zhǔn)則的大間隔最近鄰度量學(xué)習(xí)算法,來處理真實數(shù)據(jù)中存在的惡意遮擋或退化問題。與傳統(tǒng)方法不同,該方法將度量學(xué)習(xí)模型看作回歸問題,并要求每個樣本的類內(nèi)重建殘差大幅度小于類間重建殘差。由于度量矩陣M是半正定的,所以可以被分解為M=L L,則重建殘差可以看作是實施了線性變換L,之后使用相關(guān)熵誘導(dǎo)度量矩陣來刻畫投影后的重建模型。該方法不僅能處理真實數(shù)據(jù)的遮擋問題,而且繼承了傳統(tǒng)度量學(xué)習(xí)方法的優(yōu)勢,即對圖像對齊有效。(3)針對傳統(tǒng)度量學(xué)習(xí)方法通常學(xué)習(xí)單一的馬氏距離度量矩陣,無法刻畫復(fù)雜的異質(zhì)數(shù)據(jù),且描述這些數(shù)據(jù)的特征大多也沒有嚴(yán)格對齊的問題,提出了一種基于平滑Wasserstein距離的多層次大間隔最近鄰度量學(xué)習(xí)算法。利用平滑Wasserstein距離刻畫兩個樣本間的誤差,而馬氏距離則被當(dāng)做Wasserstein距離中的地面距離。由于平滑Wasserstein距離不僅繼承了距離本身的特性,而且引入了描述概率分布最優(yōu)轉(zhuǎn)移的流網(wǎng)絡(luò),因此無論兩個樣本是否對齊,它都能有效的度量樣本間的相似性。另外,為了充分利用數(shù)據(jù)的結(jié)構(gòu)信息,該方法通過一個共享的度量矩陣學(xué)習(xí)一個全局的平滑Wasserstein距離,用以模擬不同數(shù)據(jù)類之間的共性,通過額外的一些輔助度量矩陣學(xué)習(xí)多個局部的平滑Wasserstein距離,用以模擬每個數(shù)據(jù)類的特質(zhì)。最后,該方法被應(yīng)用于行為檢測、親屬關(guān)系驗證和視頻分類三個應(yīng)用,取得了很好的結(jié)果。(4)提出一個雙層距離度量學(xué)習(xí)模型,聯(lián)合優(yōu)化特征提取和度量學(xué)習(xí)任務(wù)�，F(xiàn)有度量學(xué)習(xí)方法大多直接將預(yù)處理階段從數(shù)據(jù)中提取的特征作為輸入,而這些特征通常并沒有考慮數(shù)據(jù)的局部幾何結(jié)構(gòu)和數(shù)據(jù)中可能存在的噪聲,因此它們可能對于接下來的度量學(xué)習(xí)任務(wù)并不是最好的選擇。雙層距離度量學(xué)習(xí)模型中低層模型用于挖掘數(shù)據(jù)的潛在結(jié)構(gòu),高層模型直接迫使同類的樣本更近、不同類的樣本更遠(yuǎn)。值得注意的是,高層模型輸入的數(shù)據(jù)樣本由低層模型學(xué)到的稀疏系數(shù)來表示。受低層模型特征提取操作的影響,新的特征因為稀疏項變得對噪聲更魯棒,因為拉普拉斯圖項將變得更具有判別性。綜上所述,本文以信號處理、模式識別為理論基礎(chǔ),以統(tǒng)計學(xué)習(xí)為主要技術(shù)手段,提出四種新的度量學(xué)習(xí)模型,有效改善了現(xiàn)有方法存在的不足,在人臉驗證和模式分類方面取得了較好的效果,為解決度量學(xué)習(xí)問題提供了新的途徑。
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2018
【分類號】：TP181
【圖文】：

圖2.3人臉驗證結(jié)果: (a) LFW SIFT特征集上的ROC曲線; (b) LFW屬性特征集上的ROC曲線(c) PubFig數(shù)據(jù)集上的ROC曲線。（3）實驗結(jié)果及分析為了計算所有對比方法在人臉驗證實驗中的準(zhǔn)確率，圖2.3報告了ROC（ReceivOperating Characteristic）曲線。為了更加客觀的對比性能，計算每種方法的錯誤率（Equal Error Rate，EER），并使用1 - EER作為評估標(biāo)準(zhǔn)。取得最低EER或最高- EER的方法是性能最好的方法。顯然，本章方法在LFW數(shù)據(jù)集取得了優(yōu)于其他度量學(xué)習(xí)方法的性能。對于PubFig數(shù)據(jù)集，本章方法也得到了可以比得上基于Cappe核范數(shù)方法的結(jié)果。實際上，本章方法可以看作是基于Capped核范數(shù)方法的推廣因為本章方法同時考慮了度量矩陣 M 的稀疏部分和低秩部分。利用兩個 Capped 范數(shù)正則項，本章方法在LFW SIFT特征數(shù)據(jù)集上相比傳統(tǒng)馬氏距離提高了 7%，相比KISSME方法提高了約 1%。為了進(jìn)一步說明本章方法的優(yōu)勢，圖2.4給出了關(guān)于秩 k 的參數(shù)實驗結(jié)果。本實驗將基于核范數(shù)正則的度量學(xué)習(xí)方法作為基準(zhǔn)。實驗中，在 [30 : 5 : 70] 范圍內(nèi)調(diào)

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 姜大光;孫賀娟;易軍凱;;基于距離的相似最近鄰搜索算法研究[J];北京化工大學(xué)學(xué)報(自然科學(xué)版);2017年05期

2 程碧達(dá);;靜音鉆[J];科學(xué)啟蒙;2017年Z1期

3 周屹;楊澤雪;邢傳軍;曲天偉;;一種連續(xù)最近鄰查詢的優(yōu)化方法[J];黑龍江工程學(xué)院學(xué)報(自然科學(xué)版);2013年04期

4 鄧瑾;周梅;;基于R樹及其變種的最近鄰查詢研究[J];現(xiàn)代計算機(jī);2013年09期

5 王丹丹;郝忠孝;;道路網(wǎng)絡(luò)中的多類型K最近鄰查詢[J];計算機(jī)工程與應(yīng)用;2012年03期

6 劉文遠(yuǎn);杜穎;陳子軍;;不確定數(shù)據(jù)上范圍受限的最近鄰查詢算法[J];小型微型計算機(jī)系統(tǒng);2012年06期

7 蔡賀;張睿;;k最近鄰域分類算法分析與研究[J];甘肅科技;2012年18期

8 管瑩瑩;肖迎元;李玉坤;;基于路網(wǎng)的連續(xù)K最近鄰查詢[J];天津理工大學(xué)學(xué)報;2012年06期

9 周屹;;不確定對象的反向最近鄰查詢研究[J];黑龍江工程學(xué)院學(xué)報(自然科學(xué)版);2012年04期

10 劉彬;王建國;;范圍最近鄰查詢方法研究[J];泰山學(xué)院學(xué)報;2011年03期

相關(guān)會議論文 前10條

1 盛梅紅;沙朝鋒;宮學(xué)慶;嵇曉;周傲英;;道路網(wǎng)絡(luò)環(huán)境中的多對象最近鄰查詢[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2006年

2 張曉峰;王麗珍;肖清;趙麗紅;;基于概念劃分的連續(xù)最近鄰查詢研究[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集(B輯)[C];2010年

3 劉月清;章勇;;一種改進(jìn)的動態(tài)最近鄰聚類算法[A];全國自動化新技術(shù)學(xué)術(shù)交流會會議論文集（一）[C];2005年

4 鄭健;皮德常;;基于共享最近鄰的聚類和孤立點檢測算法[A];第一屆中國高校通信類院系學(xué)術(shù)研討會論文集[C];2007年

5 劉先康;梁菁;任杰;蔣光慶;;修正最近鄰模糊分類算法在艦船目標(biāo)識別中的應(yīng)用[A];全國第4屆信號和智能信息處理與應(yīng)用學(xué)術(shù)會議論文集[C];2010年

6 鐘秉翔;;一種基于虛假最近鄰點法的話務(wù)量預(yù)測模型[A];中國自動化學(xué)會控制理論專業(yè)委員會B卷[C];2011年

7 馮yN;李霞;;一種K最近鄰分類的改進(jìn)算法及應(yīng)用[A];2011年全國通信安全學(xué)術(shù)會議論文集[C];2011年

8 李蘭芳;劉開培;羅歡;;最近鄰模式識別法在車載FSK信號檢測中的應(yīng)用[A];首屆信息獲取與處理學(xué)術(shù)會議論文集[C];2003年

9 周波;石愛國;;混沌序列最近鄰多步預(yù)報算法[A];全國第五屆信號和智能信息處理與應(yīng)用學(xué)術(shù)會議專刊(第一冊)[C];2011年

10 林麗;馮少榮;薛永生;周曉丹;黃海;;數(shù)量關(guān)聯(lián)規(guī)則發(fā)現(xiàn)中的最近鄰聚類方法研究[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2006年

相關(guān)博士學(xué)位論文 前10條

1 許潔;基于大間隔最近鄰的度量學(xué)習(xí)算法研究[D];西安電子科技大學(xué);2018年

2 張軍旗;支持最近鄰查找的高維空間索引[D];復(fù)旦大學(xué);2007年

3 楊澤雪;空間連接及最近鄰變體查詢研究[D];哈爾濱理工大學(xué);2014年

4 張婷;基于量化的近似最近鄰搜索技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2017年

5 孫冬璞;時空數(shù)據(jù)庫多類型最近鄰查詢的研究[D];哈爾濱理工大學(xué);2010年

6 王建峰;基于哈希的最近鄰查找[D];中國科學(xué)技術(shù)大學(xué);2015年

7 張得天;時間依賴路網(wǎng)高效k最近鄰查詢混搭機(jī)制的研究[D];中國科學(xué)技術(shù)大學(xué);2014年

8 杜欽生;高維空間的K最近鄰查詢及連接問題研究[D];吉林大學(xué);2015年

9 李鑫;基于度量學(xué)習(xí)的最近鄰信用評分模型研究[D];上海大學(xué);2017年

10 李艷紅;路網(wǎng)中移動對象最近鄰及反向最近鄰查詢處理研究[D];華中科技大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 楊杰;圖像檢索中基于近似k-近鄰圖的近似最近鄰搜索算法研究[D];廈門大學(xué);2018年

2 郭瑩瑩;空間數(shù)據(jù)庫中線段組最近鄰查詢方法研究[D];哈爾濱理工大學(xué);2018年

3 劉娜;基于路網(wǎng)數(shù)據(jù)的云端安全最近鄰查詢方法研究[D];安徽工業(yè)大學(xué);2018年

4 陳瑞;路網(wǎng)下地理社交文本最近鄰查詢研究[D];浙江大學(xué);2018年

5 趙亮;面向流式數(shù)據(jù)近似最近鄰查詢的降維與量化方法研究[D];南京理工大學(xué);2018年

6 李傳青;基于殘差量化優(yōu)化的最近鄰圖像檢索研究[D];合肥工業(yè)大學(xué);2018年

7 夏超;短信聯(lián)系人關(guān)系判斷系統(tǒng)設(shè)計與實現(xiàn)[D];華中科技大學(xué);2017年

8 潘天雄;基于Wi-Fi的室內(nèi)三維定位算法研究[D];山西大學(xué);2018年

9 程珂;云環(huán)境下的多密鑰安全最近鄰查詢技術(shù)研究[D];安徽大學(xué);2018年

10 單廷佳;基于圖像特征的最近鄰搜算法研究[D];中國科學(xué)技術(shù)大學(xué);2017年

本文編號：2726253