本文關(guān)鍵詞：基于馬氏距離的度量學習算法研究及應(yīng)用

  更多相關(guān)文章： 度量學習 馬氏距離 三元約束 多變量時間序列分類 高維數(shù)據(jù)

【摘要】：隨著國民經(jīng)濟的發(fā)展,我國在逐步進行著產(chǎn)業(yè)智能化升級,而機器學習是智能化產(chǎn)業(yè)的理論基石之一。目前大部分機器學習算法都需要對使用特征向量描述的樣本測量相似性。因此,專門研究相似性測量函數(shù)的度量學習成為了機器學習理論中一個重要的研究分支。雖然距離度量函數(shù)有很多種類,但馬氏距離因為去耦合和量綱無關(guān)這兩種優(yōu)良的性質(zhì)成為目前最好用的度量函數(shù)。因而基于馬氏距離的度量學習算法的研究得到很多學者的青睞,研究成果也愈加豐富。但是通過對目前幾種典型的度量學習算法分析,可以看到度量學習理論中還存在一些亟待解決的問題。本論文在前人工作基礎(chǔ)上,對現(xiàn)有度量學習理論進行了有益的補充,提出了三種不同的度量學習算法,用于解決不同的問題。同時,論文將所提出的度量學習算法擴展到新的應(yīng)用領(lǐng)域,為這些問題的解決提供新的方法和思路。本論文第一章介紹了度量學習的研究背景和意義,對度量學習的原理進行了分析。同時,第一章還介紹了度量學習的研究現(xiàn)狀,剖析了幾種目前最先進的度量學習算法,發(fā)現(xiàn)度量學習理論存在的不足,提出研究內(nèi)容。第二章探討了度量學習與支持向量機分類器結(jié)合使用的可能性,研究了一種基于支持向量機分類的度量學習算法。首先,該章節(jié)對K近鄰分類器和支持向量機分類器進行了全面的分析和比較,同時探討了兩者和度量學習的關(guān)系。其次,該章節(jié)構(gòu)建了基于馬氏距離的徑向基函數(shù)核,分析了該函數(shù)核的性質(zhì)并與其他函數(shù)核進行了性能比較。再次,該章節(jié)提出了一種學習基于馬氏距離的徑向基函數(shù)核的度量學習算法,將度量學習和支持向量機參數(shù)的學習融入到同一框架下。同時,該章節(jié)還提出了一種壓縮表示法,提高處理高維數(shù)據(jù)的效率。另外,該章節(jié)引入了有向非循環(huán)圖策略來解決多類別數(shù)據(jù)的情況。該章節(jié)所提出的算法有效地將度量學習與支持向量機分類器結(jié)合起來,有效地解決了支持向量機核函數(shù)選取困難的問題。在標準數(shù)據(jù)集上的實驗結(jié)果證明了算法的高精確度和穩(wěn)定性。第三章探討了如何建立在實際應(yīng)用中普遍適用的度量學習模型的問題。首先,該章節(jié)研究了Logdet散度的性質(zhì)和物理意義。其次,該章節(jié)詳細闡述并比較了三種訓(xùn)練約束,并肯定了三元約束的優(yōu)越性。在此研究基礎(chǔ)上,該章節(jié)提出了一種使用三元約束的基于Logdet散度的度量學習算法,在提高算法性能的同時降低了保守性。該章節(jié)也使用了壓縮表示法來處理高維數(shù)據(jù)的情況,以損失少許精度為代價大幅地減少計算時間。該章節(jié)的另一個創(chuàng)新點是提出了一種動態(tài)三元約束構(gòu)建策略,該策略使得每個循環(huán)都能選擇最有效的三元約束進行馬氏矩陣的訓(xùn)練。這些工作使得該章節(jié)所提出的度量學習算法有著很好的性能表現(xiàn)和很強的適用性,在標準數(shù)據(jù)集上的實驗結(jié)果證明了算法的先進性。第四章研究了對動態(tài)特征樣本進行度量學習的問題。首先,該章節(jié)對時間序列進行探討,并對已知的多變量時間序列的相似性測量方法進行了比較。其次,該章節(jié)研究了一種基于馬氏距離的動態(tài)時間規(guī)整算法,用于測量多變量時間序列的相似性。同時,該章節(jié)提出了一種用于多變量時間序列的距離度量學習模型,該算法可以高效地學習基于馬氏距離的動態(tài)時間規(guī)整算法中所需要的馬氏矩陣。該章節(jié)首次將度量學習算法應(yīng)用于動態(tài)特征樣本的學習與分類。實驗證明,與經(jīng)典方法相比,該算法有一定的先進性。第五章研究了將所提出的三種度量學習算法應(yīng)用到新的應(yīng)用領(lǐng)域上。第一個應(yīng)用是人臉表情識別,該章節(jié)提出了一種基于度量學習的人臉表情識別框架。該框架使用行為單元來描述人臉表情的幾何特征,并使用所提出的三種度量學習算法學習用來測量行為單元相似性的馬氏距離函數(shù)。第二個應(yīng)用是圖像檢索,該章節(jié)提出了一種基于度量學習的圖像檢索框架。該框架使用金字塔視覺單詞直方圖方法提取圖像的外觀特征,并使用第三章所提出的度量學習算法進行馬氏距離的學習,通過對測試圖像與庫中圖像的馬氏距離進行排序獲得檢索結(jié)果。該章節(jié)研究的第三個應(yīng)用是基于數(shù)據(jù)驅(qū)動的故障檢測,提出了一種基于度量學習的故障檢測框架。該框架從訓(xùn)練信號中構(gòu)建多變量時間序列片段,并使用單類別度量學習算法進行馬氏距離以及邊際閾值的學習,使用測量信號提取的多變量時間序列片段與測試信號進行馬氏距離測量,判斷測量信號是否為故障。實驗結(jié)果證明了本章所提出的算法框架的先進性。
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP181
，

本文編號：1262513