本文關(guān)鍵詞：監(jiān)督與半監(jiān)督多視角最大熵判別的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：多視角學習是近年來機器學習領域的一個研究熱點。在很多現(xiàn)實應用當中,數(shù)據(jù)也往往具有多個視角,很多理論和應用也證明了多視角學習可以改進學習效果。最大熵判別是基于最大熵和大間隔原理進行判別估計的一個通用框架,它是生成式學習和判別式學習結(jié)合的成功典范,因而可以具備概率建模靈活和判別估計分類性能顯著的優(yōu)點。最大熵判別可以覆蓋機器學習領域受歡迎的大多數(shù)生成式模型。此外,通過一定的假設,它還可以把支持向量機作為一種特例。但是,目前的最大熵判別還只能處理單視角學習的情況無法有效的利用多視角任務數(shù)據(jù)的多個視角進行更為有效的學習。而本文正是致力于多視角最大熵判別的研究,最后還把多視角最大熵判別從監(jiān)督學習擴展到了半監(jiān)督學習。本文提出了五種不同的多視角最大熵判別方法。第一種方法名為多視角最大熵判別(Multi-view maximum entropy discrimination, MVMED),假定了兩個視角分類間隔相等,這就意味著從兩個視角得到的分類自信度相同,同時還假定了兩視角分類器參數(shù)與公共間隔變量上的一個聯(lián)合分布。通過這兩個假設,我們設計了MVMED的優(yōu)化問題模型,并給出了求解定理,還提供了MVMED的一個實例。第二種方法名為靈活的多視角最大熵判別(Flexible multi-view maximum entropy discrimination, FMVMED),它認為MVMED的第二個假定過于嚴格,代之以對每個視角分類器參數(shù)與公共間隔變量假定一個聯(lián)合分布,并附加一個假定即兩個視角公共間隔變量的后驗相等。如此以來,FMVMED對于兩個視角將會有兩個聯(lián)合分布,體現(xiàn)在模型中就是目標函數(shù)中有兩個Kullback-Leibler散度,還可以通過一個折衷參數(shù)來平衡兩個視角的重要性,使得FMVMED變得更加靈活。我們也設計了FMVMED的優(yōu)化問題模型,并對其進行推導證明,給出一個分兩步的近似求解方法：第一步先求解不考慮兩個視角公共間隔變量后驗相等約束的優(yōu)化問題；第二步求解出第一步之后再考慮兩個視角公共間隔變量后驗相等的約束。之后,我們還指出了FMVMED和MVMED, SVM-2K之間的關(guān)系。第三種方法名為多核多視角最大熵判別(Multi-kernel maximum entropy discrimination for multi-view learning, MKMED),它首先利用了線性核組合,然后整合進最大熵判別。這是對利用多核學習進行多視角最大熵判別的一個嘗試。第四種方法名為基于一致性和互補性原則的多視角最大熵判別(Consensus and complementarity based maximum entropy discrimination for multi-view learning, MED-2C),它在特征級上對多視角學習的一致性進行了建模,首先利用兩個投影矩陣把兩個視角的特征投影進一個公共子空間,然后使投影后的特征盡可能相近,以此遵守了一致性原則。此外,我們又通過把投影后的特征利用原始的特征進行增廣來考慮了互補性。這樣,我們就得到一個意義豐富的特征增廣表示。然后把這種特征增廣表示整合進MED框架并附加一些約束就得到了我們的MED-2C MED-2C充分利用了多視角學習中通常遵守的一致性和互補性兩個原則。我們提供了MED-2C的一個實例及其核版本,還給出了一個輪換優(yōu)化的求解方法。第五種方法名為利用期望拉普拉斯正則化的半監(jiān)督多視角最大熵判別(Semi-supervised multi-view maximum entropy discrimination with expectation laplacian regularization, SMVMED),它與之前的四種方法有所不同,前面四種方法都是監(jiān)督多視角最大熵判別方法,而SMVMED是一種半監(jiān)督多視角最大熵判別方法。它通過整合一個期望拉普拉斯正則化項來利用未標注數(shù)據(jù)邊緣分布的信息提高監(jiān)督學習性能。我們在多個現(xiàn)實數(shù)據(jù)集上對提出的四種監(jiān)督多視角最大熵判別方法和一種半監(jiān)督多視角最大熵判別方法進行了評估,驗證了它們的有效性。
【關(guān)鍵詞】：監(jiān)督學習 半監(jiān)督學習 最大熵判別 多視角學習 大間隔 核方法
【學位授予單位】：華東師范大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP181
【目錄】：

• 摘要6-8
• Abstract8-17
• 第1章 緒論17-25
• 1.1 研究背景和意義17-19
• 1.2 相關(guān)工作19-23
• 1.2.1 最大熵判別20
• 1.2.2 多視角學習20-21
• 1.2.3 多核學習21-22
• 1.2.4 流形正則化22-23
• 1.3 本文主要研究內(nèi)容23
• 1.4 論文組織結(jié)構(gòu)23-25
• 第2章 最大熵判別及多視角學習簡介25-36
• 2.1 最大熵判別25-31
• 2.1.1 熵與相對熵(KL散度)25-26
• 2.1.2 凸優(yōu)化26-28
• 2.1.3 最大熵判別模型28-30
• 2.1.4 最大熵判別模型求解30-31
• 2.2 多視角學習31-35
• 2.2.1 多視角學習的原則32-34
• 2.2.2 多視角學習的方法34-35
• 2.3 本章小結(jié)35-36
• 第3章 多視角最大熵判別36-48
• 3.1 多視角最大熵判別36-38
• 3.2 多視角最大熵判別的實例38-43
• 3.2.1 實例化38-41
• 3.2.2 和SVM-2K的關(guān)系41-43
• 3.3 實驗43-47
• 3.3.1 實驗設置43
• 3.3.2 數(shù)據(jù)集介紹43-44
• 3.3.3 實驗結(jié)果44-47
• 3.4 本章小結(jié)47-48
• 第4章 靈活的多視角最大熵判別48-68
• 4.1 靈活的多視角最大熵判別48-49
• 4.2 靈活的多視角最大熵判別的求解49-52
• 4.3 靈活的多視角最大熵判別的實例52-55
• 4.4 FMVMED和MVMED,SVM-2K之間的關(guān)系55-57
• 4.5 實驗57-67
• 4.5.1 實驗分析58-61
• 4.5.2 FMVMED和MVMED,多平面SVM-2K的實驗對比61-64
• 4.5.3 參數(shù)ρ的敏感性分析64-67
• 4.6 本章小結(jié)67-68
• 第5章 多核多視角最大熵判別68-78
• 5.1 前言68-69
• 5.2 核函數(shù)與核組合69-71
• 5.2.1 多核組合方式70
• 5.2.2 多核學習方法的求解70-71
• 5.3 利用多核學習的多視角最大熵判別71-73
• 5.4 實驗73-77
• 5.4.1 實驗設置73-75
• 5.4.2 實驗結(jié)果75-77
• 5.5 討論77
• 5.6 本章小結(jié)77-78
• 第6章 基于一致性和互補性原則的多視角最大熵判別78-93
• 6.1 前言78-79
• 6.2 基于一致性和互補性原則的多視角最大熵判別79-81
• 6.3 基于一致性和互補性原則的多視角最大熵判別的實例81-85
• 6.3.1 MED-2C的實例81-84
• 6.3.2 MED-2C實例的求解84-85
• 6.4 實驗85-91
• 6.4.1 人工數(shù)據(jù)集上的實驗及結(jié)果85-86
• 6.4.2 現(xiàn)實數(shù)據(jù)集上的實驗86-87
• 6.4.3 現(xiàn)實數(shù)據(jù)集上的實驗結(jié)果87-91
• 6.5 討論91
• 6.6 本章小結(jié)91-93
• 第7章 半監(jiān)督多視角最大熵判別93-105
• 7.1 前言93-94
• 7.2 相關(guān)工作94-95
• 7.2.1 半監(jiān)督多視角學習94
• 7.2.2 流形和拉普拉斯正則化94-95
• 7.3 半監(jiān)督多視角最大熵判別95-100
• 7.3.1 期望拉普拉斯正則化95
• 7.3.2 半監(jiān)督多視角最大熵判別95-97
• 7.3.3 半監(jiān)督多視角最大熵判別的實例和核化97-100
• 7.4 實驗100-103
• 7.4.1 實驗設置100-101
• 7.4.2 半監(jiān)督多視角與半監(jiān)督單視角及監(jiān)督多視角學習的實驗比較101-102
• 7.4.3 半監(jiān)督多視角最大熵判別與其他頂級半監(jiān)督多視角方法的實驗比較102-103
• 7.5 本章小結(jié)103-105
• 第8章 總結(jié)與展望105-108
• 8.1 本文總結(jié)105-107
• 8.1.1 多視角最大熵判別105
• 8.1.2 靈活的多視角最大熵判別105-106
• 8.1.3 多核多視角最大熵判別106
• 8.1.4 基于一致性和互補性的多視角最大熵判別106-107
• 8.1.5 利用期望拉普拉斯正則化的半監(jiān)督多視角最大熵判別107
• 8.2 未來展望107-108
• 參考文獻108-117
• 博士期間的研究成果及發(fā)表的論文117-119
• 致謝11

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 汪洪橋;孫富春;蔡艷寧;陳寧;丁林閣;;多核學習方法[J];自動化學報;2010年08期

  本文關(guān)鍵詞：監(jiān)督與半監(jiān)督多視角最大熵判別的研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：456610