高斯過(guò)程是一種關(guān)于函數(shù)的分布,在機(jī)器學(xué)習(xí)領(lǐng)域被廣泛應(yīng)用于回歸、分類、降維等。高斯過(guò)程回歸繼承了貝葉斯方法與核方法的優(yōu)勢(shì),但由于時(shí)間復(fù)雜度過(guò)高,難以應(yīng)用于大規(guī)模數(shù)據(jù)�，F(xiàn)有的近似方法通常借助一定數(shù)量誘導(dǎo)點(diǎn),來(lái)提取訓(xùn)練樣本中的關(guān)鍵信息。在復(fù)雜數(shù)據(jù)上,所需誘導(dǎo)點(diǎn)數(shù)量較多,難以有效降低時(shí)間復(fù)雜度。針對(duì)這個(gè)問(wèn)題,本文基于分治思想,提出了一種簡(jiǎn)單高效的近似模型,稱為“重疊局部高斯過(guò)程”。方法首先將訓(xùn)練樣本集遞歸劃分,構(gòu)建一棵三叉樹(shù),其中兄弟節(jié)點(diǎn)所包含的樣本存在交集,交集中的樣本起到誘導(dǎo)點(diǎn)的作用,可以構(gòu)建相鄰區(qū)域間的依賴關(guān)系。然后用每個(gè)葉結(jié)點(diǎn)所包含的樣本建立局部高斯過(guò)程回歸模型,父節(jié)點(diǎn)的邊緣似然和預(yù)測(cè)分布可通過(guò)組合子節(jié)點(diǎn)的計(jì)算結(jié)果來(lái)近似,從而降低計(jì)算量。理論分析表明,對(duì)于N個(gè)訓(xùn)練樣本,近似模型訓(xùn)練和預(yù)測(cè)的時(shí)間復(fù)雜度均為O（N^t）,其中t與交集的大小相關(guān),通常介于1與2之間。為進(jìn)一步發(fā)揮層次誘導(dǎo)點(diǎn)的作用,本文將誘導(dǎo)點(diǎn)看作近似模型的參數(shù),通過(guò)變分推斷的方式優(yōu)化每層誘導(dǎo)點(diǎn)的位置以及對(duì)應(yīng)函數(shù)值的分布。優(yōu)化后的誘導(dǎo)點(diǎn)可以更高效地構(gòu)建區(qū)域間的依賴關(guān)系。同時(shí),近似模型的邊緣似然以及預(yù)測(cè)分布依然... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省211工程院校985工程院校

【文章頁(yè)數(shù)】：55 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

高斯過(guò)程回歸的相關(guān)模型

圖 1-2 PoweEP 框架分治思想，將訓(xùn)練樣本劃分為 N/B 組，假設(shè)在練樣本條件獨(dú)立�？梢哉f(shuō)，誘導(dǎo)點(diǎn)引入了不同組不同的是，即使給定誘導(dǎo)點(diǎn)，測(cè)試點(diǎn)仍會(huì)與部分紹三種經(jīng)典的局部法，其時(shí)間復(fù)雜度如表 1-2所示列將測(cè)試點(diǎn)當(dāng)作誘導(dǎo)點(diǎn)，假設(shè)在給定測(cè)試點(diǎn)處函數(shù)條件獨(dú)立。在此基礎(chǔ)上，原預(yù)測(cè)分布可通過(guò)組合需對(duì)每組樣本訓(xùn)練局部的高斯過(guò)程回歸模型。TM（Bayesian Committee Machine）”，其訓(xùn)練時(shí)間為 O(NB + M3)。當(dāng)不同組之間相關(guān)性很強(qiáng)，并且難以成立。另一個(gè)缺陷是，由于時(shí)間復(fù)雜度過(guò)高

的模型[11]。如圖2-1所示，過(guò)簡(jiǎn)單的模型只能建模少量數(shù)據(jù)，當(dāng) y 不在模型的能力范圍內(nèi)時(shí)，p(y|Hi) 很�。贿^(guò)復(fù)雜的模型能建模各種數(shù)據(jù)，但由于概率密度必須歸一化，所以在 y 處分配的概率 p(y|Hi) 也較小。因此復(fù)雜度最合適的模型 p(y|Hi)最大。2.2高斯過(guò)程回歸簡(jiǎn)介高斯過(guò)程是一組隨機(jī)變量的集合，任意有限維隨機(jī)變量都服從一致的聯(lián)合高斯分布。1996 年 Williams 和 Rasmussen[41]將高斯過(guò)程引入機(jī)器學(xué)習(xí)領(lǐng)域并應(yīng)用于回歸。之后高斯過(guò)程在機(jī)器學(xué)習(xí)領(lǐng)域得到了積極的發(fā)展，并應(yīng)用到了主動(dòng)學(xué)習(xí)[42]、降維[12]、優(yōu)化[43]、強(qiáng)化學(xué)習(xí)[14,44]等。本文主要介紹高斯過(guò)程回歸。假設(shè)每個(gè)觀測(cè)值是利用一個(gè)未知函數(shù) f(x) 進(jìn)行映射，然后受到獨(dú)立同分布的高斯噪聲干擾得到的


本文編號(hào)：3619060