高斯過程是一種關于函數(shù)的分布,在機器學習領域被廣泛應用于回歸、分類、降維等。高斯過程回歸繼承了貝葉斯方法與核方法的優(yōu)勢,但由于時間復雜度過高,難以應用于大規(guī)模數(shù)據�，F(xiàn)有的近似方法通常借助一定數(shù)量誘導點,來提取訓練樣本中的關鍵信息。在復雜數(shù)據上,所需誘導點數(shù)量較多,難以有效降低時間復雜度。針對這個問題,本文基于分治思想,提出了一種簡單高效的近似模型,稱為“重疊局部高斯過程”。方法首先將訓練樣本集遞歸劃分,構建一棵三叉樹,其中兄弟節(jié)點所包含的樣本存在交集,交集中的樣本起到誘導點的作用,可以構建相鄰區(qū)域間的依賴關系。然后用每個葉結點所包含的樣本建立局部高斯過程回歸模型,父節(jié)點的邊緣似然和預測分布可通過組合子節(jié)點的計算結果來近似,從而降低計算量。理論分析表明,對于N個訓練樣本,近似模型訓練和預測的時間復雜度均為O（N^t）,其中t與交集的大小相關,通常介于1與2之間。為進一步發(fā)揮層次誘導點的作用,本文將誘導點看作近似模型的參數(shù),通過變分推斷的方式優(yōu)化每層誘導點的位置以及對應函數(shù)值的分布。優(yōu)化后的誘導點可以更高效地構建區(qū)域間的依賴關系。同時,近似模型的邊緣似然以及預測分布依然... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省211工程院校985工程院校

【文章頁數(shù)】：55 頁

【學位級別】：碩士

【部分圖文】：

高斯過程回歸的相關模型

圖 1-2 PoweEP 框架分治思想，將訓練樣本劃分為 N/B 組，假設在練樣本條件獨立�？梢哉f，誘導點引入了不同組不同的是，即使給定誘導點，測試點仍會與部分紹三種經典的局部法，其時間復雜度如表 1-2所示列將測試點當作誘導點，假設在給定測試點處函數(shù)條件獨立。在此基礎上，原預測分布可通過組合需對每組樣本訓練局部的高斯過程回歸模型。TM（Bayesian Committee Machine）”，其訓練時間為 O(NB + M3)。當不同組之間相關性很強，并且難以成立。另一個缺陷是，由于時間復雜度過高

的模型[11]。如圖2-1所示，過簡單的模型只能建模少量數(shù)據，當 y 不在模型的能力范圍內時，p(y|Hi) 很小；過復雜的模型能建模各種數(shù)據，但由于概率密度必須歸一化，所以在 y 處分配的概率 p(y|Hi) 也較小。因此復雜度最合適的模型 p(y|Hi)最大。2.2高斯過程回歸簡介高斯過程是一組隨機變量的集合，任意有限維隨機變量都服從一致的聯(lián)合高斯分布。1996 年 Williams 和 Rasmussen[41]將高斯過程引入機器學習領域并應用于回歸。之后高斯過程在機器學習領域得到了積極的發(fā)展，并應用到了主動學習[42]、降維[12]、優(yōu)化[43]、強化學習[14,44]等。本文主要介紹高斯過程回歸。假設每個觀測值是利用一個未知函數(shù) f(x) 進行映射，然后受到獨立同分布的高斯噪聲干擾得到的


本文編號：3619060