【摘要】：高斯過程作為一種柔性貝葉斯非參數(shù)化模型,近年來已被逐漸應(yīng)用于機(jī)器學(xué)習(xí)等相關(guān)領(lǐng)域中,并取得了良好的效果。然而現(xiàn)存的相關(guān)模型,如高斯過程回歸模型、高斯過程分類模型、高斯過程隱變量模型等,僅簡單地將高斯過程先驗(yàn)應(yīng)用于模型構(gòu)建中,忽略了機(jī)器學(xué)習(xí)任務(wù)自身的特殊性和其包含的各種信息,從而無法滿足各種機(jī)器學(xué)習(xí)任務(wù)的需求。因此為解決上述問題,本文分別從多任務(wù)學(xué)習(xí)、度量學(xué)習(xí)、多視圖學(xué)習(xí)、特征相關(guān)性學(xué)習(xí)四個(gè)機(jī)器學(xué)習(xí)具體任務(wù)角度對高斯過程及高斯過程隱變量模型的擴(kuò)展方法進(jìn)行了探索,進(jìn)一步擴(kuò)展了高斯過程和高斯過程隱變量模型的應(yīng)用范圍。本文的主要工作包括如下幾個(gè)方面:(1)提出了一種面向多任務(wù)學(xué)習(xí)的層次高斯過程隱變量模型。與普通的高斯過程多任務(wù)學(xué)習(xí)模型不同,該模型包含兩個(gè)層次:共享特征學(xué)習(xí)層和任務(wù)相關(guān)性構(gòu)建層。其中,前者用于多任務(wù)共享特征的學(xué)習(xí);后者用于顯式構(gòu)建和利用任務(wù)之間的相關(guān)性。基于這種層次結(jié)構(gòu),模型不僅可以明確的嵌入任務(wù)相關(guān)性,同時(shí)有效避免了交叉協(xié)方差矩陣高斯過程多任務(wù)學(xué)習(xí)模型的較高計(jì)算及存儲(chǔ)復(fù)雜度問題。實(shí)驗(yàn)結(jié)果表明,本文提出的模型具有明顯優(yōu)于其他高斯過程多任務(wù)學(xué)習(xí)模型的性能。(2)提出了一種面向度量學(xué)習(xí)的高斯過程隱變量模型。在模型構(gòu)建過程中,本文使用高斯過程對雙線性相似度學(xué)習(xí)模型進(jìn)行了重新刻畫,進(jìn)而實(shí)現(xiàn)了非參數(shù)化的度量學(xué)習(xí)方法。不同于現(xiàn)有的參數(shù)化度量學(xué)習(xí)模型,本文提出的模型有效解決了參數(shù)化模型的參數(shù)化假設(shè)導(dǎo)致的模型易過擬合以及柔性不足等問題。同時(shí)該模型也繼承了高斯過程模型的非線性學(xué)習(xí)和不確定性預(yù)測等優(yōu)點(diǎn)。實(shí)驗(yàn)結(jié)果表明,本文提出的模型具有較好的非線性特征學(xué)習(xí)和相似性預(yù)測能力。(3)提出了一種面向不完整多視圖數(shù)據(jù)聚類的共享高斯過程隱變量模型。該模型針對包含缺失實(shí)例的多視圖數(shù)據(jù)聚類問題,通過在共享高斯過程隱變量模型中引入若干對齊的輔助點(diǎn)的方式來彌補(bǔ)缺失數(shù)據(jù)造成的信息損失并實(shí)現(xiàn)組級(goup-level)約束,進(jìn)而提升隱變量模型在不完整多視圖數(shù)據(jù)學(xué)習(xí)任務(wù)中的性能。實(shí)驗(yàn)結(jié)果表明,本文提出的模型具有明顯優(yōu)于現(xiàn)有不完整多視圖數(shù)據(jù)聚類模型的性能。同時(shí)其可以直接地被擴(kuò)展并應(yīng)用于包含多于兩個(gè)視圖的數(shù)據(jù)學(xué)習(xí)任務(wù)中。(4)提出了一種面向特征相關(guān)性學(xué)習(xí)的高斯過程隱變量模型。為了有效地學(xué)習(xí)和利用數(shù)據(jù)原始輸入特征的相關(guān)性、提升隱變量模型的特征學(xué)習(xí)能力,本文首先在高斯過程隱變量模型中引入一系列額外的隱變量(特征描述變量)來顯式地刻畫數(shù)據(jù)原始特征的相關(guān)性,進(jìn)而構(gòu)建出一個(gè)聯(lián)合的目標(biāo)函數(shù)并將其用于低維隱變量和特征描述變量的同時(shí)學(xué)習(xí)。該模型不僅可以用于無監(jiān)督學(xué)習(xí)中,同時(shí)也可以利用數(shù)據(jù)的標(biāo)記信息進(jìn)一步提升模型的特征學(xué)習(xí)能力。實(shí)驗(yàn)結(jié)果表明,在無監(jiān)督和有監(jiān)督兩種學(xué)習(xí)場景中,本文提出的模型均有優(yōu)良的特征學(xué)習(xí)能力,同時(shí)能夠自動(dòng)地學(xué)習(xí)及預(yù)測樣本輸入特征的相關(guān)性。此外,本文在稀疏高斯過程求解方面進(jìn)行了一定的探索,使用變分推理及隨機(jī)變分推理方法分別對(3)和(4)提出的模型進(jìn)行了擴(kuò)展,使其可用于包含大規(guī)模數(shù)據(jù)樣本的學(xué)習(xí)任務(wù)中。
【圖文】：

圖１．１本文的技術(shù)路線圖

＃邋ｏｆ邋ｔｒａｉｎｉｎｇ邋ｔａｓｋｓ逡逑圖２．３在Ｓｃｈｏｏｌ數(shù)據(jù)上，各模型在不同任務(wù)數(shù)下的平均解釋方差。逡逑到模型在不同的訓(xùn)練樣本下平均解釋方差如圖２．４所示。可以看出．ｓ在訓(xùn)練集樣本較少時(shí)，所有逡逑模型的精度都較低。然而，隨著樣本數(shù)的不斷增加，，所有的模型的性能均顯著提升。且在多數(shù)情逡逑況下．，ＨＧＰＭＴ和ｒｅｇｕｌａｒｉｚｅｄ－ＨＧＰＭＴ的精度明顯由于其它模型逡逑３３邐Ｉ邐ｋ邐Ｉ邐１邐Ｉ邐Ｉ邐ｉ邐ｉ邐＊逡逑Ｔ邋邐．｝邐—＊ｌ邐邐＾逡逑３６－逡逑３４－邐＾逡逑ｉ：邐：逡逑ｉ２６－邐——＾逡逑°邋２４－邐邐ｆｏｃｕｓｅｄ邋ＭＴ－ＧＰ逡逑—＇—邋Ｋｒｏｎｅｃｋｅｒ邋ＧＰ逡逑２２邋－邐—＊—邋ＧＰＭＴＦＳ逡逑￣４１—邋ＭＴＭＫＬ逡逑２０邋－邐－６—邋ＨＧＰＭＴ逡逑Ｉ邐—Ｔ—邋ｒｅｇｕｌａｒｉｚｅｄ－ＨＧＰＭＴ逡逑１８１邐１邐１邐１邐＊邐＇邐丨邐ｉ邐．丨邐■逡逑１０邐２０邐３０邐４０邐５０邐６０邐７０邐８０邐９０邐１００邐１１０逡逑＃邋ｏｆ邋ｔｒａｉｎｉｎｇ邋ｅｘａｍｐｌｅｓ邋（％）逡逑圖２．４在Ｓｃｈｏｏｌ數(shù)據(jù)上
【學(xué)位授予單位】：南京航空航天大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董軍超;陳津虎;胡彥平;楊學(xué)印;;基于逆高斯過程的加速退化試驗(yàn)失效機(jī)理一致性判定[J];強(qiáng)度與環(huán)境;2019年05期

2 鐘美;趙兵濤;黃朔;;基于高斯過程回歸的燃煤煙氣汞排放預(yù)測[J];動(dòng)力工程學(xué)報(bào);2016年12期

3 李慧瓊;;d維平穩(wěn)高斯過程極集的充分條件及維數(shù)[J];數(shù)學(xué)雜志;2007年05期

4 胡愛平;伍度志;;平穩(wěn)高斯過程最大值的極限分布[J];西南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年06期

5 謝盛榮;一類高斯過程在高水平u上的逗留[J];科學(xué)通報(bào);1998年13期

6 陳振龍,徐賜文;d維平穩(wěn)高斯過程相交局部時(shí)的幾個(gè)性質(zhì)[J];武漢工業(yè)大學(xué)學(xué)報(bào);1999年06期

7 侯炳旭;俞冀陽;徐沾杰;江光明;鄒志強(qiáng);;利用高斯過程回歸對燃爆單元寬度的預(yù)測方法研究[J];核動(dòng)力工程;2017年02期

8 李棕;崔得龍;;基于高斯過程回歸和強(qiáng)化學(xué)習(xí)的云資源調(diào)度算法[J];電子設(shè)計(jì)工程;2017年11期

9 吳明;宋博;王鋒;唐紅;;基于高斯過程分類的調(diào)制識(shí)別方法[J];計(jì)算機(jī)仿真;2015年10期

10 陳宗帥;楊昌明;閆利宇;;基于計(jì)算機(jī)模擬與高斯過程回歸的優(yōu)化設(shè)計(jì)方法[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2014年14期

相關(guān)會(huì)議論文 前4條

1 周曉康;吳少川;;基于高斯過程回歸的室內(nèi)無線信號(hào)源定位[A];2018中國信息通信大會(huì)論文摘要集[C];2018年

2 劉信恩;;高斯過程響應(yīng)面法及其應(yīng)用研究[A];中國工程物理研究院科技年報(bào)（2010年版）[C];2011年

3 何志昆;劉光斌;姚志成;趙曦晶;;基于高斯過程回歸的FOG標(biāo)度因數(shù)溫度漂移建模新方法[A];第25屆中國控制與決策會(huì)議論文集[C];2013年

4 龐夢非;唐國安;張美艷;;參數(shù)不確定性對橋梁振動(dòng)特性的影響[A];第十屆動(dòng)力學(xué)與控制學(xué)術(shù)會(huì)議摘要集[C];2016年

相關(guān)博士學(xué)位論文 前10條

1 李平;面向任務(wù)的高斯過程隱變量模型擴(kuò)展研究[D];南京航空航天大學(xué);2018年

2 孫立劍;基于高斯過程的復(fù)雜光學(xué)曲面重建和多傳感器數(shù)據(jù)融合方法研究[D];上海交通大學(xué);2018年

3 王洪橋;高斯過程回歸在不確定性量化中的應(yīng)用[D];上海交通大學(xué);2018年

4 陳凱;面向多任務(wù)模式學(xué)習(xí)與外推的自適應(yīng)高斯過程算法研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院);2019年

5 于曉默;面向制造生產(chǎn)過程的高斯過程優(yōu)化理論研究及應(yīng)用[D];廣西大學(xué);2015年

6 洪曉丹;基于復(fù)雜噪聲的高斯過程回歸建模方法研究[D];東華大學(xué);2018年

7 潘偉;基于高斯過程的高爐煉鐵過程辨識(shí)與預(yù)測[D];浙江大學(xué);2012年

8 賀建軍;基于高斯過程模型的機(jī)器學(xué)習(xí)算法研究及應(yīng)用[D];大連理工大學(xué);2012年

9 房晟辰;基于高斯過程回歸及Trust-Tech的短期風(fēng)電功率預(yù)測方法[D];天津大學(xué);2016年

10 趙偉;復(fù)雜工程結(jié)構(gòu)可靠度分析的高斯過程動(dòng)態(tài)響應(yīng)面方法研究[D];廣西大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 鐘友玲;基于高斯過程回歸模型的深基坑變形預(yù)測方法研究[D];江西理工大學(xué);2019年

2 李勇;雜波環(huán)境下基于高斯過程的擴(kuò)展目標(biāo)跟蹤技術(shù)[D];杭州電子科技大學(xué);2019年

3 張宇;基于高斯過程回歸的高鐵制動(dòng)過程速度預(yù)測[D];北京交通大學(xué);2019年

4 李爍;考慮測量誤差的逆高斯過程退化建模與加速退化試驗(yàn)設(shè)計(jì)[D];上海交通大學(xué);2018年

5 夏嘉欣;基于帶有噪聲輸入稀疏高斯過程的人體姿態(tài)分析[D];上海交通大學(xué);2018年

6 姜珊;基于高斯過程的偏微分方程數(shù)值解法構(gòu)造[D];云南財(cái)經(jīng)大學(xué);2019年

7 朱泓鈺;高斯過程模型對股票價(jià)格的預(yù)測研究[D];云南大學(xué);2017年

8 楊成飛;基于高斯過程的智能采樣策略研究[D];中國科學(xué)技術(shù)大學(xué);2019年

9 范簫鴻;基于PSO算法和高斯過程的微波器件優(yōu)化設(shè)計(jì)[D];江蘇科技大學(xué);2019年

10 周雪;基于高斯過程模型的室內(nèi)定位方法研究[D];東北師范大學(xué);2019年

本文編號(hào)：2629848