在機器學(xué)習(xí)中,自適應(yīng)多任務(wù)模式學(xué)習(xí)和外推算法可以廣泛應(yīng)用在氣候預(yù)測、市場波動預(yù)警、環(huán)境監(jiān)測、河流流量變化估計等物聯(lián)網(wǎng)場景中。近年來,多任務(wù)高斯過程MTGPs(Multi-task Gaussian Processes)在學(xué)習(xí)任務(wù)間的協(xié)同關(guān)系和多任務(wù)并發(fā)預(yù)測上取得了顯著的進展,比如:從線性結(jié)合相互獨立的單任務(wù)高斯過程模型到直接對任務(wù)間的交叉協(xié)方差結(jié)構(gòu)建模,使其可以有效地同時對多任務(wù)進行自適應(yīng)模式學(xué)習(xí),因而提高了多任務(wù)并發(fā)預(yù)測的精度。值得注意的是,所有這些具有代表性的MTPGs都必須對任意變量間兩層相關(guān)關(guān)系進行編碼,分別是單任務(wù)輸入空間內(nèi)隨機變量的相關(guān)關(guān)系和任務(wù)間的協(xié)同關(guān)系,但是現(xiàn)有方法SM(Spectral Mixture)、GPRN(Gaussian Process Regression Network)、CSM(Cross Spectral Mixture)在可表達(dá)性和可解釋性上還需進一步提升,MOSM(Multi-output Spectral Mixture)則存在多任務(wù)與單任務(wù)的兼容性問題,而這些問題都影響了自適應(yīng)多任務(wù)模式學(xué)習(xí)和外推預(yù)測的準(zhǔn)確率。為了糾正和更好地數(shù)學(xué)描述這兩層相關(guān)關(guān)系,本論文提出了一種結(jié)構(gòu)化可解釋的通用卷積譜混合成分核函數(shù)GCSM(Generalized Convolution Spectral Mixture)來構(gòu)造單任務(wù)高斯過程,然后利用這種核函數(shù)的交叉卷積機制將其平滑擴展到多任務(wù)高斯過程學(xué)習(xí)的場景中,從而得到了MOCSM(Multi-output Convolution Spectral Mixture)和GCSM-CC(Generalized Convolution Spectral Mixture with Cross Coregionalization)。首先,在高斯過程(Gaussian Processes,GP)機器學(xué)習(xí)中,表示能力較強的譜混合成分核函數(shù)SM可以自適應(yīng)地從數(shù)據(jù)中發(fā)現(xiàn)模式、進行外推甚至描述變量間的負(fù)協(xié)方差。由于SM僅僅只是準(zhǔn)周期高斯成分的線性加權(quán)級數(shù),使得SM難以明確地表示這些成分間的依賴關(guān)系。本論文研究了SM成分間的依賴關(guān)系、依賴關(guān)系的時延和相位特點以及這些依賴關(guān)系的作用。通過分析后驗協(xié)方差和代表性的實例,本論文提出了一種框架來分析這種依賴關(guān)系的存在性。進一步擴展SM使其可以明確地表示SM成分間的依賴關(guān)系,在本論文稱之為GCSM。構(gòu)造滿足正定條件的GCSM可以分為兩個步驟:1.改造SM成分成為使其可以包含時延θ和相位?,然后利用卷積將改造后的SM成分開根號分解為基成分;2.構(gòu)造基成分之間交叉相關(guān)系數(shù),本質(zhì)上等同于交叉卷積,該交叉相關(guān)系數(shù)經(jīng)過傅里葉變換后成為交叉譜密度。在該方法中,SM僅僅考慮到了基成分的自卷積。如果不考慮時延和相位,相比SM,GCSM沒有額外增加超參數(shù)的數(shù)量。無論是在合成數(shù)據(jù)集還是在真實數(shù)據(jù)集上,全面的實驗分析和比較表明對SM成分的依賴進行表示可以有效提高GP的自適應(yīng)學(xué)習(xí)能力和外推性能,同時還可以利用交叉驗證技術(shù)來設(shè)置依賴關(guān)系中是否包含時延和相位。這種性能提升在對自然現(xiàn)象的建模中特別明顯,因為自然現(xiàn)象往往較少受到人類活動的干擾,而受到物理因素的相干干涉影響較大。其次,受到GCSM的啟發(fā),本論文利用交叉卷積來構(gòu)造了一個新的多通道多輸出卷積譜混合成分核MOCSM來解決多通道多輸出高斯過程的自適應(yīng)學(xué)習(xí),在這里多通道多輸出高斯過程和多任務(wù)高斯過程本質(zhì)一樣,一個通道輸出對應(yīng)于一個任務(wù)。在MOCSM中,利用交叉卷積來表示不同通道間的依賴關(guān)系,該依賴關(guān)系也具有時延和相位特點。MOCSM可以同時預(yù)測多個輸出通道,并且具有更好的性能和兼容性。通過在合成數(shù)據(jù)集和實際物聯(lián)網(wǎng)數(shù)據(jù)集上的全面實驗表明MOCSM在自適應(yīng)學(xué)習(xí)能力上具有明顯的優(yōu)勢并且超過當(dāng)前的最新模型。特別是,考慮一種特殊情況,即當(dāng)只有一種輸出通道需要擬合時,MOCSM可以完美的降級為SM,這是其他的模型所不具備的。與最近提出的MOSM模型做全面對比,在MOSM的幅度信息中混合了信號方差(signal variance)和距離縮放因子(length scale),當(dāng)不同通道中的譜密度比較相似時,MOSM會產(chǎn)生不合理的局部協(xié)方差縮放效果。因此,顯然MOCSM具有更好的自適應(yīng)兼容性和普適性。然后,本論文進一步分析了MTGPs中的高斯過程回歸網(wǎng)絡(luò)框架GPRN,并且針對任務(wù)間的協(xié)同關(guān)系提出了一種參數(shù)化解釋。GPRN用神經(jīng)網(wǎng)絡(luò)來表示多任務(wù)建模的協(xié)同關(guān)系,而在所有基于GPRN的方法中,全部使用了多個通道(神經(jīng)元)的線性加權(quán)和來描述單個任務(wù)輸入空間的變量關(guān)系和任務(wù)間的協(xié)同關(guān)系,而忽略了通道間的交互耦合。鑒于此,本論文賦予該神經(jīng)網(wǎng)絡(luò)的多個通道間存在依賴關(guān)系并對其進行編碼。本論文提出了一種新的基于神經(jīng)網(wǎng)絡(luò)的多任務(wù)高斯過程模型,該模型可以同時模擬兩層依賴關(guān)系,分別是單任務(wù)輸入空間內(nèi)隨機變量內(nèi)在成分間的依賴(即變量內(nèi)在依賴)和任務(wù)間不同協(xié)同關(guān)系通道的依賴(任務(wù)交叉依賴),該模型提升了現(xiàn)有方法的可表達(dá)性和可解釋性。具體而言,本論文利用交叉卷積來描述GPRN神經(jīng)網(wǎng)絡(luò)中各獨立通道(神經(jīng)元)之間的變量內(nèi)在依賴,其中每個通道都由一個SM成分來描述,再利用耦合區(qū)域協(xié)同來描述任務(wù)間交叉依賴。這兩個層次的依賴建立了一種信息管道使得GPRN神經(jīng)網(wǎng)絡(luò)中不同的神經(jīng)元之間可以通信。本論文把這種對GPRN神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間依賴關(guān)系進行顯式建模的方法稱為通道交叉卷積和耦合區(qū)域協(xié)同的高斯過程回歸網(wǎng)絡(luò)GCSM-CC。以上方法兼顧了單任務(wù)和多任務(wù)高斯過程的不同特點,具有很好的兼容性、可解釋性、可表達(dá)性、普適性和自適應(yīng)模式學(xué)習(xí)能力。在合成數(shù)據(jù)集和物聯(lián)網(wǎng)數(shù)據(jù)集上的大量實驗表明,本論文提出的方法可以有效地實現(xiàn)單任務(wù)和多任務(wù)的未來趨勢外推預(yù)測,相比于現(xiàn)有最新的方法,均表現(xiàn)出了更優(yōu)的預(yù)測性能。
【學(xué)位授予單位】：中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進技術(shù)研究院)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2019
【分類號】：TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董軍超;陳津虎;胡彥平;楊學(xué)印;;基于逆高斯過程的加速退化試驗失效機理一致性判定[J];強度與環(huán)境;2019年05期

2 鐘美;趙兵濤;黃朔;;基于高斯過程回歸的燃煤煙氣汞排放預(yù)測[J];動力工程學(xué)報;2016年12期

3 李慧瓊;;d維平穩(wěn)高斯過程極集的充分條件及維數(shù)[J];數(shù)學(xué)雜志;2007年05期

4 胡愛平;伍度志;;平穩(wěn)高斯過程最大值的極限分布[J];西南師范大學(xué)學(xué)報(自然科學(xué)版);2006年06期

5 謝盛榮;一類高斯過程在高水平u上的逗留[J];科學(xué)通報;1998年13期

6 陳振龍,徐賜文;d維平穩(wěn)高斯過程相交局部時的幾個性質(zhì)[J];武漢工業(yè)大學(xué)學(xué)報;1999年06期

7 侯炳旭;俞冀陽;徐沾杰;江光明;鄒志強;;利用高斯過程回歸對燃爆單元寬度的預(yù)測方法研究[J];核動力工程;2017年02期

8 李棕;崔得龍;;基于高斯過程回歸和強化學(xué)習(xí)的云資源調(diào)度算法[J];電子設(shè)計工程;2017年11期

9 吳明;宋博;王鋒;唐紅;;基于高斯過程分類的調(diào)制識別方法[J];計算機仿真;2015年10期

10 陳宗帥;楊昌明;閆利宇;;基于計算機模擬與高斯過程回歸的優(yōu)化設(shè)計方法[J];計算機光盤軟件與應(yīng)用;2014年14期

相關(guān)博士學(xué)位論文 前10條

1 李平;面向任務(wù)的高斯過程隱變量模型擴展研究[D];南京航空航天大學(xué);2018年

2 孫立劍;基于高斯過程的復(fù)雜光學(xué)曲面重建和多傳感器數(shù)據(jù)融合方法研究[D];上海交通大學(xué);2018年

3 王洪橋;高斯過程回歸在不確定性量化中的應(yīng)用[D];上海交通大學(xué);2018年

4 陳凱;面向多任務(wù)模式學(xué)習(xí)與外推的自適應(yīng)高斯過程算法研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進技術(shù)研究院);2019年

5 于曉默;面向制造生產(chǎn)過程的高斯過程優(yōu)化理論研究及應(yīng)用[D];廣西大學(xué);2015年

6 洪曉丹;基于復(fù)雜噪聲的高斯過程回歸建模方法研究[D];東華大學(xué);2018年

7 潘偉;基于高斯過程的高爐煉鐵過程辨識與預(yù)測[D];浙江大學(xué);2012年

8 賀建軍;基于高斯過程模型的機器學(xué)習(xí)算法研究及應(yīng)用[D];大連理工大學(xué);2012年

9 房晟辰;基于高斯過程回歸及Trust-Tech的短期風(fēng)電功率預(yù)測方法[D];天津大學(xué);2016年

10 趙偉;復(fù)雜工程結(jié)構(gòu)可靠度分析的高斯過程動態(tài)響應(yīng)面方法研究[D];廣西大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 鐘友玲;基于高斯過程回歸模型的深基坑變形預(yù)測方法研究[D];江西理工大學(xué);2019年

2 李勇;雜波環(huán)境下基于高斯過程的擴展目標(biāo)跟蹤技術(shù)[D];杭州電子科技大學(xué);2019年

3 張宇;基于高斯過程回歸的高鐵制動過程速度預(yù)測[D];北京交通大學(xué);2019年

4 李爍;考慮測量誤差的逆高斯過程退化建模與加速退化試驗設(shè)計[D];上海交通大學(xué);2018年

5 夏嘉欣;基于帶有噪聲輸入稀疏高斯過程的人體姿態(tài)分析[D];上海交通大學(xué);2018年

6 姜珊;基于高斯過程的偏微分方程數(shù)值解法構(gòu)造[D];云南財經(jīng)大學(xué);2019年

7 朱泓鈺;高斯過程模型對股票價格的預(yù)測研究[D];云南大學(xué);2017年

8 楊成飛;基于高斯過程的智能采樣策略研究[D];中國科學(xué)技術(shù)大學(xué);2019年

9 范簫鴻;基于PSO算法和高斯過程的微波器件優(yōu)化設(shè)計[D];江蘇科技大學(xué);2019年

10 周雪;基于高斯過程模型的室內(nèi)定位方法研究[D];東北師范大學(xué);2019年

本文編號：2787299