發(fā)布時(shí)間：2017-12-22 08:31

  本文關(guān)鍵詞：基于高斯過程的動(dòng)態(tài)系統(tǒng)研究　出處：《華東師范大學(xué)》2016年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 高斯過程 動(dòng)態(tài)系統(tǒng) 多輸出序列模型 概率圖模型 變分推理

【摘要】：時(shí)序數(shù)據(jù)是生活中常見的數(shù)據(jù)類型。這類數(shù)據(jù)通常具有動(dòng)態(tài)性,即數(shù)據(jù)在相鄰時(shí)刻之間相互關(guān)聯(lián)。同時(shí),數(shù)據(jù)也具有維度依賴性,即數(shù)據(jù)在不同維度之間也相互關(guān)聯(lián)。數(shù)據(jù)中的動(dòng)態(tài)性與維度依賴性,使得對(duì)時(shí)序數(shù)據(jù)的建模具有很大挑戰(zhàn)性。利用概率模型框架,對(duì)時(shí)間與空間上的依賴關(guān)系進(jìn)行聯(lián)合建模是一種有效的解決方法。在概率模型框架中,高斯過程因其形式優(yōu)雅而被廣泛應(yīng)用,它可以建模數(shù)據(jù)之間的非線性映射關(guān)系。為了解決時(shí)序數(shù)據(jù)建模中的挑戰(zhàn),關(guān)于高斯過程動(dòng)態(tài)系統(tǒng)(Gaussian process dynamical system, GPDS)的研究在不斷發(fā)展。根據(jù)模型假設(shè)與學(xué)習(xí)方法,我們將已有的GPDS分為兩大類,高斯過程動(dòng)態(tài)模型(Gaussian process dynamical model, GPDM)與變分高斯過程動(dòng)態(tài)系統(tǒng)(variational Gaussian process dynamical system, VGPDS)。本文工作是在已有GPDS的基礎(chǔ)上繼續(xù)深入研究,并且提出更加合理的GPDS模型。首先,我們針對(duì)數(shù)據(jù)丟失問題提出了改進(jìn)的GPDM,包括對(duì)應(yīng)的模型學(xué)習(xí)算法與條件模型。GPDM是最近提出的一種成功應(yīng)用于時(shí)序數(shù)據(jù)分析的模型,它的模型學(xué)習(xí)算法與條件模型均建立在完全訓(xùn)練數(shù)據(jù)的前提下。當(dāng)數(shù)據(jù)不完全時(shí),GPDM在優(yōu)化更新參數(shù)之前,使用一個(gè)關(guān)于隱變量的重構(gòu)函數(shù)對(duì)數(shù)據(jù)進(jìn)行補(bǔ)全,然后使用完全數(shù)據(jù)下的學(xué)習(xí)算法進(jìn)行模型訓(xùn)練。這種處理丟失數(shù)據(jù)的方法很可能會(huì)帶來累計(jì)誤差,所以我們針對(duì)不完全數(shù)據(jù)提出了改進(jìn)的GPDM。在改進(jìn)的GPDM中,改進(jìn)的模型學(xué)習(xí)算法可以實(shí)現(xiàn)在不完全數(shù)據(jù)下的模型訓(xùn)練,改進(jìn)的條件模型可以實(shí)現(xiàn)對(duì)丟失的測(cè)試數(shù)據(jù)的恢復(fù)。我們采用貝葉斯學(xué)習(xí)框架,對(duì)丟失數(shù)據(jù)進(jìn)行積分,最終得到觀測(cè)數(shù)據(jù)的邊緣分布。所以改進(jìn)的GPDM可以合理充分地利用部分已觀測(cè)的數(shù)據(jù)。為驗(yàn)證改進(jìn)的GPDM處理丟失數(shù)據(jù)的有效性,我們?cè)诓煌耆倪\(yùn)動(dòng)捕獲數(shù)據(jù)上進(jìn)行實(shí)驗(yàn),并將改進(jìn)的GPDM與原GPDM、κ-NN、三次樣條插值和VGPDS進(jìn)行對(duì)比。改進(jìn)的GPDM無論在處理訓(xùn)練數(shù)據(jù)丟失還是測(cè)試數(shù)據(jù)丟失方面都具有更大優(yōu)勢(shì)。其次,我們針對(duì)交通流預(yù)測(cè)問題提出了高階GPDM。交通流預(yù)測(cè)是智能交通系統(tǒng)領(lǐng)域的一個(gè)重要的任務(wù),它通常使用路口的歷史流量信息來預(yù)測(cè)下一時(shí)刻的流量。提出準(zhǔn)確高效的交通流預(yù)測(cè)模型將對(duì)智能交通系統(tǒng)的發(fā)展具有重要意義。我們將原有的GPDM從一階模型擴(kuò)展到更適用于交通流數(shù)據(jù)的四階模型。具體地說,四階GPDM的隱變量是一個(gè)四階馬爾科夫高斯過程。當(dāng)模型訓(xùn)練結(jié)束后,為了實(shí)現(xiàn)更高效率的預(yù)測(cè),我們結(jié)合帶權(quán)值的k-NN來計(jì)算測(cè)試數(shù)據(jù)對(duì)應(yīng)的隱變量。最終的預(yù)測(cè)結(jié)果由四階GPDM與k-NN結(jié)合估計(jì)得到。對(duì)比其他流行方法,新提出的方法性能更優(yōu),并且預(yù)測(cè)準(zhǔn)確率有顯著性提高。然后,我們結(jié)合前面的工作成果,在相似的貝葉斯框架下,提出了變分依賴多輸出高斯過程動(dòng)態(tài)系統(tǒng)(variational dependent multi-output Gaussian process dynamical system, VDM-GPDS). VDM-GPDS具有處理復(fù)雜動(dòng)態(tài)性的能力,可以更加合理地建模多元時(shí)序數(shù)據(jù),特別是不同維度觀測(cè)之間具有依賴關(guān)系的序列。與之前的GPDS明顯不同的是,該模型假設(shè)多個(gè)輸出之間具有依賴性。我們采用卷積多輸出高斯過程來建模輸出數(shù)據(jù),以構(gòu)建一種靈活的多輸出協(xié)方差函數(shù)。在學(xué)習(xí)階段,我們引入輔助變量,并采用變分推理方法,得到模型的對(duì)數(shù)似然變分下界。模型參數(shù)與變分參數(shù)通過使用基于伸縮共軛梯度的算法,最大化該下界得出。我們的模型因其合理的假設(shè)與完全貝葉斯的學(xué)習(xí)框架,在動(dòng)態(tài)系統(tǒng)建模方面更具優(yōu)勢(shì)。我們?cè)谌斯?shù)據(jù)與真實(shí)數(shù)據(jù)上與多種方法進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果驗(yàn)證了所提模型的有效性。最后,為了使VDM-GPDS更具一般性,使其不僅適用于時(shí)序數(shù)據(jù)分析,同時(shí)也適用于靜態(tài)數(shù)據(jù)回歸,我們將VDM-GPDS調(diào)整為變分依賴多輸出多層高斯過程回歸模型(variational dependent multi-output multi-layer Gaussian process regression model, VDMM-GPRM)。VDMM-GPRM繼承了原動(dòng)態(tài)系統(tǒng)的優(yōu)勢(shì),可以處理多輸出或多任務(wù)的回歸問題。在機(jī)器人逆動(dòng)態(tài)問題上的實(shí)驗(yàn)結(jié)果驗(yàn)證了VDMM-GPRM在回歸任務(wù)上的優(yōu)勢(shì)。本文的工作改進(jìn)與完善了已有的GPDS,并進(jìn)一步提出了新的建模時(shí)序數(shù)據(jù)的模型,最后將動(dòng)態(tài)與靜態(tài)數(shù)據(jù)的處理模型統(tǒng)一為一個(gè)框架。不同的實(shí)驗(yàn)設(shè)定均驗(yàn)證了所提方法的合理性與有效性。
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP18;O212.1

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 蘇明禮;;非平穩(wěn)高斯過程的最大值的漸近性質(zhì)[J];東北師大學(xué)報(bào)(自然科學(xué)版);1983年02期

2 謝盛榮;標(biāo)準(zhǔn)非平穩(wěn)高斯過程的逗留極限定理[J];西南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);1991年01期

3 謝盛榮;一類高斯過程在高水平u上的逗留[J];科學(xué)通報(bào);1998年13期

4 任彥榮;陳紹成;鄒曉川;田菲菲;周鵬;;采用高斯過程模擬預(yù)測(cè)域/肽識(shí)別和相互作用[J];中國(guó)科學(xué):化學(xué);2012年08期

5 徐業(yè)基;關(guān)于平穩(wěn)高斯過程的譜函數(shù)估計(jì)的漸近性質(zhì)[J];數(shù)學(xué)學(xué)報(bào);1983年04期

6 謝盛榮;方差具有有限個(gè)極大點(diǎn)的高斯過程之極值逗留[J];應(yīng)用數(shù)學(xué)學(xué)報(bào);1997年01期

7 劉輝;白峰杉;;基于混合高斯過程模型的高光譜圖像分類算法[J];高校應(yīng)用數(shù)學(xué)學(xué)報(bào)A輯;2010年04期

8 謝盛榮;關(guān)于平穩(wěn)高斯過程的上穿過期望次數(shù)的幾點(diǎn)注記[J];數(shù)學(xué)研究與評(píng)論;1996年02期

9 鄭建青;;大增量平穩(wěn)高斯過程的極限行為(英文)[J];寧波大學(xué)學(xué)報(bào)(理工版);2007年01期

10 陳振龍,劉祿勤;d維平穩(wěn)高斯過程的極函數(shù)及其相關(guān)維數(shù)[J];武漢大學(xué)學(xué)報(bào)(理學(xué)版);2002年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前5條

1 劉信恩;肖世富;莫軍;;用于不確定性分析的高斯過程響應(yīng)面模型設(shè)計(jì)點(diǎn)選擇方法研究[A];中國(guó)計(jì)算力學(xué)大會(huì)'2010（CCCM2010）暨第八屆南方計(jì)算力學(xué)學(xué)術(shù)會(huì)議（SCCM8）論文集[C];2010年

2 劉冬;張清華;;基于高斯過程的精密衛(wèi)星鐘差加密[A];第二屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)電子文集[C];2011年

3 李雅芹;楊慧中;;一種基于仿射傳播聚類和高斯過程的多模型建模方法[A];2009中國(guó)過程系統(tǒng)工程年會(huì)暨中國(guó)mes年會(huì)論文集[C];2009年

4 趙級(jí)漢;張國(guó)敬;姜龍;魏巍;;基于疊加高斯過程的數(shù)字噪聲產(chǎn)生方法FPGA實(shí)現(xiàn)[A];第二十四屆全國(guó)空間探測(cè)學(xué)術(shù)交流會(huì)論文摘要集[C];2011年

5 何志昆;劉光斌;姚志成;趙曦晶;;基于高斯過程回歸的FOG標(biāo)度因數(shù)溫度漂移建模新方法[A];第25屆中國(guó)控制與決策會(huì)議論文集[C];2013年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 王建民;礦山邊坡變形監(jiān)測(cè)數(shù)據(jù)的高斯過程智能分析與預(yù)測(cè)[D];太原理工大學(xué);2016年

2 趙靜;基于高斯過程的動(dòng)態(tài)系統(tǒng)研究[D];華東師范大學(xué);2016年

3 潘偉;基于高斯過程的高爐煉鐵過程辨識(shí)與預(yù)測(cè)[D];浙江大學(xué);2012年

4 賀建軍;基于高斯過程模型的機(jī)器學(xué)習(xí)算法研究及應(yīng)用[D];大連理工大學(xué);2012年

5 夏戰(zhàn)國(guó);基于高斯過程的提升機(jī)軸承性能評(píng)測(cè)方法研究[D];中國(guó)礦業(yè)大學(xué);2013年

6 趙偉;復(fù)雜工程結(jié)構(gòu)可靠度分析的高斯過程動(dòng)態(tài)響應(yīng)面方法研究[D];廣西大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李紅麗;回歸分析中的貝葉斯推斷技術(shù)的研究[D];江南大學(xué);2015年

2 李勵(lì)耘;基于高斯過程的抓取規(guī)劃方法研究[D];哈爾濱工業(yè)大學(xué);2015年

3 王雪茹;基于高斯過程的風(fēng)電機(jī)組部件建模與監(jiān)測(cè)研究[D];華北電力大學(xué);2015年

4 于立鑫;基于高斯過程—差異進(jìn)化算法的隧道施工多元信息反分析研究[D];大連海事大學(xué);2015年

5 戈財(cái)若;基于高斯過程的高光譜圖像分類算法研究[D];東華理工大學(xué);2015年

6 葉婧;基于高斯過程回歸的鋰電池?cái)?shù)據(jù)處理[D];北京交通大學(xué);2016年

7 張棟;基于在線學(xué)習(xí)高斯過程有桿泵油井動(dòng)態(tài)液面建模方法研究[D];東北大學(xué);2014年

8 申倩倩;基于高斯過程的在線建模問題研究[D];華南理工大學(xué);2011年

9 朱江;單任務(wù)以及多任務(wù)稀疏高斯過程[D];華東師范大學(xué);2014年

10 黃榮清;基于稀疏高斯過程回歸的半監(jiān)督分類的序貫訓(xùn)練方法[D];華東師范大學(xué);2012年

，

本文編號(hào)：1319118