本文選題：高斯過程 + 混合模型��； 參考：《華東師范大學》2017年碩士論文

【摘要】：在貝葉斯非參數(shù)框架中,高斯過程是一種常用且功能強大的建模工具,被廣泛應用于分類和回歸問題中。為了提高高斯過程的數(shù)據(jù)建模能力和降低模型訓練的計算復雜度,基于高斯過程混合的模型被相繼提出。然而,這些已有的模型都是基于高斯過程回歸模型,通常用來處理回歸問題。在本文中,我們提出了一個新的基于無限高斯過程混合的分類模型(infinite mixtures of Gaussian processes based classification model,MGPC)。新的模型采用 logistic 函數(shù)作為似然,使得輸出變量能夠表示數(shù)據(jù)點屬于正負類別的概率。因此,MGPC更適用于分類問題�；旌蠙�(quán)重服從狄利克雷過程(Dirichlet process,DP),模型具有建模無限多個混合成分的能力。MGPC采用完全貝葉斯的建模方式,而logistic似然函數(shù)以及DP的引入導致模型的后驗分布難以求解。我們在變分推理的框架下,推導了所有潛變量的近似后驗分布的更新算法。為了算法的可行性,我們采用線性高斯過程模型建模每個混合成分,它是高斯過程的一種等價的參數(shù)化表達,輸出變量之間具有條件獨立性。我們使用變分期望最大算法優(yōu)化模型的超參數(shù)。在多個真實世界數(shù)據(jù)集上的實驗結(jié)果顯示,在與五種常用模型的比較中,MGPC取得了更好的分類性能。我們從多個角度出發(fā)分析實驗結(jié)果,得到了不同于以往的結(jié)論。在單一高斯過程的分類和回歸模型的比較中,兩者性能沒有明顯差距。而MGPC的性能則顯著地優(yōu)于基于高斯過程混合的回歸模型。最后,我們討論了近似后驗分布的截斷水平對模型性能的影響,并通過實驗驗證了我們的分析。同時,實驗結(jié)果也表明了 MGPC取得更好分類性能的潛力。
[Abstract]:In Bayesian nonparametric framework, Gao Si process is a common and powerful modeling tool, which is widely used in classification and regression problems. In order to improve the data modeling ability of Gao Si process and reduce the computational complexity of model training, the hybrid model based on Gao Si process has been proposed one after another. However, these existing models are based on Gao Si process regression models, which are usually used to deal with regression problems. In this paper, we propose a new classification model (infinite mixtures of Gaussian processes based classification model based on infinite Gao Si process. In the new model, the logistic function is used as the likelihood function, which enables the output variables to represent the probability that the data points belong to the positive and negative categories. Therefore, MGPC is more suitable for classification. The mixed weight is derived from the Dirichlet process DP. The model has the ability to model infinite mixed components. MGPC adopts a complete Bayesian modeling method. However, the introduction of logistic likelihood function and DP makes it difficult to solve the posteriori distribution of the model. In the framework of variational reasoning, we derive an algorithm for updating the approximate posterior distribution of all latent variables. For the feasibility of the algorithm, we use the linear Gao Si process model to model each mixed component, which is an equivalent parameterized expression of the Gao Si process, and the output variables are conditional independent. We use the variational expectation maximum algorithm to optimize the superparameters of the model. Experimental results on several real-world datasets show that MGPC achieves better classification performance compared with five commonly used models. We analyze the experimental results from many angles and get different conclusions. There is no significant difference between the classification and regression models of a single Gao Si process. The performance of MGPC is significantly better than that of mixed regression model based on Gao Si process. Finally, we discuss the effect of the truncation level of the approximate posterior distribution on the performance of the model, and verify our analysis by experiments. At the same time, the experimental results show the potential of MGPC to achieve better classification performance.
【學位授予單位】：華東師范大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP18

【相似文獻】

相關(guān)期刊論文 前10條

1 魏三喜;;基于高斯過程的多元分類方法[J];信息技術(shù);2012年06期

2 呂勝尚;;關(guān)于高斯過程的幾個問題[J];西北電訊工程學院學報;1986年02期

3 喻鑫;柳健;田金文;;基于高斯過程的點匹配方法[J];華中科技大學學報(自然科學版);2007年12期

4 董曉慧;柴桂榮;孟憲春;;一種應用稀疏高斯過程回歸模型的半監(jiān)督分類算法[J];電腦知識與技術(shù);2010年28期

5 傅啟明;劉全;伏玉琛;周誼成;于俊;;一種高斯過程的帶參近似策略迭代算法[J];軟件學報;2013年11期

6 李宏偉;劉揚;盧漢清;方亦凱;;結(jié)合半監(jiān)督核的高斯過程分類[J];自動化學報;2009年07期

7 黃麗平;孫永雄;申晨;;用基于中值濾波的高斯過程預測3G網(wǎng)絡性能[J];計算機工程與應用;2013年02期

8 夏戰(zhàn)國;夏士雄;蔡世玉;萬玲;;類不均衡的半監(jiān)督高斯過程分類算法[J];通信學報;2013年05期

9 何志昆;劉光斌;趙曦晶;王明昊;;高斯過程回歸方法綜述[J];控制與決策;2013年08期

10 劉輝;白峰杉;;基于混合高斯過程模型的高光譜圖像分類算法[J];高校應用數(shù)學學報A輯;2010年04期

相關(guān)會議論文 前5條

1 劉信恩;肖世富;莫軍;;用于不確定性分析的高斯過程響應面模型設計點選擇方法研究[A];中國計算力學大會'2010（CCCM2010）暨第八屆南方計算力學學術(shù)會議（SCCM8）論文集[C];2010年

2 劉冬;張清華;;基于高斯過程的精密衛(wèi)星鐘差加密[A];第二屆中國衛(wèi)星導航學術(shù)年會電子文集[C];2011年

3 李雅芹;楊慧中;;一種基于仿射傳播聚類和高斯過程的多模型建模方法[A];2009中國過程系統(tǒng)工程年會暨中國mes年會論文集[C];2009年

4 趙級漢;張國敬;姜龍;魏巍;;基于疊加高斯過程的數(shù)字噪聲產(chǎn)生方法FPGA實現(xiàn)[A];第二十四屆全國空間探測學術(shù)交流會論文摘要集[C];2011年

5 何志昆;劉光斌;姚志成;趙曦晶;;基于高斯過程回歸的FOG標度因數(shù)溫度漂移建模新方法[A];第25屆中國控制與決策會議論文集[C];2013年

相關(guān)博士學位論文 前7條

1 王建民;礦山邊坡變形監(jiān)測數(shù)據(jù)的高斯過程智能分析與預測[D];太原理工大學;2016年

2 趙靜;基于高斯過程的動態(tài)系統(tǒng)研究[D];華東師范大學;2016年

3 潘偉;基于高斯過程的高爐煉鐵過程辨識與預測[D];浙江大學;2012年

4 賀建軍;基于高斯過程模型的機器學習算法研究及應用[D];大連理工大學;2012年

5 夏戰(zhàn)國;基于高斯過程的提升機軸承性能評測方法研究[D];中國礦業(yè)大學;2013年

6 趙偉;復雜工程結(jié)構(gòu)可靠度分析的高斯過程動態(tài)響應面方法研究[D];廣西大學;2014年

7 房晟辰;基于高斯過程回歸及Trust-Tech的短期風電功率預測方法[D];天津大學;2016年

相關(guān)碩士學位論文 前10條

1 李紅麗;回歸分析中的貝葉斯推斷技術(shù)的研究[D];江南大學;2015年

2 李勵耘;基于高斯過程的抓取規(guī)劃方法研究[D];哈爾濱工業(yè)大學;2015年

3 王雪茹;基于高斯過程的風電機組部件建模與監(jiān)測研究[D];華北電力大學;2015年

4 于立鑫;基于高斯過程—差異進化算法的隧道施工多元信息反分析研究[D];大連海事大學;2015年

5 戈財若;基于高斯過程的高光譜圖像分類算法研究[D];東華理工大學;2015年

6 張棟;基于在線學習高斯過程有桿泵油井動態(tài)液面建模方法研究[D];東北大學;2014年

7 王奉偉;改進的局部均值分解和高斯過程在變形監(jiān)測數(shù)據(jù)處理中的應用研究[D];東華理工大學;2016年

8 曹瑜;基于高斯過程的非線性不確定延遲系統(tǒng)的模型預測控制[D];華中科技大學;2014年

9 張莉萍;基于廣義高斯過程回歸的函數(shù)型數(shù)據(jù)分析[D];東南大學;2016年

10 王歡;基于逆高斯過程的退化數(shù)據(jù)分析與試驗設計[D];東南大學;2016年

，

本文編號：2055409