【摘要】：由于具有預(yù)測(cè)功能,回歸算法是機(jī)器學(xué)習(xí)等領(lǐng)域中常用到的算法,通常是對(duì)訓(xùn)練樣本的自變量和因變量建立回歸模型,然后利用回歸模型將測(cè)試樣本的自變量映射到因變量,但是這個(gè)過程沒有充分利用測(cè)試集中樣本的信息,特別是在訓(xùn)練集中樣本較少的時(shí)候,不能對(duì)回歸模型進(jìn)行充分的訓(xùn)練,無(wú)法得到令人滿意的預(yù)測(cè)結(jié)果。本文將自訓(xùn)練的思想引入到回歸算法中,將多個(gè)回歸算法預(yù)測(cè)得到的置信度高的樣本加入到訓(xùn)練集中重新進(jìn)行回歸,在公開數(shù)據(jù)集上得到了比傳統(tǒng)回歸算法更好的預(yù)測(cè)結(jié)果,提高了回歸準(zhǔn)確率。
【圖文】：

充分的訓(xùn)練，對(duì)測(cè)試樣本的因變量預(yù)測(cè)更加準(zhǔn)確。1基于自訓(xùn)練的回歸算法本文提出的自訓(xùn)練回歸算法亮點(diǎn)是加入了自訓(xùn)練的過程，下面將針對(duì)這一自訓(xùn)練反饋過程進(jìn)行闡述:本文利用兩個(gè)回歸算法:雙高斯過程回歸和LS－SVM對(duì)訓(xùn)練樣本同時(shí)進(jìn)行訓(xùn)練，將訓(xùn)練好的回歸模型分別用于測(cè)試樣本的預(yù)測(cè)中，對(duì)預(yù)測(cè)得到的樣本進(jìn)行置信度計(jì)算，將兩者預(yù)測(cè)得到的置信度都高的測(cè)試樣本加入到訓(xùn)練集中重新進(jìn)行回歸模型的訓(xùn)練，然后用新得到的回歸模型重新對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)。下面就雙高斯過程回歸、libSVM和置信度的確定方式進(jìn)行說(shuō)明。圖1傳統(tǒng)的回歸算法流程圖2本文的回歸算法流程1.1雙高斯過程回歸雙高斯過程回歸是對(duì)經(jīng)典高斯過程回歸的改進(jìn)，傳統(tǒng)的高斯過程回歸算法由Ｒasmussen提出，高斯過程回歸和貝葉斯線性回歸類似，不同之處在于高斯過程回歸用核函數(shù)替代了貝葉斯回歸中的基函數(shù)，使得一些難以表示出基函數(shù)的模型仍可以用核函數(shù)繼續(xù)進(jìn)行回歸過程，應(yīng)用廣泛。高斯過程是一個(gè)隨機(jī)變量的集合，這些隨機(jī)變量服從聯(lián)合高斯分布。在高斯過程回歸中，這些隨機(jī)變量表示自變量函數(shù)的值。高斯過程回歸假設(shè)自變量函數(shù)分布的均值為0，他們之間的相關(guān)性則用協(xié)方差函數(shù)表示，常用的協(xié)方差函數(shù)如下:Ki，j=K(Xi，Xj)=θ0exp－12∑D1d=1ηd(xi，d－xj，d){}2+θ1(1)式中:Xi為第i個(gè)自變量。i=1，2，…，N;Xj為第j個(gè)自變量。j=1，2，…，N;θ0、ηd，d=1，2，…，D1和θ1為高斯核函數(shù)中的超參數(shù);xi，d為Xi中第d維上的數(shù)值;xj，d為Xj中第d維上的數(shù)值。在上述的協(xié)方差函數(shù)中，若兩個(gè)變量越接近或者越相似，則兩者的相關(guān)性越大，否則，相關(guān)性越校在定義了協(xié)方差函數(shù)?

鏡囊蟣淞吭げ飧闈幼既貳?1基于自訓(xùn)練的回歸算法本文提出的自訓(xùn)練回歸算法亮點(diǎn)是加入了自訓(xùn)練的過程，下面將針對(duì)這一自訓(xùn)練反饋過程進(jìn)行闡述:本文利用兩個(gè)回歸算法:雙高斯過程回歸和LS－SVM對(duì)訓(xùn)練樣本同時(shí)進(jìn)行訓(xùn)練，將訓(xùn)練好的回歸模型分別用于測(cè)試樣本的預(yù)測(cè)中，對(duì)預(yù)測(cè)得到的樣本進(jìn)行置信度計(jì)算，，將兩者預(yù)測(cè)得到的置信度都高的測(cè)試樣本加入到訓(xùn)練集中重新進(jìn)行回歸模型的訓(xùn)練，然后用新得到的回歸模型重新對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)。下面就雙高斯過程回歸、libSVM和置信度的確定方式進(jìn)行說(shuō)明。圖1傳統(tǒng)的回歸算法流程圖2本文的回歸算法流程1.1雙高斯過程回歸雙高斯過程回歸是對(duì)經(jīng)典高斯過程回歸的改進(jìn)，傳統(tǒng)的高斯過程回歸算法由Ｒasmussen提出，高斯過程回歸和貝葉斯線性回歸類似，不同之處在于高斯過程回歸用核函數(shù)替代了貝葉斯回歸中的基函數(shù)，使得一些難以表示出基函數(shù)的模型仍可以用核函數(shù)繼續(xù)進(jìn)行回歸過程，應(yīng)用廣泛。高斯過程是一個(gè)隨機(jī)變量的集合，這些隨機(jī)變量服從聯(lián)合高斯分布。在高斯過程回歸中，這些隨機(jī)變量表示自變量函數(shù)的值。高斯過程回歸假設(shè)自變量函數(shù)分布的均值為0，他們之間的相關(guān)性則用協(xié)方差函數(shù)表示，常用的協(xié)方差函數(shù)如下:Ki，j=K(Xi，Xj)=θ0exp－12∑D1d=1ηd(xi，d－xj，d){}2+θ1(1)式中:Xi為第i個(gè)自變量。i=1，2，…，N;Xj為第j個(gè)自變量。j=1，2，…，N;θ0、ηd，d=1，2，…，D1和θ1為高斯核函數(shù)中的超參數(shù);xi，d為Xi中第d維上的數(shù)值;xj，d為Xj中第d維上的數(shù)值。在上述的協(xié)方差函數(shù)中，若兩個(gè)變量越接近或者越相似，則兩者的相關(guān)性越大，否則，相關(guān)性越校在定義了協(xié)方差函數(shù)后，我們的目的是利用訓(xùn)練

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉路放,馮博琴;關(guān)于逐步回歸算法的一個(gè)修正[J];西安交通大學(xué)學(xué)報(bào);1999年07期

2 趙旦峰;許聰;張楊;;基于固定半徑包圍球的核向量回歸算法[J];系統(tǒng)工程與電子技術(shù);2009年12期

3 孫德山;趙君;高懫葵;鄭平;劉小菲;;基于一類分類的線性規(guī)劃支持向量回歸算法[J];計(jì)算機(jī)科學(xué);2014年04期

4 何海江;何文德;劉華富;;集成最近鄰規(guī)則的半監(jiān)督順序回歸算法[J];計(jì)算機(jī)應(yīng)用;2010年04期

5 張倩;李明;王雪松;;基于密度分布的半監(jiān)督回歸算法研究[J];工礦自動(dòng)化;2012年03期

6 孫德山;郭昶;徐婷;;基于一類分類的非線性回歸算法[J];計(jì)算機(jī)工程與科學(xué);2012年07期

7 羅澤舉;朱思銘;;新型ε-不敏感損失函數(shù)支持向量誘導(dǎo)回歸算法及售后服務(wù)數(shù)據(jù)模型預(yù)測(cè)系統(tǒng)[J];計(jì)算機(jī)科學(xué);2005年08期

8 孫德山,吳今培,侯振挺,肖健華;單參數(shù)支持向量回歸算法[J];系統(tǒng)工程學(xué)報(bào);2005年01期

9 涂建平;蔡佳;;基于光滑化方法的支持向量回歸算法[J];湖北大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年01期

10 張文興;叢寬;王建國(guó);秦波;;一種新的快速支持向量回歸算法[J];微計(jì)算機(jī)信息;2010年33期

相關(guān)博士學(xué)位論文 前1條

1 鄭逢德;支撐向量回歸算法及其應(yīng)用研究[D];北京工業(yè)大學(xué);2012年

相關(guān)碩士學(xué)位論文 前4條

1 高采葵;基于一類分類的線性規(guī)劃支持向量回歸算法[D];遼寧師范大學(xué);2015年

2 張際雄;正則化回歸算法學(xué)習(xí)速度的一種估計(jì)[D];杭州師范大學(xué);2011年

3 周驥;在線學(xué)習(xí)及其在智能交通與金融工程中的應(yīng)用[D];復(fù)旦大學(xué);2011年

4 吳金花;加權(quán)支持向量回歸算法研究[D];遼寧師范大學(xué);2009年

本文編號(hào)：2583842