【摘要】：在經(jīng)濟(jì)社會(huì)問(wèn)題中,許多實(shí)際任務(wù)都可以轉(zhuǎn)化為回歸問(wèn)題,比如,市場(chǎng)趨勢(shì)預(yù)測(cè)、人口預(yù)測(cè)、經(jīng)濟(jì)發(fā)展因素分析、股價(jià)預(yù)測(cè)等。排序?qū)W習(xí)在實(shí)際中也有許多應(yīng)用的例子,比如,作為一個(gè)有力工具,排序?qū)W習(xí)在信息檢索、質(zhì)量控制、生存分析、計(jì)算生物學(xué)等方面有著許多實(shí)際應(yīng)用價(jià)值。在回歸分析中,經(jīng)常遇到非線性問(wèn)題,此時(shí)常用的回歸方法,如多元線性回歸、多元逐步回歸、線性分位數(shù)回歸等方法,就不能對(duì)數(shù)據(jù)進(jìn)行有效擬合和預(yù)測(cè)了。核函數(shù)的表示方法,通過(guò)定義一個(gè)核函數(shù)作為非線性變換,將輸入空間的非線性數(shù)據(jù)映射到高維的特征空間,然后在這個(gè)線性的特征空間中構(gòu)造回歸函數(shù),而且只需要計(jì)算數(shù)據(jù)在特征空間的內(nèi)積就可以表示數(shù)據(jù)的特征。因此利用核函數(shù)技術(shù),不失為解決非線性回歸問(wèn)題的一種有效方法。在進(jìn)行回歸分析時(shí),基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的回歸算法屬于不適定問(wèn)題,在樣本量較小時(shí)容易出現(xiàn)“過(guò)擬合現(xiàn)象”,雖然對(duì)訓(xùn)練數(shù)據(jù)有較高的擬合度,但是對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力差,模型的復(fù)雜度過(guò)大。為此,Tikhonov提出了正則化的方法,在期望風(fēng)險(xiǎn)后面加上表示模型復(fù)雜度的正則化項(xiàng),在這種結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則下進(jìn)行回歸學(xué)習(xí)。核正則化方法同時(shí)結(jié)合核函數(shù)技術(shù)和正則化方法的優(yōu)點(diǎn),是學(xué)習(xí)理論當(dāng)前采用的一種新方法。本文基于核正則化方法,在最小平方損失下,對(duì)回歸學(xué)習(xí)和向量排序?qū)W習(xí)的收斂速度進(jìn)行研究。對(duì)算法的誤差上界進(jìn)行量化分析,以此來(lái)衡量根據(jù)訓(xùn)練樣本學(xué)習(xí)到的算法對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力,探討算法的收斂速度是否受到再生核空間的凸性、逼近性能和容量的影響,這是學(xué)習(xí)理論中的一個(gè)焦點(diǎn)問(wèn)題。本文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)體現(xiàn)在以下三個(gè)方面:1.近年來(lái)已經(jīng)有許多文獻(xiàn)對(duì)再生核Hilbert空間的正則化回歸學(xué)習(xí)算法的收斂速度進(jìn)行了研究。但是由于Hilbert空間的結(jié)構(gòu)簡(jiǎn)單所以有局限性,實(shí)際上許多數(shù)據(jù)不滿足由Hilbert空間的內(nèi)積誘導(dǎo)的距離。因此有必要擴(kuò)大假設(shè)函數(shù)空間,Banach空間就是一個(gè)合理的選擇。對(duì)再生核Banach空間的正則化回歸學(xué)習(xí)算法的收斂性進(jìn)行分析,這是一個(gè)新的研究領(lǐng)域,一個(gè)關(guān)鍵的理論問(wèn)題是Banach空間的幾何性質(zhì)如何影響收斂速度。論文的第三章在Banach空間B具有q-一致凸性(其中ql),有一致連續(xù)的再生核等假定下,對(duì)再生核Banach空間的正則回歸學(xué)習(xí)算法的收斂速度進(jìn)行了研究,分別推導(dǎo)出了以期望均值和經(jīng)驗(yàn)均值表示的學(xué)習(xí)速度,結(jié)果表明Banach空間的一致凸性會(huì)影響核正則化回歸算法的學(xué)習(xí)速度,改進(jìn)了現(xiàn)有文獻(xiàn)中得到的學(xué)習(xí)速度。之后給出符合定理?xiàng)l件的再生核Banach空間的例子,說(shuō)明了定理?xiàng)l件的合理性。2.對(duì)于Banach空間無(wú)凸性要求的情況(= l),目前尚未見(jiàn)到對(duì)此時(shí)再生核Banach空間的正則化回歸算法的收斂性進(jìn)行分析,論文的第四章展開(kāi)了這方面的研究,以期望均值的形式推導(dǎo)出了該核正則化回歸算法的泛化誤差的概率上界。研究結(jié)果表明此時(shí)正則化回歸算法的期望誤差上界與樣本量、再生核Banach空間的復(fù)雜度、逼近誤差、輸出空間Y的取值上界M、再生核等有關(guān)。3.排序?qū)W習(xí)可以看作是特殊的回歸問(wèn)題,但是也有它的不同之處。在排序問(wèn)題中,通過(guò)學(xué)習(xí)一個(gè)實(shí)值函數(shù)用以對(duì)樣本進(jìn)行打分,但是得分本身并不重要,關(guān)鍵在于通過(guò)這些得分對(duì)研究對(duì)象進(jìn)行相對(duì)排序。近年來(lái),將排序理論和機(jī)器學(xué)習(xí)結(jié)合起來(lái),形成了核正則化排序方法。將一般的排序問(wèn)題擴(kuò)展為向量排序問(wèn)題,這是一個(gè)新的研究?jī)?nèi)容。在論文第五章中,利用假設(shè)空間的覆蓋數(shù)、再生性等特點(diǎn),對(duì)最小平方損失下再生核Hilbert空間的正則化向量排序算法的收斂速度進(jìn)行了定量研究,利用Gateaux導(dǎo)數(shù)給出了最優(yōu)解和未知分布之間的定性關(guān)系,從數(shù)量上分析了解的穩(wěn)定性問(wèn)題。最后,根據(jù)再生核Hilbert空間的逼近性能和容量,推導(dǎo)出了向量排序?qū)W習(xí)算法的收斂速度。此外,蒙特卡洛數(shù)值模擬和經(jīng)濟(jì)預(yù)測(cè)的實(shí)證分析結(jié)果都表明,核正則化回歸方法是處理非線性回歸問(wèn)題的一個(gè)有效途徑。
【學(xué)位授予單位】：浙江工商大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：F224
【圖文】：

邐４邐ｔ邐１邐３邐ｉ逡逑圖６－１邋；Ｌ邋＝邋０．０１，９＝１時(shí)的擬合曲線對(duì)比圖邐圖６－２邋；Ｌ邋＝邋０．０１，ｇ邋＝邋２時(shí)的擬合曲線對(duì)比圖逡逑邐？邐，邐１邐１一－＾＝Ｉ＝＝ｌ邐ｆ邐邐邐邐邐邐—￣邐．．．－－－了逡逑”■——邋———理邋＼邐邐邐邐邐邐邐邐邐邐邐邐邐邐—－邋邋邋■栜！■逡逑１４邋■邐１４邋‘邐ｒ—逡逑ｔ邋ｊ邋－邐＇，邐ｔｉ邋＜邐＾逡逑ｍ邋－邐１邐＼邐－邐ｍ邋■邐ｆ邋％邐－逡逑０４－邐ｊ邐＼邐．邐０４邋？邐，邐＼邐？逡逑ｍ－邐ｉ：邐＼邐你ｓ＇邐／邐＼邐－逡逑———／－－”邋…—一？：戶逡逑＾３％邐－２邐－１邐０邐１２邐３邐ｆ邐０邐１邐ｔ邐３逡逑圖６－３邋；ｌ邋＝邋０．０１，ｇ邋＝邋３時(shí)的擬合曲線對(duì)比圖邋圖６－４邋Ａ邋＝邋０．０１，ｇ邋＝邋４時(shí)的擬合曲線對(duì)比圖逡逑從以上四個(gè)對(duì)比圖可以發(fā)現(xiàn)，當(dāng)Ａ邋＝邋０．０１，邋９邋＝邋１，２，３，４時(shí)，利用核正則化方法逡逑得到的四條回歸曲線對(duì)理論曲線的擬合效果都非常好。而高斯核函數(shù)從表達(dá)式本逡逑身來(lái)看

邐４邐ｔ邐１邐３邐ｉ逡逑圖６－１邋；Ｌ邋＝邋０．０１，９＝１時(shí)的擬合曲線對(duì)比圖邐圖６－２邋；Ｌ邋＝邋０．０１，ｇ邋＝邋２時(shí)的擬合曲線對(duì)比圖逡逑邐？邐，邐１邐１一－＾＝Ｉ＝＝ｌ邐ｆ邐邐邐邐邐邐—￣邐．．．－－－了逡逑”■——邋———理邋＼邐邐邐邐邐邐邐邐邐邐邐邐邐邐—－邋邋邋■栜！■逡逑１４邋■邐１４邋‘邐ｒ—逡逑ｔ邋ｊ邋－邐＇，邐ｔｉ邋＜邐＾逡逑ｍ邋－邐１邐＼邐－邐ｍ邋■邐ｆ邋％邐－逡逑０４－邐ｊ邐＼邐．邐０４邋？邐，邐＼邐？逡逑ｍ－邐ｉ：邐＼邐你ｓ＇邐／邐＼邐－逡逑———／－－”邋…—一？：戶逡逑＾３％邐－２邐－１邐０邐１２邐３邐ｆ邐０邐１邐ｔ邐３逡逑圖６－３邋；ｌ邋＝邋０．０１，ｇ邋＝邋３時(shí)的擬合曲線對(duì)比圖邋圖６－４邋Ａ邋＝邋０．０１，ｇ邋＝邋４時(shí)的擬合曲線對(duì)比圖逡逑從以上四個(gè)對(duì)比圖可以發(fā)現(xiàn)，當(dāng)Ａ邋＝邋０．０１，邋９邋＝邋１，２，３，４時(shí)，利用核正則化方法逡逑得到的四條回歸曲線對(duì)理論曲線的擬合效果都非常好。而高斯核函數(shù)從表達(dá)式本逡逑身來(lái)看

邐４邐ｔ邐１邐３邐ｉ逡逑圖６－１邋；Ｌ邋＝邋０．０１，９＝１時(shí)的擬合曲線對(duì)比圖邐圖６－２邋；Ｌ邋＝邋０．０１，ｇ邋＝邋２時(shí)的擬合曲線對(duì)比圖逡逑邐？邐，邐１邐１一－＾＝Ｉ＝＝ｌ邐ｆ邐邐邐邐邐邐—￣邐．．．－－－了逡逑”■——邋———理邋＼邐邐邐邐邐邐邐邐邐邐邐邐邐邐—－邋邋邋■栜！■逡逑１４邋■邐１４邋‘邐ｒ—逡逑ｔ邋ｊ邋－邐＇，邐ｔｉ邋＜邐＾逡逑ｍ邋－邐１邐＼邐－邐ｍ邋■邐ｆ邋％邐－逡逑０４－邐ｊ邐＼邐．邐０４邋？邐，邐＼邐？逡逑ｍ－邐ｉ：邐＼邐你ｓ＇邐／邐＼邐－逡逑———／－－”邋…—一？：戶逡逑＾３％邐－２邐－１邐０邐１２邐３邐ｆ邐０邐１邐ｔ邐３逡逑圖６－３邋；ｌ邋＝邋０．０１，ｇ邋＝邋３時(shí)的擬合曲線對(duì)比圖邋圖６－４邋Ａ邋＝邋０．０１，ｇ邋＝邋４時(shí)的擬合曲線對(duì)比圖逡逑從以上四個(gè)對(duì)比圖可以發(fā)現(xiàn)，當(dāng)Ａ邋＝邋０．０１，邋９邋＝邋１，２，３，４時(shí)，利用核正則化方法逡逑得到的四條回歸曲線對(duì)理論曲線的擬合效果都非常好。而高斯核函數(shù)從表達(dá)式本逡逑身來(lái)看

【參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 陳賀;;基于多元線性回歸的山東省經(jīng)濟(jì)發(fā)展的影響因素分析[J];金融教育研究;2016年05期

2 韓紹庭;周雨欣;;多元線性回歸與ARIMA在中國(guó)人口預(yù)測(cè)中的比較研究[J];中國(guó)管理信息化;2014年22期

3 宋淑麗;齊偉娜;;基于多元線性回歸的農(nóng)村剩余勞動(dòng)力轉(zhuǎn)移研究——以黑龍江省為例[J];農(nóng)業(yè)技術(shù)經(jīng)濟(jì);2014年04期

4 任慧;趙晨辰;白幃綺;;基于多元線性回歸分析方法的新股上市首日破發(fā)影響因素實(shí)證研究[J];內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年01期

5 李菁;向玲;;財(cái)政農(nóng)業(yè)支出對(duì)農(nóng)村勞動(dòng)力轉(zhuǎn)移的動(dòng)態(tài)效應(yīng)研究:1978—2011年[J];經(jīng)濟(jì)問(wèn)題探索;2013年02期

6 張仁壽;任曉怡;;基于RF的中國(guó)貿(mào)易收支非線性回歸模型研究[J];廣州大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年04期

7 李磊;閆蕊;潘慧玲;;上海市工業(yè)廢水排放量的多元非線性回歸預(yù)測(cè)[J];數(shù)學(xué)的實(shí)踐與認(rèn)識(shí);2011年21期

8 徐宗本,張茁生;L~p空間的另一組特征不等式[J];數(shù)學(xué)學(xué)報(bào);1994年04期

本文編號(hào)：2772449