本文關(guān)鍵詞：基于不同罰函數(shù)約束偏最小二乘的應(yīng)用研究

  更多相關(guān)文章： 偏最小二乘回歸 正則化 交叉驗證 罰函數(shù)

【摘要】：隨著科技的發(fā)展,高維數(shù)據(jù)的處理問題越來越吸引人們的眼球,在分析高維數(shù)據(jù)的過程中將會產(chǎn)生各種各樣的問題,如變量多樣本少的情況下,采用傳統(tǒng)的多元統(tǒng)計方法處理數(shù)據(jù)會出現(xiàn)過度擬合的現(xiàn)象,因此傳統(tǒng)的多元統(tǒng)計方法已經(jīng)不能解決目前所面臨的難題.偏最小二乘回歸方法雖然能解決變量多樣本少的情況,但是它不會對變量進(jìn)行選擇.如果能夠找到方法使得一些不重要的變量的系數(shù)壓縮為零,只挑選出重要的變量,達(dá)到變量選擇的目的的同時可以使預(yù)測誤差達(dá)到最小,對于高維數(shù)據(jù)的處理問題來說將具有非常重要的意義.因此,本文主要做了以下研究:第一部分主要介紹了研究背景、研究目的及意義以及國內(nèi)外對改進(jìn)偏最小二乘算法的研究.第二部分介紹了多元線性回歸模型的原理及其性質(zhì),探討了約束最小二乘的幾種罰函數(shù):嶺回歸罰、LASSO罰、彈性網(wǎng)罰、SCAD罰及其算法,以及參數(shù)選擇進(jìn)行了詳細(xì)的研究,同時介紹了偏最小二乘的建模步驟及主成分個數(shù)的選擇問題.第三部分通過對偏最小二乘回歸進(jìn)行改進(jìn),在其建模的過程中上加入三種不同的罰函數(shù):LASSO罰、彈性網(wǎng)罰、SCAD罰,并對其算法進(jìn)行研究,同時通過真實的玉米粒的光照數(shù)據(jù)對三種算法進(jìn)行比較研究,得出LASSO罰約束偏最小二乘的回歸方法優(yōu)于其它兩種罰函數(shù)約束偏最小二乘的回歸方法.第四部分探討了基于凸約束的偏最小二乘回歸算法,我們引入一個正規(guī)化的框架來改進(jìn)算法,通過求解一個放松的SIMPLS懲罰來優(yōu)化問題,對正則化的偏最小二乘的步驟及算法進(jìn)行了研究,最后,以靈敏度和特異性作為評價標(biāo)準(zhǔn),通過模擬數(shù)據(jù)來對其進(jìn)行比較研究,結(jié)果表明,凸約束偏最小二乘算法明顯優(yōu)于其它幾種方法.
【關(guān)鍵詞】：偏最小二乘回歸 正則化 交叉驗證 罰函數(shù)
【學(xué)位授予單位】：長沙理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：O212.1
【目錄】：

• 摘要5-6
• Abstract6-10
• 第一章 緒論10-15
• 1.1 研究背景及意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-13
• 1.2.1 國外研究現(xiàn)狀11-12
• 1.2.2 國內(nèi)研究現(xiàn)狀12-13
• 1.3 本文主要的研究內(nèi)容13-15
• 第二章 回歸分析方法15-33
• 2.1 線性回歸分析15-19
• 2.1.1 多元線性回歸模型15-16
• 2.1.2 最小二乘估計16-17
• 2.1.3 復(fù)共線性問題17-19
• 2.2 罰約束最小二乘回歸19-28
• 2.2.1 嶺回歸罰19-21
• 2.2.2 LASSO罰21-23
• 2.2.3 SCAD罰23-24
• 2.2.4 彈性網(wǎng)罰24-28
• 2.3 偏最小二乘回歸28-32
• 2.3.1 偏最小二乘回歸的計算方法28-30
• 2.3.2 交叉驗證30-32
• 2.4 小結(jié)32-33
• 第三章 罰約束偏最小二乘回歸算法及其實證分析33-44
• 3.1 奇異值分解33
• 3.2 偏最小二乘奇異值分解33-34
• 3.3 罰約束偏最小二乘回歸34-38
• 3.3.1 LASSO罰約束偏最小二乘算法34-35
• 3.3.2 彈性網(wǎng)罰約束偏最小二乘算法35-36
• 3.3.3 SCAD罰約束偏最小二乘算法36-38
• 3.4 實證分析38-43
• 3.4.1 實驗數(shù)據(jù)38-39
• 3.4.2 實證結(jié)果分析39-43
• 3.5 小結(jié)43-44
• 第四章 基于凸約束的偏最小二乘回歸算法及其模擬分析44-55
• 4.1 凸約束偏最小二乘回歸的優(yōu)化問題44-46
• 4.2 凸約束偏最小二乘回歸的解46-48
• 4.3 凸約束偏最小二乘回歸算法48-50
• 4.4 模擬研究50-54
• 4.4.1 模擬數(shù)據(jù)50-51
• 4.4.2 模擬結(jié)果分析51-54
• 4.5 小結(jié)54-55
• 結(jié)論55-57
• 參考文獻(xiàn)57-61
• 致謝61-62
• 附錄 攻讀碩士學(xué)位期間所發(fā)表的學(xué)術(shù)論文目錄62

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 胡煜;;偏最小二乘方法和二次判別分析方法應(yīng)用于基因芯片數(shù)據(jù)分析[J];鞍山師范學(xué)院學(xué)報;2007年04期

2 滿瑞林,趙新那;論偏最小二乘校正方法的穩(wěn)定性[J];中南工業(yè)大學(xué)學(xué)報;1997年06期

3 宮清,滿瑞林,趙新娜;偏最小二乘校正用于X射線熒光光譜法同時測定不同價態(tài)的硫[J];光譜學(xué)與光譜分析;1991年04期

4 葉明;張磊;;偏最小二乘通徑模型在貿(mào)易發(fā)展指數(shù)中的應(yīng)用[J];統(tǒng)計與信息論壇;2010年09期

5 金勇進(jìn),梁燕;偏最小二乘(PartialLeast Square)方法的擬合指標(biāo)及其在滿意度研究中的應(yīng)用[J];數(shù)理統(tǒng)計與管理;2005年02期

6 趙璐;匡建超;羅鑫;王眾;金婷;;基于偏最小二乘支持向量機的圖書館效益評價研究[J];科技管理研究;2010年02期

7 ;第六屆偏最小二乘及相關(guān)方法國際大會征稿通知[J];系統(tǒng)工程學(xué)報;2008年05期

8 殷弘;汪寶彬;;懲罰的偏最小二乘(英文)[J];數(shù)學(xué)雜志;2013年01期

9 陳高波;;基于最小一乘的單因變量偏最小二乘算法[J];武漢工業(yè)學(xué)院學(xué)報;2006年02期

10 楊慧中;陳定三;;局部懲罰加權(quán)核偏最小二乘算法及其應(yīng)用[J];控制工程;2011年06期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 李科;;用偏最小二乘(PLS)回歸法研究數(shù)據(jù)相關(guān)性[A];全國第六屆分子振動光譜學(xué)術(shù)報告會文集[C];1990年

2 劉名揚;白麗飛;張寒琦;任玉林;王洪艷;;偏最小二乘-近紅外透射光譜法用于秦皮中多組分測定的研究[A];中國化學(xué)會第二十五屆學(xué)術(shù)年會論文摘要集（下冊）[C];2006年

3 景明;蔡文生;邵學(xué)廣;;Multiblock偏最小二乘方法的新應(yīng)用[A];第十屆全國計算(機)化學(xué)學(xué)術(shù)會議論文摘要集[C];2009年

4 李大鵬;王惠文;;偏最小二乘Iogistic回歸在鄱陽湖洪澇災(zāi)害預(yù)測中的應(yīng)用[A];2003中國現(xiàn)場統(tǒng)計研究會第十一屆學(xué)術(shù)年會論文集（上）[C];2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 黃新;基于化學(xué)數(shù)據(jù)的若干統(tǒng)計學(xué)習(xí)新方法研究[D];中南大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 楊會;基于偏最小二乘特征的鴿子運動轉(zhuǎn)向解碼研究[D];鄭州大學(xué);2016年

2 杜曉慧;基于不同罰函數(shù)約束偏最小二乘的應(yīng)用研究[D];長沙理工大學(xué);2015年

3 李洪強;基于核偏最小二乘的故障診斷方法研究[D];東北大學(xué);2009年

4 羅純;基于成分?jǐn)?shù)據(jù)若干分析方法的研究[D];中南大學(xué);2011年

5 夏麗莎;基于偏最小二乘的武漢城市圈經(jīng)濟研究[D];華中科技大學(xué);2010年

6 張艷粉;基于偏最小二乘的BP網(wǎng)絡(luò)模型及其應(yīng)用[D];重慶大學(xué);2007年

7 裴振中;偏最小二乘—最大熵法在石油勘探風(fēng)險評價中的應(yīng)用[D];成都理工大學(xué);2005年

8 陳海波;市場經(jīng)濟下天然氣價格預(yù)測研究——偏最小二乘神經(jīng)網(wǎng)絡(luò)模型（PLSNN）應(yīng)用[D];成都理工大學(xué);2004年

9 周琳;基于非線性偏最小二乘的特征提取方法研究[D];南京理工大學(xué);2011年

10 李亞瓊;基于優(yōu)化的偏最小二乘—判別分析和核磁共振波譜的肺癌血清代謝組學(xué)研究[D];華中師范大學(xué);2014年

，

本文編號：593315