【摘要】：本文系統(tǒng)介紹了一系列最優(yōu)化帶罰函數(shù)的最小二乘時(shí)序差分的方法,給出了它們模型的數(shù)學(xué)表達(dá)形式和求解方法.LSTD-42將經(jīng)典最小二乘時(shí)序差分進(jìn)行了正則化的擴(kuò)展,使得求解過(guò)程變得更加穩(wěn)定;而LSTD-l1能從系數(shù)的稀疏性中獲益;LSTD-l22和LSTD-l21則將投影布和不動(dòng)點(diǎn)步分開(kāi),添加不同的懲罰約束.并將其的稀疏約束從l1懲罰擴(kuò)展到了在一般特征選擇中表現(xiàn)更好的非凸罰函數(shù)SCAD和MCP.本文從貝葉斯的觀(guān)點(diǎn),提出了用帶稀疏先驗(yàn)的層次貝葉斯模型bLSTD-u和bLSTD-ω,推導(dǎo)得到了它們的全條件后驗(yàn)分布,依此可以用吉布斯采樣的方法高效求解,并給出了基于經(jīng)驗(yàn)貝葉斯的極大似然估計(jì)和基于伽馬先驗(yàn)導(dǎo)出全條件后驗(yàn)的這兩種正則化參數(shù)推斷的方法.此外.本文還比較了罰函數(shù)方法和貝葉斯推斷在投影步的不同之處,并在數(shù)值實(shí)驗(yàn)部分,在兩個(gè)經(jīng)典的強(qiáng)化學(xué)習(xí)問(wèn)題上比較了最優(yōu)化方法和貝葉斯推斷方法的性能.實(shí)驗(yàn)表明,帶稀疏先驗(yàn)的貝葉斯推斷能取得與帶稀疏l1懲罰的最優(yōu)化方法相近的結(jié)果.且遠(yuǎn)遠(yuǎn)優(yōu)于沒(méi)有利用稀疏性的簡(jiǎn)單l_2懲罰.
【學(xué)位授予單位】：武漢大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：O212
【圖文】：

２１，３２）．在這些實(shí)驗(yàn)中，環(huán)境設(shè)定為一個(gè)包含２０個(gè)狀態(tài)，２個(gè)動(dòng)作的ＭＤＰ，如圖４．１邋．這些逡逑狀態(tài)連成鏈狀，在每個(gè)狀態(tài)上，ａｇｅｎｔ可以采取”左”或”右”這兩個(gè)動(dòng)作的其中一個(gè)，結(jié)果是有一逡逑定的概率成功轉(zhuǎn)移到所選定的方向，失敗則移到所選定方向的反方向．即ａｇｅｎｔ在狀態(tài)＆上，采逡逑取”左”的動(dòng)作時(shí)，有ｐ的概率轉(zhuǎn)移到狀態(tài)Ｓｈ，有１邋－ｐ的概率轉(zhuǎn)移到狀態(tài)ｓｉ＋１，同樣”右”的動(dòng)逡逑作的轉(zhuǎn)移結(jié)果也是類(lèi)似的設(shè)定．當(dāng)ａｇｅｎｔ在邊界狀態(tài)上，且所轉(zhuǎn)移的方向不存在狀態(tài)時(shí)，則保持現(xiàn)逡逑

ｎｕｍｂｅｒ邋ｏｆ邋ｎｏｉｓｅ邋ｆｅａｔｕｒｅｓ逡逑圖４．２：實(shí)驗(yàn)人？噪聲特征個(gè)數(shù)ｆｃ，ｌａｆａｅ從０到㈨變化時(shí)近似狀態(tài)價(jià)值函數(shù)與真值的誤差逡逑圖４．２是噪聲特征個(gè)數(shù)ｆｃｎ（５ｉｓｅ從０到１０００變化時(shí)近似狀態(tài)價(jià)值函數(shù)與真值的誤差．該實(shí)驗(yàn)設(shè)逡逑定Ａｖｂｆ邋＝邋９，噪聲數(shù)ｆｃｎ（）ｉｓｅ從０到１０００依次變化．每次實(shí)驗(yàn)的樣本數(shù)ｎ邋＝邋５００．每種方法同樣的實(shí)逡逑驗(yàn)重復(fù)１００次，以得到均值和標(biāo)準(zhǔn)差．為了圖表的簡(jiǎn)潔性，這里選取了兩種最優(yōu)化帶罰函數(shù)的方法逡逑ＬＳＴＤ－Ｌ邋（２．５）和邋ＬＳＴＤ－ｋ邋（２．１０），以及兩種貝葉斯推斷方法邋ｂＬＳＴＤ－ｗ邋（３．５）和邋ｂＬＳＴＤ－ｗ邋（３．６）作逡逑為代表．這里未畫(huà)出結(jié)果的ＬＳＴＤ－／２２方法的效果與ＬＳＴＤ七幾乎相同，而ＬＳＴＤ七和帶非凸懲逡逑罰的ＬＳＴＤ方法估計(jì)所得到的狀態(tài)價(jià)值函數(shù)的近似結(jié)果，則與ＬＳＴＤ－ｉ２１相差無(wú)幾．逡逑從中可以看到，當(dāng)無(wú)關(guān)的噪聲個(gè)數(shù)逐漸增加時(shí)，ＬＳＴＤ七估計(jì)對(duì)狀態(tài)價(jià)值函數(shù)的近似誤差很高，逡逑且方差隨著無(wú)關(guān)特征個(gè)數(shù)的增多而變大，表明該方法越來(lái)越不穩(wěn)定；而帶稀疏約束的ＬＳＴＤ－；２１和逡逑帶有稀疏拉普拉斯先驗(yàn)的貝葉斯推斷方法ｂＬＳＴＤ－ｗ和ｂＬＳＴＤ－ｗ都有較高的近似精度

邐３０逡逑圖４．３：實(shí)驗(yàn)人？估計(jì)系數(shù)ｗ的稀疏程度逡逑圖４．３由上至下是真實(shí)的系數(shù)ｕ；和ＬＳＴＤ４２，邋ＬＳＴＤ－Ｌ邋ｂＬＳＴＤ－ｕ；所得到的估計(jì)，橫軸表示系逡逑數(shù)向量的指標(biāo)．該實(shí)驗(yàn)設(shè)定樣本數(shù)ｎ邋＝邋５０；相關(guān)特征包括ｈｂｆ邋＝邋９個(gè)徑向基函數(shù)和一個(gè)常數(shù)，無(wú)關(guān)逡逑噪聲特征數(shù)Ａｒｎｃ）ｉｓｅ邋＝邋２０，總共３０個(gè)特征；真實(shí)的系數(shù)逡逑ｗ邋＝邋（１０，．．．，邋１０，邋－１０，．．．，－１０，邋０邐０）Ｔ．逡逑ｖ邐ｖ邐，邋ｖ邐Ｖ邐＂邋ｖＶ？＇逡逑５邋個(gè)邋１０邐５邋個(gè)－１０邐２０邋個(gè)邋０逡逑從圖中可以看到，ＬＳＴＤ七估計(jì)無(wú)法識(shí)別出這些噪聲特征；ＬＳＴＤ－／，能將大部分噪聲特征的系逡逑數(shù)完全收縮到０，但對(duì)于相關(guān)特征的系數(shù)，由于徑向基函數(shù)造成的特征之間的相關(guān)性，沒(méi)有Ｚ２懲罰逡逑均勻分配系數(shù)質(zhì)量，ＬＳＴＤ４估計(jì)將許多的相關(guān)特征的系數(shù)也收縮到０，只是將正負(fù)質(zhì)量完全分配逡逑給一正一負(fù)兩個(gè)相關(guān)的系數(shù)；貝葉斯推斷方法ｂＬＳＴＤ－Ｗ雖然沒(méi)有將噪聲特征的系數(shù)完全收縮到逡逑０

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳聰偉;張輝;;非線(xiàn)性約束優(yōu)化問(wèn)題的乘子罰函數(shù)方法[J];數(shù)學(xué)學(xué)習(xí)與研究;2013年23期

2 陳祖浩;最優(yōu)過(guò)程罰函數(shù)方法的數(shù)學(xué)理論[J];數(shù)學(xué)年刊A輯(中文版);1982年03期

3 房月華;;非線(xiàn)性方程組的一個(gè)不使用罰函數(shù)和filter的算法[J];西南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2018年05期

4 連淑君;唐加會(huì);杜愛(ài)華;;帶等式約束的光滑優(yōu)化問(wèn)題的一類(lèi)新的精確罰函數(shù)[J];運(yùn)籌學(xué)學(xué)報(bào);2018年04期

5 程曉良;連續(xù)壓力空間的有限元罰方法[J];杭州大學(xué)學(xué)報(bào)(自然科學(xué)版);1991年01期

6 吳聰偉;曹繼平;朱亞紅;;基于約束優(yōu)化問(wèn)題乘子罰函數(shù)方法的全局收斂性分析[J];萍鄉(xiāng)高等專(zhuān)科學(xué)校學(xué)報(bào);2013年03期

7 陳靜靜;劉三陽(yáng);丁毓;;基于罰函數(shù)方法的Leach協(xié)議[J];數(shù)學(xué)的實(shí)踐與認(rèn)識(shí);2019年07期

8 赫振華;白富生;;二次罰函數(shù)的可分化方法[J];重慶師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年01期

9 田占強(qiáng);馬志壘;李成;;復(fù)合材料纖維疊層織物彈道侵徹?cái)?shù)值分析[J];機(jī)械設(shè)計(jì)與制造;2011年12期

10 田大鋼;郭俐;;線(xiàn)性規(guī)劃問(wèn)題罰函數(shù)方法的一種統(tǒng)一形式[J];數(shù)學(xué)的實(shí)踐與認(rèn)識(shí);2008年05期

相關(guān)會(huì)議論文 前1條

1 薛毅;姚富玲;;求解等式約束問(wèn)題的一類(lèi)修正罰函數(shù)方法[A];中國(guó)運(yùn)籌學(xué)會(huì)第七屆學(xué)術(shù)交流會(huì)論文集（上卷）[C];2004年

相關(guān)博士學(xué)位論文 前1條

1 韓伯順;非線(xiàn)性規(guī)劃中的罰函數(shù)及填充函數(shù)方法[D];上海大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 嚴(yán)博宇;最小二乘時(shí)序差分中的正則化：罰函數(shù)和貝葉斯的比較[D];武漢大學(xué);2018年

2 楊書(shū)濤（TOUNA YANG）;約束優(yōu)化問(wèn)題的罰函數(shù)光滑化方法[D];大連理工大學(xué);2018年

3 唐加會(huì);等式約束優(yōu)化與極大極小化問(wèn)題的罰函數(shù)研究[D];曲阜師范大學(xué);2017年

4 程桂香;非線(xiàn)性最優(yōu)化問(wèn)題的一族新的罰函數(shù)方法研究[D];首都師范大學(xué);2006年

5 李秀慧;非凸規(guī)劃的同倫—罰函數(shù)方法及其在稀疏投資組合優(yōu)化中的應(yīng)用[D];大連理工大學(xué);2017年

6 劉佛祥;基于動(dòng)態(tài)罰函數(shù)和多目標(biāo)的人工蜂群算法求解約束優(yōu)化問(wèn)題的研究[D];南京師范大學(xué);2017年

7 劉俊梅;混合差分進(jìn)化算法及應(yīng)用研究[D];北方民族大學(xué);2010年

8 李會(huì)榮;融合粒子群的全局優(yōu)化混合智能算法研究[D];北方民族大學(xué);2009年

9 雷翻翻;非線(xiàn)性規(guī)劃問(wèn)題的粒子群優(yōu)化算法研究[D];北方民族大學(xué);2011年

10 杜愛(ài)華;約束優(yōu)化問(wèn)題的精確罰函數(shù)研究[D];曲阜師范大學(xué);2017年

本文編號(hào)：2745400