【摘要】：在強化學習的值函數(shù)線性估計問題中,時序差分不動點解和貝爾曼殘差的方法都是對真實值函數(shù)的斜投影,然而這兩種解經(jīng)證明都不是最優(yōu)解.通過對兩種投影進行加權平均,提出了一種一般化的斜投影算子.基于此推導出兩種殘差時序差分學習算法,并給出了這兩種算法在異策略下的收斂性證明.在著名的Baird的異策略反例實驗上,與相關算法進行了對比,實驗結果驗證了所提算法的正確性和有效性.
【圖文】：

Ｌ１Φ＝Ｄ（Ｉ－ｗγＰ）Φ＝ＤＬ２Φ其中Ｌ２＝Ｉ－ｗγＰ，權重ｗ是一個實數(shù)．顯然，當ｗ�。昂停睍r，ＸＲ就等于ＸＴＤ和ＸＢＲ．由于ＴＤ和ＢＲ的方法各有優(yōu)點（ＴＤ的方法收斂速度快，但無法保證收斂性，而ＢＲ的方法具有很好的收斂性，收斂的速度卻很慢），所以通過將兩者加權得到ＲＴＤ的方法，能夠綜合ＴＤ和ＢＲ的優(yōu)點，在收斂的速度和穩(wěn)定性之間做一個權衡，因此本文中�。鲗儆冢暗剑敝g的實數(shù)．圖１幾種方法投影的幾何關系Ｆｉｇ．１Ｇｅｏｍｅｔｒｉｃｒｅｌａｔｉｏｎｓｈｉｐｓｂｅｔｗｅｅｎｓｅｖｅｒａｌｍｅｔｈｏｄｓｆｒｏｍｔｈｅｐｒｏｊｅｃｔｉｏｎｖｉｅｗ圖１描述了最佳投影方向和ＴＤ、ＢＲ的投影方向的關系，其中：ΠＴＤ＝ΠＬＴ１ＸＴＤ＝ΠＬＴ１ＤΦΠＢＲ＝ΠＬＴ１ＸＢＲ＝ΠＬＴ１ＤＬ１ΦΠＲ＝ΠＬＴ１ＸＲ＝ΠＬＴ１ＤＬ２ΦΠ＝ΠＬＴ１Ｘ＊＝ΠＤΦ盡管采用了加權求和的方法，從幾何角度來看，新的投影方向仍然不是與ｓｐａｎ（Φ）正交的，即最優(yōu)投影方向，但是通過選取合適的權值ｗ，新的投影點與最優(yōu)投影點間的距離會更近，也就是說估計的值函數(shù)精確度更高．２目標函數(shù)和一般化投影的時序差分學習算法２．１ＲＴＤ算法用加權求和的方法得出一般的ＸＲ＝ＤＬ２Φ后，就可以得到目標函數(shù)：Ｊ（θ）＝‖ＸＴＲ（Ｖθ－ＴＶθ）‖２２＝Ｅ［δ（φ－γｗφ′）］ＴＥ［δ（φ－γｗ

第６期吳毓雙等：基于一般化斜投影的異策略時序差分學習算法續(xù)圖３圖３權值ｗ在不同參數(shù)值下的性能曲線Ｆｉｇ．３Ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐａｒｉｓｏｎｓｗｉｔｈｏｔｈｅｒａｌｇｏｒｉｔｈｍｓｆｏｒｄｉｆｆｅｒｅｎｔｗｅｉｇｈｔｖａｌｕｅｓ對取不同權值（－１～５）的ＲＴＤ算法進行相同條件下的實驗效果比對如圖４．圖４選取不同權值的ＲＴＤ算法在相同實驗下效果曲線圖Ｆｉｇ．４Ｐｅｒｆｏｒｍａｎｃｅｆｉｇｕｒｅｓｆｏｒｄｉｆｆｅｒｅｎｔｗｅｉｇｈｔｖａｌｕｅｓ圖４給出了不同權值的ＲＴＤ算法的實驗效果對比圖．從該圖中可以看出，ｗ落在絕對收斂范圍內時能穩(wěn)定收斂，但速度一般，而落入相對收斂范圍內時，算法能夠保證較好收斂性和較快收斂速度，且當ｗ�。埃担ɑ疑┖停保常S色）時，算法的效果最佳．５總結與展望本文從投影的角度出發(fā)，，對ＴＤ和ＢＲ的投影空間加權求和，將投影方向一般化，然后基于得到的一般化斜投影方向推導出兩種異策略的殘差時序差分學習算法，并給出了這兩種算法在異策略下的收斂性證明．本文通過Ｂａｉｒｄ的異策略反例實驗，證實了本文提出的算法具有穩(wěn)定的收斂性，同時分析了權值不同對算法性能的影響，并且在收斂速度上與相關算法進行了對比．后續(xù)工作將從以下幾方面展開：（１）本文選取權值是通過人為設定的，而接下來將考慮利用自適應的方法選取最優(yōu)權值；（２）理論分析權值ｗ選取在相對收斂范圍時能夠很快收斂的原因；（３）用有限樣本分析的方法分析算法的收斂性和性能界．參考文獻［１］ＳｕｔｔｏｎＲＳ，ＳｚｅｐｅｓｖáｒｉＣ，
【作者單位】： 南京郵電大學貝爾英才學院;南京郵電大學計算機學院;南京大學計算機軟件新技術國家重點實驗室;
【基金】：國家自然科學基金(61403208) 南京大學計算機軟件新技術國家重點實驗室開放課題(KFKT2016B04) 南京郵電大學引進人才科研啟動基金(NY214014)
【分類號】：TP181

【相似文獻】

相關期刊論文 前10條

1 任慶生,葉中行,曾進;進化算法的收斂速度[J];上海交通大學學報;1999年06期

2 齊潔;汪定偉;;極值優(yōu)化算法綜述[J];控制與決策;2007年10期

3 孫騫;張進;王宇翔;;蟻群算法優(yōu)化策略綜述[J];信息安全與技術;2014年02期

4 胡娟,王常青,韓偉,全智;蟻群算法及其實現(xiàn)方法研究[J];計算機仿真;2004年07期

5 李金漢;杜德生;;一種改進蟻群算法的仿真研究[J];自動化技術與應用;2008年02期

6 李修琳;魯建廈;柴國鐘;湯洪濤;;混合蜂群算法求解柔性作業(yè)車間調度問題[J];計算機集成制造系統(tǒng);2011年07期

7 秦全德;程適;李麗;史玉回;;人工蜂群算法研究綜述[J];智能系統(tǒng)學報;2014年02期

8 李豆豆;邵世煌;齊金鵬;;生存遷移算法[J];系統(tǒng)仿真學報;2008年08期

9 曹炬;賈紅;李婷婷;;煙花爆炸優(yōu)化算法[J];計算機工程與科學;2011年01期

10 劉曉勇;付輝;;一種快速AP聚類算法[J];山東大學學報(工學版);2011年04期

相關博士學位論文 前1條

1 王可心;大規(guī)模過程系統(tǒng)非線性優(yōu)化的簡約空間理論與算法研究[D];浙江大學;2008年

相關碩士學位論文 前10條

1 馬英鈞;基于人工蜂群算法的約束優(yōu)化問題研究[D];華中師范大學;2015年

2 孫方亮;基于粒子群與中心引力的一種新混合算法及應用[D];西安電子科技大學;2014年

3 張德祥;基于改進蟻群算法的機器人三維路徑規(guī)劃研究[D];青島科技大學;2015年

4 盧協(xié)平;聯(lián)盟競賽算法的研究與應用[D];福州大學;2014年

5 代水芹;基于種群分解的進化超多目標算法及其應用[D];廣東工業(yè)大學;2016年

6 李倩;支持張量機的切平面算法研究[D];華南理工大學;2016年

7 姚洪曼;基于改進人工蜂群算法的模糊聚類研究[D];廣西大學;2016年

8 丁亞英;基于局部搜索和二進制的改進人工蜂群算法[D];南京師范大學;2016年

9 楊杰;基于粒子群優(yōu)化算法的不確定聚類技術研究[D];北方民族大學;2016年

10 周雨鵬;基于鴿群算法的函數(shù)優(yōu)化問題求解[D];東北師范大學;2016年

本文編號：2520993