【摘要】：針對連續(xù)動(dòng)作和狀態(tài)空間中面向目標(biāo)的導(dǎo)航問題,依據(jù)海馬結(jié)構(gòu)中位置細(xì)胞相關(guān)特性和相關(guān)信息傳遞通路,構(gòu)建海馬位置細(xì)胞到前額葉皮層假設(shè)的動(dòng)作細(xì)胞的脈沖神經(jīng)網(wǎng)絡(luò)模型.連續(xù)的狀態(tài)空間和動(dòng)作空間分別由位置細(xì)胞和動(dòng)作細(xì)胞進(jìn)行表征,模型采用直接強(qiáng)化學(xué)習(xí)與脈沖響應(yīng)模型相結(jié)合的算法進(jìn)行面向目標(biāo)的自主導(dǎo)航.在Morris水迷宮環(huán)境中的仿真實(shí)驗(yàn)結(jié)果表明,該模型能夠解決連續(xù)狀態(tài)空間中面向目標(biāo)導(dǎo)航問題,所采用算法在性能上優(yōu)于傳統(tǒng)的時(shí)間差分學(xué)習(xí)算法.調(diào)整網(wǎng)絡(luò)中動(dòng)作細(xì)胞的數(shù)量,模型的收斂性能不變,在改變狀態(tài)空間和目標(biāo)位置時(shí),也可以實(shí)現(xiàn)面向目標(biāo)的導(dǎo)航.
【圖文】：

Ｉ邐Ｄｅｌａｙｅｄ邋ａｎｄ邋ｗｅｉｇｈｔｅｄ．邐ｉ逡逑｜邐ｐｏｓｔｓｙｎａｐｔｉｃ邋ｐｏｔｅｎｔｉａｌ＾邋＼邐｜逡逑；／邋？邋■邋＾邋＾逡逑ｉ邋／邐＼邋Ｔｏｔａｌ邋ｐｏｔｅｎｔｉａｌ邋Ｐｏｓｔｓｙｎａｐｔｉｃ邋ｐｏｔｅｎｔｉａｌｓ逡逑Ｐｒｅｓｙｎａｐｔｉｅ／邐／邋＼一邋｜＼邐Ａ逡逑＼邋ｉ邐ｉ邋／邐Ｓｔｏｃｈａｓｔｉｃ邋ｔｈｒｅｓｈｏｌｄ邋ｍｏｄｅｌ逡逑：ｘｓ－？——＾邐＿逡逑Ｐｌａｃｅ邋ｃｅｌｌｊ邐Ｄｅｌａｙｅｄ邋ｓｙｎａｐｔｉｃ邐｜邐Ａｃｔｉｏｎ邋ｃｅｌｌ逡逑圖２位置細(xì)胞到動(dòng)作細(xì)胞突觸連接示意圖逡逑Ｆｉｇｕｒｅ邋２邋Ｔｈｅ邋ｓｋｅｔｃｈ邋ｍａｐ邋ｏｆ邋ｓｙｎａｐｔｉｃ邋ｆｒｏｍ邋ｐｌａｃｅ邋ｃｅｌｌｓ邋ｔｏ邋ａｃｔｉｏｎ邋ｃｅｌｌｓ逡逑中為最大放龜設(shè)定為１００邋Ｈｚ，邋（ｍ，？）是當(dāng)前位置、，ａ表示位置野的寬度．由（１）式可}當(dāng)前逡逑位置可由位置細(xì)胞群聯(lián)合編碼，通過這種密集編碼方式，位置細(xì)胞對整個(gè)環(huán)境進(jìn)行了表征．位置細(xì)胞逡逑被建模為Ｐｏｉｓｓｏｎ神經(jīng)元，所以，瞬時(shí)放電率為巧的位置細(xì)胞在：無窮小的持續(xù)時(shí)間（Ａｔ）產(chǎn)生脈沖的逡逑可能性為b6（ｓｐｉｋｅ）邋＝邋ｅ邋ｒ邋（＾Ａｔ）邋？悐ｐ．＿}0）大寧一個(gè)到１之＿．均句分布的隨機(jī)懫樣逡逑值時(shí)，位置細(xì)胞產(chǎn)生一個(gè)脈沖．逡逑模型假設(shè)前額葉皮層中存在著代表動(dòng)物運(yùn)動(dòng)方向的動(dòng)作細(xì)胞丨ａｃｔｉｏｎ邋ｃｅｌｌｓ），將動(dòng)作細(xì)胞構(gòu)建成環(huán)逡逑狀模型，不同于文獻(xiàn)［１２，１３，２７］，動(dòng)作細(xì)胞之間不存在著橫向突觸連接．動(dòng)作細(xì)胞被建模成脈沖響應(yīng)模逡逑Ｍ邋（ｓｐｉｋｅｉｅｓｐｏｎｓｅ：皿ｉｄｅｌ，ＳＲＭ）邋＿，位置細(xì)胞到動(dòng)作細(xì)胞的突．．觸信息傳遞示？Yj圖如畫２所示，動(dòng)作細(xì)逡逑胞ｉ的膜電位為逡

、、、、、逡逑１４－邋－邋＇邋一一、■逡逑１２－邋：；；；：■邐／邋ｌ＾ｖｗ－逡逑ｓ．／Ｚ／Ｚ／Ｈ邋ｔ邋ｔ邋ｔ＼邋＾邋Ｈ逡逑／邋／邋Ｍ邋／邐ｆ邋ｆ邋＼邋＼邋＼逡逑＼邐／邋Ｍ邋＼邋＼邋．逡逑／邋／邋＃邐邐邐／／ｆ邋令、、逡逑４＿．邋，／＃邋令＼＼邋＼邐爹邋＼＼＼．逡逑／／邋／邋／邋＼＼邋＼＾－邐＼邋ｖ＼逡逑２．，、、－－，，，方丨、？邐＊■逡逑＼邐＼邐＜邐＼邐＼邋Ｖ邋？邋Ｖ邋ｔ邐＼邋Ｉ逡逑0ｌ邐＇邐＇邐＇邐逡逑０邐５邐１０邐１５邐２０逡逑圖１０有障礙物環(huán)境中的導(dǎo)航地圖逡逑Ｆｉｇｕｒｅ邋１０邋Ｎａｖｉｇａｔｉｏｎ邋ｍａｐ邋ｗｉｔｈ邋ｏｂｓｔａｃｌｅ邋ｅｎｖｉｒｏｎｍｅｎｔ逡逑５結(jié)論逡逑本文根據(jù)海馬體到前額葉皮晨的生理學(xué)研究，，構(gòu)建位置細(xì)胞到假設(shè)動(dòng)作細(xì)胞的脈沖神經(jīng)網(wǎng)絡(luò)模逡逑型，在無先驗(yàn)知識的條件下，在連續(xù)的狀態(tài)和動(dòng)作空間中進(jìn)行面向ｇ標(biāo)位置的導(dǎo)航，其中，狀態(tài)空間由逡逑位置野構(gòu)成，動(dòng)作空間由動(dòng)作細(xì)胞所代表的運(yùn)動(dòng)方向表示．本文使用基于脈沖響應(yīng)模型的宣接強(qiáng)化學(xué)逡逑習(xí)，調(diào)節(jié)位置細(xì)胞到動(dòng)作細(xì)胞的突觸連接權(quán)構(gòu)成整個(gè)狀態(tài)空間的導(dǎo)航地圖．仿真實(shí)驗(yàn)結(jié)果表明，該逡逑模型能夠有效的學(xué)習(xí)到連續(xù)狀態(tài)和動(dòng)作空間面向Ｓ標(biāo)位置的導(dǎo)航策略，所采用的方法在收斂性上優(yōu)于逡逑傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法，在改變模型中位置細(xì)胞和動(dòng)作細(xì)胞的數(shù)量、＿目標(biāo)位置以及在環(huán)境中加入障礙物逡逑后，模型也能夠有穩(wěn)定的表現(xiàn)，能夠?qū)崿F(xiàn)在連續(xù)狀態(tài)和動(dòng)作空＿中的有效的學(xué)習(xí)和導(dǎo)航活動(dòng)．逡逑模型采用脈沖神經(jīng)網(wǎng)絡(luò)，更加切合生物學(xué)事實(shí)，但也使得整個(gè)模型的計(jì)算鷥有所增加．仿真實(shí)驗(yàn)逡逑中，初始位置和目標(biāo)位置是隨機(jī)給定的二維坐標(biāo)，使得模型輸入信息不是智能體完全自主探測所得．


本文編號：2580486