本文關(guān)鍵詞：基于強化學(xué)習(xí)的植入式腦機接口神經(jīng)信息解碼：算法設(shè)計及應(yīng)用，，由筆耕文化傳播整理發(fā)布。

【摘要】：腦機接口直接將大腦的運動信息解析成外部設(shè)備的控制指令,實現(xiàn)了大腦與外界環(huán)境的直接交互,為殘障患者重建運動功能提供了一種新的途徑。目前主要的神經(jīng)解碼算法分為基于監(jiān)督學(xué)習(xí)和基于強化學(xué)習(xí)兩大類。相比于基于監(jiān)督學(xué)習(xí)的解碼模型,基于強化學(xué)習(xí)的神經(jīng)解碼的特點在于：(1)無需實際的用戶肢體行為數(shù)據(jù)；(2)允許用戶通過試錯的方式學(xué)會動態(tài)地操控外部設(shè)備。這類解碼算法可以追蹤到時變的神經(jīng)活動,并實現(xiàn)用戶和解碼器的相互適應(yīng),能夠保持長期穩(wěn)定的解碼性能。目前,該方向的研究主要集中在離散、簡單的任務(wù)上。但是,腦機接口任務(wù)日益復(fù)雜多樣,傳統(tǒng)的強化學(xué)習(xí)算法難以滿足其解碼要求,而尚無針對復(fù)雜任務(wù)的強化學(xué)習(xí)解碼算法的相關(guān)研究報道。本文研究基于強化學(xué)習(xí)的神經(jīng)解碼關(guān)鍵技術(shù),聚焦于連續(xù)、復(fù)雜任務(wù)中狀態(tài)-動作空間大而探索困難,時間信用分配導(dǎo)致學(xué)習(xí)速度慢,以及神經(jīng)信號中混有噪聲導(dǎo)致自適應(yīng)解碼性能降低等存在的難點問題。針對上述挑戰(zhàn),本文采用高效的強化學(xué)習(xí)算法探索復(fù)雜的神經(jīng)狀態(tài)-動作空間,重建連續(xù)的運動軌跡；結(jié)合核自適應(yīng)濾波器理論,設(shè)計新的解碼算法實現(xiàn)非線性解碼的全局最優(yōu)解；引入相關(guān)熵抑制噪聲對自適應(yīng)解碼性能的影響,從而實現(xiàn)魯棒、穩(wěn)定的神經(jīng)解碼。本文的主要研究內(nèi)容及創(chuàng)新點如下：1.針對復(fù)雜神經(jīng)狀態(tài)-動作空間中探索困難的問題,本文提出采用attention gated reinforcement learning (AGREL)算法預(yù)測center-out任務(wù)中連續(xù)的2D搖桿軌跡。AGREL利用即時獎賞更新參數(shù)而不易受初始值影響,以及softmax策略依據(jù)概率選擇最優(yōu)與次優(yōu)動作以避免解碼性能的波動。與傳統(tǒng)的Q學(xué)習(xí)算法相比,AGREL將預(yù)測軌跡和真實軌跡之間的相關(guān)系數(shù)提高了5.88%,均方誤差則降低了41.66%,平均總目標(biāo)到達率提高了28.01%。此外,相比于靜態(tài)模型,自適應(yīng)的AGREL保持多數(shù)據(jù)段的解碼精度在85%以上,延長了腦機接口系統(tǒng)的使用時間。2.針對以往方法只分配時間信用而導(dǎo)致訓(xùn)練時間過長的問題,本文提出空間信用分配,實現(xiàn)在多物體的復(fù)雜環(huán)境中區(qū)分潛在目標(biāo)。結(jié)合AGREL高效的誤差信號機制與核自適應(yīng)濾波器理論,本文首次設(shè)計了quantized attention gated reinforcement learning (QAGKRL)算法,實現(xiàn)非線性神經(jīng)解碼的全局最優(yōu)解。該算法還利用量化方法壓縮神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)以降低計算復(fù)雜度。與AGREL相比,QAGKRL在避障任務(wù)中的平均成功率顯著提高,保證了解碼的準(zhǔn)確性和穩(wěn)定性。3. 針對由神經(jīng)信號中噪聲降低解碼精度的問題,本文引入最大相關(guān)熵準(zhǔn)則作為AGREL和QAGKRL的優(yōu)化函數(shù),能夠降低解碼模型對異常值等噪聲的敏感性,從而提高解碼性能�；谧畲笙嚓P(guān)熵準(zhǔn)則的AGREL和QAGKRL在避障任務(wù)中的平均總成功率分別提高了12.56%和6.08%。綜上所述,本文嘗試解決了基于強化學(xué)習(xí)的腦機接口中連續(xù)、復(fù)雜任務(wù)的神經(jīng)狀態(tài)-動作空間探索困難問題、空間信用分配問題以及神經(jīng)信號的降噪問題。本文深入探索了一系列基于強化學(xué)習(xí)的解碼算法,并應(yīng)用于復(fù)雜多樣的任務(wù),實現(xiàn)了穩(wěn)定、魯棒的神經(jīng)解碼,為腦機接口的未來發(fā)展打下了堅實的基礎(chǔ)。
【關(guān)鍵詞】：腦機接口 神經(jīng)解碼 強化學(xué)習(xí)算法 空間信用分配 最大相關(guān)熵準(zhǔn)則
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：R318;TP181
【目錄】：

• 摘要5-7
• Abstract7-15
• 1. 緒論15-37
• 1.1 腦機接口簡介15-21
• 1.1.1 腦機接口概述15-17
• 1.1.2 研究現(xiàn)狀17-21
• 1.2 互適應(yīng)腦機接口21-33
• 1.2.1 大腦神經(jīng)元的可塑性22-25
• 1.2.2 適應(yīng)腦機接口系統(tǒng)25-33
• 1.3 研究內(nèi)容與目標(biāo)33-35
• 1.4 論文結(jié)構(gòu)安排35-37
• 2. 實驗設(shè)計及信號采集及處理37-57
• 2.1 動物行為學(xué)實驗37-41
• 2.1.1 實驗對象37-38
• 2.1.2 基于大鼠的離散行為學(xué)實驗38-39
• 2.1.3 基于猴子的連續(xù)行為學(xué)實驗39-40
• 2.1.4 基于猴子的復(fù)雜行為學(xué)實驗40-41
• 2.2 神經(jīng)/行為信號采集41-49
• 2.2.1 微電極陣列41-42
• 2.2.2 信號采集42-45
• 2.2.3 神經(jīng)信號預(yù)處理45-49
• 2.3 基于強化學(xué)習(xí)的BMI解碼49-56
• 2.3.1 強化學(xué)習(xí)簡介49-53
• 2.3.2 基于Q學(xué)習(xí)的BMI仿真53-56
• 2.4 本章小結(jié)56-57
• 3. 針對空間高效探索的AGREL研究及連續(xù)追蹤任務(wù)應(yīng)用57-79
• 3.1 AGREL介紹57-59
• 3.2 網(wǎng)格追蹤任務(wù)應(yīng)用59-62
• 3.3 基于AGREL的在線解碼系統(tǒng)62-66
• 3.4 AGREL在center-out任務(wù)連續(xù)預(yù)測66-78
• 3.4.1 連續(xù)解碼預(yù)處理67-70
• 3.4.2 連續(xù)軌跡的預(yù)測及分析70-78
• 3.5 本章小結(jié)78-79
• 4. 基于空間信用分配的QAGKRL設(shè)計及避障任務(wù)應(yīng)用79-103
• 4.1 QAGKRL80-88
• 4.1.1 核方法簡介80-81
• 4.1.2 QAGKRL學(xué)習(xí)框架81-87
• 4.1.3 系數(shù)變化的均值和方差分析87-88
• 4.2 QAGKRL在仿真實驗的應(yīng)用88-91
• 4.2.1 異或和計數(shù)任務(wù)88-89
• 4.2.2 網(wǎng)格追蹤任務(wù)89-91
• 4.3 QAGKRL在避障任務(wù)的應(yīng)用91-102
• 4.3.1 神經(jīng)網(wǎng)絡(luò)設(shè)置91-95
• 4.3.2 預(yù)測及分析95-102
• 4.4 本章小結(jié)102-103
• 5. 基于相關(guān)熵降噪的RL算法設(shè)計及避障任務(wù)應(yīng)用103-117
• 5.1 CAGREL和C-QAGKRL103-107
• 5.1.1 相關(guān)熵及最大相關(guān)熵準(zhǔn)則103-105
• 5.1.2 CAGREL和C-QAGKRL105-107
• 5.2 網(wǎng)格追蹤任務(wù)應(yīng)用107-110
• 5.2.1 核寬度的選擇107-108
• 5.2.2 實驗結(jié)果分析108-110
• 5.3 避障任務(wù)的解碼及分析110-115
• 5.4 本章小結(jié)115-117
• 6. 總結(jié)與展望117-121
• 6.1 工作總結(jié)117-119
• 6.2 工作展望119-121
• 參考文獻121-135
• 攻讀博士學(xué)位期間主要研究成果135-137
• 致謝137-138

【參考文獻】

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 張巧生;基于猴子M1區(qū)的腕部解碼系統(tǒng)研究[D];浙江大學(xué);2012年

  本文關(guān)鍵詞：基于強化學(xué)習(xí)的植入式腦機接口神經(jīng)信息解碼：算法設(shè)計及應(yīng)用，由筆耕文化傳播整理發(fā)布。

本文編號：260332