基于強化學(xué)習的植入式腦機接口神經(jīng)信息解碼：算法設(shè)計及應(yīng)用.pdf

1、腦機接口直接將大腦的運動信息解析成外部設(shè)備的控制指令，實現(xiàn)了大腦與外界環(huán)境的直接交互，為殘障患者重建運動功能提供了一種新的途徑。目前主要的神經(jīng)解碼算法分為基于監(jiān)督學(xué)習和基于強化學(xué)習兩大類。相比于基于監(jiān)督學(xué)習的解碼模型，基于強化學(xué)習的神經(jīng)解碼的特點在于:(1)無需實際的用戶肢體行為數(shù)據(jù);(2)允許用戶通過試錯的方式學(xué)會動態(tài)地操控外部設(shè)備。這類解碼算法可以追蹤到時變的神經(jīng)活動，并實現(xiàn)用戶和解碼器的相互適應(yīng)，能夠保持長期穩(wěn)定的解碼性能。目前，

2、該方向的研究主要集中在離散、簡單的任務(wù)上。但是，腦機接口任務(wù)日益復(fù)雜多樣，傳統(tǒng)的強化學(xué)習算法難以滿足其解碼要求，而尚無針對復(fù)雜任務(wù)的強化學(xué)習解碼算法的相關(guān)研究報道。
　　本文研究基于強化學(xué)習的神經(jīng)解碼關(guān)鍵技術(shù)，聚焦于連續(xù)、復(fù)雜任務(wù)中狀態(tài)-動作空間大而探索困難，時間信用分配導(dǎo)致學(xué)習速度慢，以及神經(jīng)信號中混有噪聲導(dǎo)致自適應(yīng)解碼性能降低等存在的難點問題。針對上述挑戰(zhàn)，本文采用高效的強化學(xué)習算法探索復(fù)雜的神經(jīng)狀態(tài)-動作空間，重建連續(xù)的運動

3、軌跡;結(jié)合核自適應(yīng)濾波器理論，設(shè)計新的解碼算法實現(xiàn)非線性解碼的全局最優(yōu)解;引入相關(guān)熵抑制噪聲對自適應(yīng)解碼性能的影響，從而實現(xiàn)魯棒、穩(wěn)定的神經(jīng)解碼。本文的主要研究內(nèi)容及創(chuàng)新點如下:
　　1.針對復(fù)雜神經(jīng)狀態(tài)-動作空間中探索困難的問題，本文提出采用attentiongated reinforcement learning(AGREL)算法預(yù)測center-out任務(wù)中連續(xù)的2D搖桿軌跡。AGREL利用即時獎賞更新參數(shù)而不易受初始值影響

4、，以及softmax策略依據(jù)概率選擇最優(yōu)與次優(yōu)動作以避免解碼性能的波動。與傳統(tǒng)的Q學(xué)習算法相比，AGREL將預(yù)測軌跡和真實軌跡之間的相關(guān)系數(shù)提高了5.88％，均方誤差則降低了41.66％，平均總目標到達率提高了28.01％。此外，相比于靜態(tài)模型，自適應(yīng)的AGREL保持多數(shù)據(jù)段的解碼精度在85％以上，延長了腦機接口系統(tǒng)的使用時間。
　　2.針對以往方法只分配時間信用而導(dǎo)致訓(xùn)練時間過長的問題，本文提出空間信用分配，實現(xiàn)在多物體的復(fù)雜環(huán)

5、境中區(qū)分潛在目標。結(jié)合AGREL高效的誤差信號機制與核自適應(yīng)濾波器理論，本文首次設(shè)計了quantized attention gatedreinforcement learning(QAGKRL)算法，實現(xiàn)非線性神經(jīng)解碼的全局最優(yōu)解。該算法還利用量化方法壓縮神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)以降低計算復(fù)雜度。與AGREL相比，QAGKRL在避障任務(wù)中的平均成功率顯著提高，保證了解碼的準確性和穩(wěn)定性。
　　3.針對由神經(jīng)信號中噪聲降低解碼精度的問題

6、，本文引入最大相關(guān)熵準則作為AGREL和QAGKRL的優(yōu)化函數(shù)，能夠降低解碼模型對異常值等噪聲的敏感性，從而提高解碼性能?；谧畲笙嚓P(guān)熵準則的AGREL和QAGKRL在避障任務(wù)中的平均總成功率分別提高了12.56％和6.08％。
　　綜上所述，本文嘗試解決了基于強化學(xué)習的腦機接口中連續(xù)、復(fù)雜任務(wù)的神經(jīng)狀態(tài)-動作空間探索困難問題、空間信用分配問題以及神經(jīng)信號的降噪問題。本文深入探索了一系列基于強化學(xué)習的解碼算法，并應(yīng)用于復(fù)雜多樣的任