上海大学杨帮华教授团队:一种轻量化的MI深度学习解码网络 M-FANet研究成果

上海大学杨帮华教授团队成员提出了提出一种M-FANet网络结构，以"M-FANet: Multi-Feature Attention Convolutional Neural Network for Motor Imagery Decoding"为题，在脑机接口领域期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》(SCI中科院分区二区，IF：4.9)发表。

脑机接口(BCI)技术开启了神经系统与外界直接沟通的新纪元。运动想象(MI)作为一种动作执行前的脑内想象任务，是BCI研究的基石之一。脑电图(EEG)具有非侵入性、成本低和便捷性强的特点，能够以高时间分辨率记录神经活动。当被试想象肢体的运动时，大脑特定区域将会产生能量变化，即事件相关去同步/事件相关同步（ERD/ERS）现象。通过EEG技术，由MI引起的脑区能量变化能够被记录下来，进而用于识别不同的运动意图。基于MI的BCI系统已成功应用于控制外骨骼和光标，与虚拟现实（VR）结合更是在中风康复领域展现巨大潜力。然而，这些系统的成功依赖于高效、精准的MI解码方法。因此，本研究提出了Multi-Feature Attention Convolutional Neural Network(M-FANet)旨在提升解码性能，推动BCI技术的实际应用。

M-FANet网络结构如图1所示，详细配置如表1所示。M-FANet采用卷积进行特征提取，设计了从频率、局部空间和特征图三个角度校准相关信息的注意力模块。多特征注意模块自适应地选择特定于个体的有效频带特征；增强对MI相关导联的空间感知；过滤掉冗余特征图。此外，我们还采用R-Drop作为训练方法，如图2所示，通过约束模型的输出概率分布差异来减少由于dropout导致的各个子模型之间差异，从而提升完整模型的性能。

本研究使用BCI Competition IV 2a（BCIC-IV-2a）四类任务数据集和2019世界机器人大会竞赛-BCI机器人竞赛MI（WBCIC-MI）三类任务数据集进行实验，以评估算法的性能。

(1)分类结果如表2和表3所示，结果表明M-FANet在BCIC-IV-2a数据集和WBCIC-MI数据集上均取得了最高的分类性能，分别为79.28%(kappa: 0.7259）和77.86%(kappa: 0.6650)。

(2)R-Drop的效果通过一个可调参数约束，为了进一步探究对于网络性能的影响，本研究在BCIC-IV-2a数据集上采用控制变量法进行实验，设置不同的空间滤波器乘数以改变模型大小，然后不断调整值，并观测模型的分类性能，结果如图3所示。所选取小、中、大模型参数量分别为4080，7696和16656，对应D={2，4，8}三条曲线。从图3中可以看出，小模型在很小的值处就达到了最佳性能，而中等模型在较大的处达到最佳性能。小型和中型模型的共同特征是在未达到最佳性能前，随着值的增大，模型性能不断提高，但是超过最佳点后，模型性能反而会下降。而对于大模型来说，性能一直随值增大而增大，说明仍未达到最佳性能点。总而言之，越大的模型需要的值越大，即更强的正则化，但是过多的正则化也会导致模型性能下降。

(3)为了评估局部空间注意力模块的有效性，我们使用热图来可视化这一层的输入和输出，灰色代表原始EEG数据，红色代表模块输出。如图4（b）所示，在模型训练的早期阶段，局部空间注意力模块的响应主要集中在运动区域相关的局部通道组上，但是分布在较为广阔的范围，并且响应值相对较低。随着模型成熟到一个更稳定的状态，如图4（c）所示，注意力变得更加集中，响应值也随之增加。这一现象表明，局部空间注意模块持续关注局部空间信息，随着模型在训练中的优化，其有效性不断增强。该模块的重要性在于使后续提取全局空间特征的大卷积核能够更多地关注与MI相关的空间信息，这在图中表现为局部空间注意力模块对MI激活区域的响应值更高。

仅用于学术分享，若侵权请留言，即时删侵！

   加入社群   

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

加QQ群：913607986

   欢迎来稿   

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

点击投稿：脑机接口社区学术新闻投稿指南

2.加入社区成为兼职创作者，请联系微信：RoseBCI

一键三连「分享」、「点赞」和「在看」

不错过每一条脑机前沿进展