脑机接口大模型的Transformer,不是所有非侵入式都能做|eeg|fmri|transformer

脑机接口大模型的Transformer,不是所有非侵入式都能做

分享至

最近带着团队在做脑机接口大模型的transformer训练，很多人第一个时间就会头疼拿不到真实的数据，实际上就以为就没有办法开展了。

实际上仍然有很多开源的数据集，这些数据集仍然是足够使用transformer训练的，这些数据在收集的时候就按照对应的任务范式来采集MEG、以及EEG、以及FMRI的。

同时，脑机接口的Transformer完全可以再次利用起来。

由于非侵入式脑机接口，往往信噪比极低，就导致脑电数据没有办法有效分析，所以现在很多做EEG的脑机接口，他们采用的单通道甚至是8通道的，这些脑机通道数少，肯定更容易导致噪声越来越多，从而最后无法分辨，也就是过拟合。

在训练过程中除了有大量的大脑意图，还充斥着随机噪声，比如设备颠簸干扰、某次特殊的眨眼肌肉抽搐。

所以，如果有这些数据噪声拿取训练，这些重要特征也背下来导致在训练集上准确率高达99%，但拿到测试集上性能直接崩塌。

而冲破Transformer数据集过拟合最有效的办法是增加scaling，并且增加通道数，采用32通道数或64通道才能达到比较高的数据质量。

现在在非侵入式脑机接口的数据集与被试里，现在只有几十个被试的数据，和现在手机互联网的数据对比起来，简直是如同大海里面的一根针。

从而避免模型去学习特定某个人的电极位置或头骨厚度。

当然还有就使用混合架构，使用CNN/GNN 和transformer的混合架构，用钱买的CNN/GNN 先提取局部时空特征、过滤高频噪声，再交由transformer处理全局依赖。

现在最好的脑机接口大模型数据分别有MEG到EEG、FMRI再到EEG这两个是需要的方向，通过MEG、FMRI作为金模型来做训练蒸馏EEG，这也是现在大模型公司相同的方式。

只是由于图片与文字有几十亿对，而脑机接口现在的数据非常稀少，需要整个产业都去花时间去采集、标注，才能够说比较好的翻译器基础。

现在脑机接口的数据在市面上现在几乎都是几十人，这些数据就自然比不上市面上那些数据了。

如下是我们基于transformer使用的公开数据集罗列

维度数据集名称 (Dataset)数据模态 / 通道数核心任务 / 场景推荐 Transformer / AI 架构获取路径 / 平台

情绪识别

(Emotion)

SEED

(Shanghai Jiao Tong University)

62 通道 EEG 多维情绪分类 (积极/消极/中性) Spatial-Temporal Transformer, Graph Transformer SJTU BCI Lab 官网申请DEAP32 通道 EEG + 8 通道生理信号音乐视频刺激下的 Valence/Arousal 情感计算 Conformer (CNN + Transformer) eecs.qmul.ac.uk/mmv/datasets/deap/

运动想象

(Motor)

BCI Competition IV 2a/2b22/3 通道 EEG 左/右手、双脚、舌头 4 类运动意图分类 (基准 Benchmark) ViT-style EEGTransformer, EEGNet-Transformer bbci.de/competition/iv/PhysioNet MI64 通道 EEG 109 名被试握拳/想象握拳及脚部运动 Masked Autoencoder (MAE) + Fine-tuning physionet.org/content/eegmmidb/

语言/默想

(Language)

Inner Speech Dataset136 通道高密度 EEG 脑海隐蔽发音 (默念“上下左右”及特定词汇) Cross-Attention Sequence-to-Sequence OpenNeuro (ds003626Kaggle Brain2SpeechEEG + 同步语音听觉感知与默想词汇解码 Wav2Vec / Whisper Embedding 空间对齐 Kaggle / OpenNeuro (ds002884

文字与生成

(Text / Vision)

ZuCo 1.0 & 2.0128 通道 EEG + 眼动仪文本阅读时的脑电解码 (Brain-to-Text) EEG Encoder + Pretrained LLM (Llama / GPT) OpenNeuro (ds004877) / OSFNode-2021 / Mind-Vis同步 EEG-fMRI / 配对视觉脑电观察真实图片时的信号重建 (Brain-to-Image) Latent Diffusion Model (LDM) + CLIP Alignment OpenNeuro (ds003825

专注力/负荷

(Attention)

STEW14 通道 EEG 模拟驾驶与心算等不同认知负荷/专注度 Lightweight Transformer, Self-Attention Classifier IEEE Dataport / KaggleBETA / THU Benchmark64 通道 EEG 清华高速 SSVEP 脑控打字与视觉注意力控制 Complex-valued Transformer, Spatial Attention bci.med.tsinghua.edu.cn

通用预训练

(Foundation)

TUH EEG Corpus数万小时临床/静息态 EEG无监督预训练(提取普适脑波表征)Large Brain Model (LBM)(如 BrainLM, BIOT) Temple University 官网申请

以上这些数据集是开源的，但是已近足够现在的团队来完成demo的产品研发了，而训练顺序就不要搞错了。

上面的顺序分别是能够使用，就可以完成脑电范式训练，而不是要自己重新采集。

首先独立开展 fMRI 数据采集，再在相同实验范式下采集对应的 EEG 数据，并通过消融实验验证跨模态特征对齐与知识蒸馏的有效性。

设备厂商都在卷硬件，没有人关系脑机接口的通用操作系统

各自脑机接口公司都有自己的通道数、标准以及共同类似的芯片，所以在医疗场景、解码算法上，各自都形成了自己的软硬件，但是没有一家成为通用或者考虑到开发者生态的。

这就导致数据溢出，或者都产生的无效数据。

而真的要产生有效数据，就要形成一个通用的标准，而这个标准又能够被厂商们所接受，唯一能够做的就是需要操作系统做的。

今天的分享就到这里。

找我交流与合作空间计算与脑机接口系统开发