脑机接口里程碑：全球首次实现言语与手势同步解码，让瘫痪患者可以“边说边比划”

人类的交流，几乎从来不是"单声道"的。一个人说"请坐"时，手往往已经抬起；答一句"还行"时，头可能正轻轻点着。语言、手势、表情叠加在一起发生，是健康人毫不费力的事。但对严重瘫痪者，这套叠加的表达被切断了。

过去二十年的脑机接口，大体也在做同一道"单选题"：要么把脑信号翻译成语言，要么翻译成动作。几乎团队在探讨一个问题——能不能用同一套系统，把"说"和"动"同时解出来？

9月14日，加州大学旧金山分校EdwardChang团队在《自然·神经科学》上第一次给出了肯定的答案。他们在一块植入大脑表面的电极阵列上，并行运行言语和手势两套解码器，让参与者一边"说出"句子，一边"挥动"一个全身的虚拟化身。

图1：单块高密度 ECoG 电极阵列同时采样言语与手势相关皮层信号，驱动全身虚拟化身

这项工作属于 UCSF 的 BRAVO 临床试验（"BCI Restoration of Arm and Voice"，2018 年启动）。Chang 团队此前最出名的一步，是 2023 年发表在《自然》上的"数字脸"——让患者用脑信号驱动一张虚拟面孔开口说话。这一次，他们把表达从一张脸，扩展到了整个身体。

图2：通过脑电信号驱动数字脸开口说话。

01

过去二十年的脑机接口，一直在做"单选题"

先看这件事为什么一直没人做。表面上是工程问题：言语和动作解码需要各自的模型和数据。但更深一层，是领域里一个由来已久的默认预期——说话和比划，用的都是运动皮层上相邻的脑区，信号本来就纠缠在一起；同时解码，两种信号很可能会互相干扰、互相稀释。

这个担心不是没来由。此前用皮层内微电极做的研究就发现：一边说话一边控制光标，言语会让光标控制变差，光标控制也会削弱言语信号。既然连"说话 + 光标"都打架，"说话 + 手势"只会更难。于是大家心照不宣地绕开了它——一个最接近"自然交流"的场景，恰恰成了 BCI 最薄弱的空白。

在该研究中，研究人员指向两类患者：渐冻症（ALS）和脑干卒中。对这些患者，眼下所谓"标准照顾"是眼动追踪转文字——慢、费劲、能表达的形式有限。健康人不假思索的"边说边比划"，对他们是奢侈品。

这次研究纳入 3 名重度瘫痪参与者：两位因脑干卒中失去清晰言语和四肢活动能力，一位因 ALS 逐渐失去可懂言语。其中一人（Bravo-3）在后续阶段退出，完整跑通全身化身的，是另外两人（Bravo-1r 和 Bravo-6）。

02

一个被推翻的默认预期

装置本身不算颠覆：高密度 ECoG，一种贴在（感觉）运动皮层表面的薄片状电极阵列，其中一位参与者的阵列有 253 个通道、相邻只隔 3 毫米。它记录皮层表面成千上万神经元叠加出的场电位，交给机器学习模型翻译成指令，驱动全身虚拟化身。

真正的发现，藏在数据里。团队做了个对照：一组模型只用"单独说话"或"单独比划"的数据训练，另一组混入了"边说边比划"的数据。结果很清楚——只见过单独动作的模型，一到同步场景就明显掉链子；两种数据都见过的模型，在单独和同步场景下都能保持高准确率。

图3：言语与手势在运动皮层上"部分重叠"的电极活动图谱

原因在于，言语和手势在运动皮层上的表征并非泾渭分明，相当一部分电极对两者都响应。只按单独动作训练时，模型学会的是"这片区域 = 说话、那一片 = 挥手"；可两者同时发生时，重叠区域的信号模式变了，旧经验不再适用。换句话说，想让机器处理好"边说边比划"，得先让它"见过"人真实交流的样子。

还有一步更细的工程。两个解码器并行时容易互相"抢话"——你在说话，手势解码器却可能误以为你在挥手。团队的对策，是给每个模型加一个"休息"类，并用"另一模态的动作"作反例来训练，把两种误报都压了下去。

图4：言语与手势解码准确率对比

研究人员比较了言语与手势解码准确率，如上图所示，在同步解码的离线测试里，ALS 患者 Bravo-6 言语准确率约 77.5%、手势约 68.8%；脑干卒中的 Bravo-1r 分别约 84.0% 和 88.3%。在更接近真实的对话环节，Bravo-1r 在三个区块里言语和手势中位准确率都达到 100%，Bravo-6 手势约 85%、言语约 75%——而这些任务靠猜的正确率只有约 9% 到 20%。

03

从研究到实用，还差几步

实际上，这一步离产品还有一定的距离。因为样本只有 3 人，跑通全身化身的只有 2 人；词汇和手势集也很小，最多的 Bravo-6 不过 10 个短语、10 个手势，共 100 种组合。研究人员自己也在论文中表示：要真正可用，得纳入更多参与者、用大得多的词库验证，还要降低延迟。更现实的是，系统目前仍是有线的——电极信号要经一根穿过头皮的底座，接到外部处理器。

图4：实时对话范式下，虚拟化身按解码结果一边"说话"一边"挥手"

中文读者还会在意一个差距：UCSF 这套解的是英语，而汉语单音节为主、还要区分声调，难度更高。据公开报道，华山医院联合中科院上海微系统所、脑虎科技等团队 2025 年 11 月实现了中文全音节高精度实时解码，394 个常用音节准确率约 71.2%，语句输出约 49.6 字/分钟——两条路都还很长，但方向一致。

04

行业的尺子从准确率到自然感

过去，脑机接口公司比的是每分钟输出多少字、拼写准确率几个百分点——那更像在考核一台输出设备，而不是还原一个人。这项研究其实提出了另一把尺子：交流的自然程度。能不能边说边点头、边比划边讲，让瘫痪者重新拥有那种只属于"活人"的自然感？

而这“自然感”也逐渐成为趋势。

几乎在同一周，美国Paradromics 公司宣布，它植入的第一位运动神经元病患者已能用脑机接口"自己挑词"、回答开放式问题，并在直播通话里和孙女对话（据官方新闻稿）。这家走全植入、皮层下单神经元分辨率路线，与 UCSF 不同，却指向同一件事：让失语者真正说出自己想说的话，而不是从固定菜单里选。

当"自己挑词、实时成句、边说边比划"开始密集出现在论文和公司通稿里，说明行业竞争焦点正从"我解码得准不准"，挪向"你交流得自不自然"。这不是参数迭代，而是产品逻辑的重写。

脑机接口最动人的地方，从来不是技术本身的炫酷，而是它想还给人的，恰恰是我们觉得最不值一提、却最定义"人"的东西——张嘴就来、边说边比划的那种自然。

未来把"同步训练"这套思路，一通道一通道地推广到更多语种、更多手势上去。到那一天，这种自然的交流才算真正落地。

通讯作者

Edward Chang 是 UCSF 神经外科医生、Joan 与 Sanford Weill 讲席教授，2020 年入选美国国家医学院，2025 年入选美国国家科学院。

参考资料：
1.Brosler, S. C., Liu, J. R., Silva, A. B. et al. Simultaneous speech and gesture decoding for multimodal communication in paralysis. Nature Neuroscience (2026).https://doi.org/10.1038/s41593-026-02446-2
2.NIH News Release: Neuroprosthesis for paralysis enables simultaneous speech and body language. 2026-09-14.https://www.nih.gov/news-events/news-releases/neuroprosthesis-paralysis-enables-simultaneous-speech-body-language
3.News-Medical: New brain computer interface restores simultaneous speech and physical gestures. 2026-09-15.https://www.news-medical.net/news/20260915/New-brain-computer-interface-restores-simultaneous-speech-and-physical-gestures.aspx
4.网易/大湾区发展网：《当大脑学会"说话"，AI 让科幻加速照进现实》（中文全音节解码 71.2%、49.6 字/分钟等数据，据公开报道）. 2026-09-15.https://www.59188saintaubert.com/dy/article/L6SPAKK50511PVPC.html

脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务：

宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。

资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。

成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。

活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。

其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。

合作洽谈，请联系微信：ZuoLeiLeiya

（备注：姓名-单位-合作）