一名 18 年前失去说话能力的女性使用语音假肢系统将她的大脑信号转化为合成语音
两种新的脑机接口（BCI） ——心灵和机器之间的电子桥梁——解码人们未说出口但有意的言语中的单词。这两个系统发表在本周《自然》杂志上的论文中，展示了斯坦福大学和加州大学旧金山分校的科学家开发的语音解码 BCI 的性能突破。
这两篇论文都介绍了多年来对失去说话能力的患者进行的研究的结果。第一篇论文介绍了由斯坦福大学Jaimie Henderson领导的研究小组开发的 BCI 演讲，该研究小组与一位被他们称为“T12”的 ALS 患者合作，以保护她的隐私。斯坦福大学团队开发了一种脑机接口，可以根据从 T12 大脑收集的电活动记录来确定她想要说的话。这些录音是使用植入 T12 皮层区域的电极阵列进行的，该区域被认为在语音的发音和发声中发挥着作用。
斯坦福大学团队的脑机接口实现了平均每分钟 62 个单词的解码速度
然后，从 T12 收集的电极记录被用来训练深度学习模型，将神经活动模式与发声单个单词的意图联系起来。这是分两个阶段完成的，第一个阶段将大脑记录映射到不同音素的序列（单词中的单个声音单位），然后第二阶段将这些声音收集到单词中。由此产生的系统可以被认为是人类语音的数字假肢，将一个人发声的意图转换为一系列声音，然后将这些声音转换为已知的单词。
这种方法似乎已经得到了回报:该设备的平均单词解码速度达到了每分钟 62 个单词，比之前的记录 18 WPM 快了三倍多，而这一记录恰好是由开发单独的斯坦福大学研究小组所创下的。系统从神经活动中解码笔迹。
斯坦福大学研究员、这项新研究的第一作者弗朗西斯·威利特 (Francis Willett)表示，T12 可能能够使用该设备更快地进行通信:“速率限制不是算法，”威利特说。“如果我们要求她尽可能快地走，或者试图训练她走得更快——她能走多快是一个悬而未决的问题。”
ECoG 阵列捕获神经信号，机器学习对其进行解码
第二篇论文由加州大学旧金山分校的Edward Chang领导的研究人员撰写，提出了一种不同的脑机接口设备，用于从大脑活动中解码语音。该团队与一名 18 年前因脑干中风而失去说话能力的参与者合作，开发了一种设备，可以将参与者的神经活动记录转换为她想要讲话的文本和音频重建。该出版物是实验室先前对语音产生的神经基础研究的延续。
虽然该 BCI 使用与斯坦福大学类似的机器学习方法将大脑活动模式映射到语音重建，但它的不同之处在于使用放置在大脑表面的ECoG电极（而不是其他团队使用的植入电极阵列）。加州大学旧金山分校团队还针对与声道运动有关的大脑区域，捕捉参与者嘴唇、舌头和下巴的预期运动。
这位使用 UCSF 系统的女性实现了 78 wpm 的输出速率，这比斯坦福大学团队的设备更快，是之前记录的四倍多。加州大学旧金山分校的系统还能够以文本和音频形式重建用户的语音，而斯坦福大学团队的设备仅输出文本。
加州大学旧金山分校论文的第一作者、博士生Sean Metzger表示，与通过植入电极阵列收集的单个神经元信号相比，从大脑表面收集的 ECoG 信号能够实现更稳定的语音解码。“我认为 ECoG 的一大优势是我们看到的稳定性，”Metzger 说。“我们发现我们可以停止训练解码器，之后它会在很长一段时间内工作得很好。对于单个单元，您必须每天重新训练模型。”
加州大学旧金山分校团队还与动画公司Speech Graphics合作开发了一个伴随音频重建的面部头像系统。化身是一个可编程的人脸图像，它会移动以重现 BCI 用户说话的体验。化身的面部动作由机器学习模型控制，该模型经过训练可以根据神经活动模式识别特定声音和面部动作的发音。当被问及对化身系统有何看法时，这位 USCF 研究参与者表示，这可以帮助她实现成为一名咨询师的梦想，并表示该化身将通过 BCI 简化与客户的沟通:“我认为化身会让他们更擅长舒适。”
尽管这两款设备的言语输出率均低于普通人的一半（大约 160 WPM），但它们确实标志着语音假肢能力的显着提高。展望未来，两个研究团队都在努力通过使用更多电极和更好的硬件来提高性能和准确性:“现在我们每四个单词就有一个出错，”威利特说。“我希望下次你和我们交谈时，我们每十个单词就有一个是错误的。”
