摘要:加州大学戴维斯分校的研究人员开发了一种脑机接口,可以在人们试图说话时将大脑活动瞬间转化为声音,从而有效地创建数字声道。
原创生物通小通生物通
2025年06月12日 12:17广东
加州大学戴维斯分校的研究人员开发了一种脑机接口,可以在人们试图说话时将大脑活动瞬间转化为声音,从而有效地创建数字声道。
加州大学戴维斯分校的研究人员开发了一种研究性脑机接口,有望恢复因神经系统疾病而失去说话能力的人的声音。
在科学期刊《自然》上发表的一项新研究中,研究人员展示了这项新技术如何在人们试图说话时将大脑活动瞬间转化为声音——有效地创建数字声道。
该系统允许患有肌萎缩侧索硬化症(ALS)的研究参与者通过计算机与家人实时“交谈”,改变语调并“唱”简单的旋律。
“将神经活动转化为文本,就像我们之前的语音脑机接口一样,类似于短信。与标准辅助技术相比,这是一个巨大的进步,但仍然会导致对话延迟。相比之下,这种新的实时语音合成技术更像是语音通话,”该论文的资深作者、加州大学戴维斯分校神经外科系助理教授Sergey Stavisky说。
“有了即时语音合成技术,神经义肢使用者将能够更好地参与对话。例如,他们可以打断别人说话,而别人不太可能意外打断他们。”Stavisky说道。
解码脑信号是新技术的核心
这名男子参加了加州大学戴维斯分校健康中心的“BrainGate2”临床试验。他能够通过计算机进行交流,得益于一项正在研究的脑机接口(BCI)。该接口由四个微电极阵列组成,通过手术植入大脑中负责产生语言的区域。
这些设备记录大脑中神经元的活动并将其发送到计算机,计算机解释信号以重建声音。
“实时合成语音的主要障碍在于无法准确了解失语症患者何时以及如何开口说话,”该研究的第一作者Maitreyee Wairagkar说:“我们的算法能够将神经活动映射到每个时刻的预期声音。这使得合成语音中的细微差别成为可能,并让参与者能够控制其脑机接口语音的节奏。”
利用脑机接口实现即时、富有表现力的语音表达,前景光明
脑机接口能够将研究参与者的神经信号快速地转换成扬声器播放的可听语音——只需四十分之一秒。这种短暂的延迟类似于人们说话并听到自己声音时的延迟。
这项技术还允许参与者说出新词(系统未知的单词)并发出感叹词。他能够调节生成的计算机语音的语调来提出问题或强调句子中的特定词语。
参与者还通过唱简单、短促的旋律来改变音调。
他的 BCI 合成声音通常清晰易懂:听众可以正确理解近 60% 的合成单词(而当他不使用 BCI 时则为 4%)。
算法辅助的实时语音
先进的人工智能算法有助于将大脑活动即时转化为合成语音。
新系统的算法利用收集到的数据进行训练,参与者被要求尝试说出电脑屏幕上显示的句子。这让研究人员了解参与者想要表达的意思。
神经活动显示了数百个神经元的放电模式。研究人员将这些模式与参与者当时试图发出的语音进行匹配。这有助于算法学习仅根据参与者的神经信号准确地重建其声音。
临床试验带来希望
“我们的声音是我们自我的一部分。失去说话的能力对于患有神经系统疾病的人来说是毁灭性的打击,”加州大学戴维斯分校神经假体实验室联合主任、为参与者实施植入手术的神经外科医生David Brandman说道。
这项研究的结果为那些想说话却无法说话的人们带来了希望。我们展示了一位瘫痪男子如何通过合成的声音说话。这种技术可能会为瘫痪患者的生活带来变革。
限制
研究人员指出,尽管研究结果令人鼓舞,但脑转语音神经假体仍处于早期阶段。一个关键的局限性在于,这项研究仅针对一位患有ALS的参与者进行。在更多参与者中复制这些结果至关重要,包括那些因中风等其他原因而丧失言语能力的参与者。
BrainGate2 试验正在招募参与者。如需了解更多关于该研究的信息,请访问braingate.org或联系braingate@ucdavis.edu。
参考文献
An instantaneous voice-synthesis neuroprosthesis
来源:营养和医学