AI和脑机接口帮助失语症患者恢复双语交流

加州大学旧金山分校的研究人员刚刚 开发出 一种大脑植入物，研究人员成功地帮助一名失去说话能力的双语患者通过脑植入设备实现了双语交流。这一系统由人工智能（AI）与脑植入设备结合而成，能够实时解码患者试图表达的西班牙语和英语词汇。

失语症是一种由大脑损伤引起的语言障碍，通常由中风、创伤性脑损伤或神经退行性疾病引起。失语症患者无法正常说话、理解语言或书写，这严重影响了他们的沟通能力和生活质量。

研究对象Pancho在20岁时因中风导致大部分身体瘫痪，并失去了清晰说话的能力。

• 他在中风前是西班牙语母语者，中风后学会了英语，但他的语言能力受到了严重限制。

• 他的情况为研究提供了一个理想的模型，可以研究大脑如何处理多语言，以及如何通过神经接口设备恢复沟通能力。

研究团队在Pancho的皮层植入了电极来记录神经活动，并使用人工智能（AI）系统实时解码他的语言意图。该系统能够解码他尝试用西班牙语和英语表达的内容。

研究方法

1. 参与者选择

• 对象Pancho ：

  • 研究对象是昵称为Pancho的失语症患者，他在20岁时因中风导致身体大部分瘫痪，无法清晰说话。

  • Pancho的背景和情况为研究提供了一个理想的模型，用于研究多语言处理和神经接口技术的应用。

2. 电极植入

• 手术植入 ：

  • 研究团队在Pancho的皮层上植入电极，这些电极能够记录与语言生成相关的神经活动。

  • 植入手术由神经外科医生Edward Chang和他的团队执行。

3. 神经信号记录

• 神经模式捕捉 ：

  • 当Pancho尝试说出单词或短语时，电极会捕捉到相应的神经信号。这些信号形成了独特的神经模式，每个单词或短语都有其特定的神经模式。

4. AI系统训练

• 单词训练 ：

  • Pancho尝试说出近200个单词，研究团队记录每个单词对应的神经模式。

  • AI系统通过分析这些神经模式进行训练，学习如何将神经信号与具体的单词和短语对应起来。

• 双模块设计 ：

  • 系统包括西班牙语和英语两个模块。每个模块独立工作，根据神经模式选择最匹配的单词。

  • 训练过程中，系统逐词解码，构建完整的句子。

5. 实时解码和沟通

• 解码过程 ：

  • 在实际使用中，当Pancho尝试说出一句话时，系统首先解码出第一个单词。两个语言模块分别根据其语言词汇库选择最有可能的单词，并计算其概率。

  • 然后系统继续构建句子，根据上下文选择每个后续单词，并计算每个词的匹配概率。

  • 最终输出是概率最高的完整句子，显示在屏幕上。

• 句子构建 ：

  • 系统通过逐词匹配和上下文分析，构建出完整的句子。

  • 显示屏上只显示最有可能的句子，确保沟通的准确性和流畅性。

• 概率评估与句子生成

  • 模块在选择每个单词时，不仅考虑神经模式匹配度，还评估词语组合的合理性。

  • 例如，英语模块可能选择“she”作为短语的第一个单词，并评估其正确概率为70%；西班牙语模块可能选择“estar”（to be），并评估其正确概率为40%。

  • 模块会逐词构建短语，考虑每个单词与前一个单词的合理性。例如，“I am”比“I not”具有更高的概率得分。

• 最终输出

  • 两个模块分别生成完整的句子，但显示屏只显示总概率得分最高的版本。

  • Pancho最终看到的是最有可能正确的完整句子，系统能够以88%的准确率区分英语和西班牙语，并以75%的准确率解码出正确句子。

实验步骤图解

1. 电极植入 ：在皮层上植入电极，记录神经活动。

2. 神经信号记录 ：捕捉尝试说出的单词和短语的神经模式。

3. AI系统训练 ：训练AI系统解码和翻译神经信号。

4. 实时解码 ：通过AI系统进行逐词解码，构建完整句子。

5. 沟通展示 ：将解码后的句子显示在屏幕上，实现实时沟通。

6. 数据分析 ：分析实验数据，评估系统表现和神经处理特征。

研究结果

1. 高准确率的语言区分与解码 ：

   • 语言区分 ：双语模块能够以88%的准确率区分西班牙语和英语。系统在识别语言时，通过第一个单词的神经模式进行区分。

   • 句子解码 ：系统在解码完整句子时，达到了75%的准确率。这表明AI系统在处理和理解复杂语言模式方面具有很高的准确性。

2. 实时沟通

   • 沟通能力恢复 ：

     • 使用者Pancho能够通过该设备与研究团队进行实时的、自然的双语交流。

     • Pancho能够形成和解码近200个单词，并且可以参与自然的对话，表达复杂的思想和情感。

3. 同一脑区的语言处理 ：

   • 大脑区域 ：研究发现，西班牙语和英语的神经活动主要集中在同一个大脑区域，这与以往使用非侵入性工具的研究结果不同，后者认为不同语言会激活大脑的不同区域。

   • 神经活动 ：电极记录的皮层信号显示，西班牙语和英语的神经活动在大脑的相同区域进行。这一发现对语言处理的神经机制提供了新的见解。

   • 这表明不同语言可能共享部分神经基础，有助于理解多语言处理的神经机制。

4. 类似双语儿童的神经响应 ：

   • 学习时间 ：尽管Pancho在三十多岁时才学习英语，但他的神经响应与从小双语的儿童相似。这表明，成年后学习的第二语言在大脑中的处理方式与幼年时学习的语言类似。

   • 神经特征 ：不同语言共享某些神经特征，这些特征可能在其他人群中也具有普遍性。这一发现可能对未来双语及多语言交流设备的开发有重要意义。

5. 语言与身份的联系 ：

   • 语言和身份 ：研究表明，语言与个人身份密切相关。Pancho的西班牙语表达更能引发情感共鸣和归属感。这一发现强调了语言恢复不仅是恢复交流能力，更是恢复人与人之间的情感连接。

6. 自然交流的潜力 ：

   • 研究目标 ：研究团队的长期目标是让人们能够自然地进行多语言交流。目前系统已经能够生成准确的句子，未来将进一步优化，实现更流畅的自然对话。

   • 未来研究方向 ：未来计划研究具有不同发音特性的语言，并探索在单句中切换语言（代码转换）的能力，以提高系统的实用性和自然度。

技术应用和改进

• AI系统的训练和改进 ：

  • 研究团队通过训练AI系统，使其能够更准确地解码和翻译使用者的神经信号。

  • AI系统的双模块设计（西班牙语模块和英语模块）能够根据神经模式匹配最可能的单词和短语，并逐词构建句子。

• 未来改进方向 ：

  • 研究团队计划进一步增加参与者，以验证系统在不同个体中的适用性和准确性。

  • 还计划研究其他语言的处理，如汉语或日语，以了解不同语言的神经活动特征。

  • 研究代码转换，即在一个句子中从一种语言切换到另一种语言的能力，使沟通更加自然流畅。

研究成果于2024年5月20日发表在《自然生物医学工程》上

原文： https://www.nature.com/articles/d41586-024-01451-4