“意念发声”走出关键一步!同济医院成功解码中文词汇脑信号

长江日报大武汉客户端12月3日讯(记者王恺凝 通讯员田娟)“意念发声”取得关键突破!近日,华中科技大学附属同济医院神经外科舒凯教授团队与华中科技大学人工智能与自动化学院伍冬睿教授团队合作,首次利用脑磁图技术,结合人工智能算法,不仅成功构建了首个中文脑磁图语音数据集,还实现了对中文词汇的非侵入式解码。

“通俗理解就是,这项技术属于语音脑机接口领域,目标是从脑信号中读出‘想说的话’,再用外部语音设备输出,尤其适合因中风、渐冻症等疾病而丧失语言能力的患者。”舒凯告诉长江日报记者,传统脑机接口需要患者长期训练,语音脑机接口可直接将大脑语言活动转化为语音信号,更自然高效。

但是,针对中文语音的脑机接口研究极少,已有的少数探索也多停留在单音节层面,且大多需要做开颅手术放置电极,风险高、难普及。因此,同济医院团队的这项非侵入式研究成果,标志着我国在让失语者重新用“中文”沟通的道路上,迈出了从无到有的坚实一步。

研究中,团队没有采用常见的脑电图技术或者近红外技术,而是创新选用了国产的原子磁力计脑磁图系统。“如果说脑电图像是在隔墙听一场模糊的对话,那么脑磁图就像拥有了一扇透明玻璃窗,能更清晰地‘看到’大脑语言网络的实时活动。”舒凯教授打了个比方,脑磁图具有毫秒级时间分辨率和毫米级的空间分辨率,用它作为信号采集工具,能精准捕捉到大脑语言区的磁信号。

仅有清晰的信号还不够,从复杂多变的大脑磁信号中精准识别出对应的词汇,是最大挑战。研究团队进一步开发了一套智能算法,让“文本”和“合成语音”作为“双顾问”,共同指导AI模型进行学习。

“双顾问意思就是,在训练人工智能模型时,不仅让模型学习脑磁信号与对应词汇文本(语义)的关系,还同时让其对照该词汇的合成语音(声学特征)。”舒凯解释道,这就好比在解读大脑的“语言意念”时,不仅看“词义”,还参考“发音规则”,通过对比学习技术,引导AI能更好地将脑磁信号与词语的语义、声学特征进行配对,从而提升解码大脑在想哪个词的正确率。

实验证明,通过这套算法,人工智能模型在48个词汇的分类任务中,取得了高达46.21%的解码准确率。此外,研究还证实了颞叶及感觉运动皮层在中文言语生成过程中的核心作用,为后续神经机制研究指明了方向。

【编辑:余丽娜】

评论一下
评论 0人参与,0条评论
还没有评论,快来抢沙发吧!
最热评论
最新评论
已有0人参与,点击查看更多精彩评论