DeWave:用大模型解读脑电波并翻译成文本
澳大利亚悉尼科技大学科学家开发出了首款便携式、非侵入性的人工智能系统,可解码无声的想法并将其转化为有形的文本。通过学习脑电波数据,模型成功地把受试者的脑电图信号翻译成了文本。而且整个过程不需要大型设备,只要一块特制的“头巾”就能实现。
由于用了大模型来读脑,因此报道DeWave的iFLScience也管它叫BrainGPT。
这项技术可帮助那些因疾病或受伤(包括中风或瘫痪)而无法说话的人进行沟通,也有望实现人与仿生手臂或机器人等设备之间的无缝通信。最新研究代表了将原始脑电图(EEG)直接翻译成语言的开创性努力,标志着该领域的一次重大突破。
DeWave的非侵入性脑电波解析表现超越SOTA方法,为脑部瘫痪患者提供交流帮助。其核心技术是引入“离散码本”概念,通过大模型解读脑电波,表现出强大的鲁棒性和泛化能力。
论文地址:https://arxiv.org/abs/2309.14030v2
参考链接:https://www.iflscience.com/new-mind-reading-braingpt-turns-thoughts-into-text-on-screen-72054