人工智能根据大脑活动记录解码再现 Pink Floyd 歌曲片段_人工智能的大脑

8月16日消息:科学家们通过窃听人脑的脑电波重建了平克·弗洛伊德 (Pink Floyd) 的歌曲《Another Brick in the Wall》——这是第一次从大脑电活动记录中解码出一首可识别的歌曲。

希望这样做最终可以帮助那些因中风或肌萎缩侧索硬化症而难以交流的患者恢复在自然语音中的音乐性。肌萎缩侧索硬化症是史蒂芬·霍金被诊断出患有的神经退行性疾病。

虽然同一实验室的成员之前曾成功地从脑电记录中解码出语音，甚至是默默地想象出单词，但「总的来说，所有这些重建尝试都有一种机器人的特点，」美国加州大学伯克利分校的神经学家 Robert Knight 说道，他与博士后研究员 Ludovic Bellier 一起进行了这项研究。

「音乐本质上是情感性和韵律性的——它有节奏、重音、语调和音调。它包含了比任何语言中的有限音素更大范围的东西，这可以为可植入的语音解码器增加另一个维度。」

虽然以前的研究已经从大脑的言语运动皮层中解码出电活动，这个区域控制着唇、颚、舌和喉的微小肌肉运动，形成了词汇，但本研究使用了大脑听觉区域的记录，这里处理声音的所有方面。

研究团队对 29 名患者的脑电记录进行了分析，当他们播放了 Pink Floyd 1979 年专辑《The Wall》中的一段约三分钟的歌曲时，志愿者的脑活动通过将电极直接放置在他们的脑表面上来检测，这些志愿者正在接受癫痫手术。

然后，人工智能被用来解码这些记录，然后编码出声音和单词的重现。尽管声音非常模糊，但短语「所有一切，只是另一堵墙」在重建的歌曲中可以被识别出来——节奏和旋律保持完好。

Knight 说：「听起来有点像他们在水下说话，但这是我们的首次尝试。」

他认为使用更高密度的电极可能会提高重建的质量：「电极的平均间隔约为 5 毫米，但我们有几位患者的间隔为 3 毫米，他们在重建方面表现最好，」Knight 说道。

「现在我们知道如何做到这一点，我认为如果我们的电极间隔像 1.5 毫米，声音质量会更好。」

随着大脑记录技术的改进，还可能实现无需手术进行这种记录，也许可以使用粘贴在头皮上的敏感电极。

今年，德州大学奥斯汀分校的 Alexander Huth 博士领导的研究团队宣布，他们成功将大脑活动转化为连续的文本流，使用的是无创的磁共振成像（MRI）扫描数据。该系统的准确性不足以解码确切的单词，但可以检测到句子的要点。

Knight 表示：「这是一个非常好的演示，证明了许多用于语音解码的相同技术也可以应用于音乐——在我们的领域中，音乐体验的重要性如何，这是一个被低估的领域。」

「虽然他们没有在受试者想象音乐时记录脑部反应，但这可能是脑机接口将来用于的事情之一：将想象中的音乐转化为真实的音乐。这是一个令人兴奋的时代。」

这项研究的成果发表在《PLoS Biology》上，还确定了大脑中涉及节奏感知的新区域，并确认右脑比左脑更敏感于音乐。

对音乐和语言加工方式的更好理解也可能具有实际应用，例如帮助解释为什么患有布洛卡失语症的人，在唱歌时可以轻松地唱出词语，而不会遇到困难。