通过在 29 名受试者的大脑表面植入传感器,研究人员能够通过诸如此类的颜色编码图表分析电极反应数据,从而推断出他们向实验受试者播放的歌曲的部分和元素
曾经有一首歌在你的脑海里萦绕不去吗?加州大学伯克利分校神经科学家团队的新研究绘制了人类大脑中使耳虫和更广泛的音乐感知成为可能的区域。
最近发表在《PLOS Biology》杂志上的研究结果显示了人类大脑对音乐表演的反应。当我们的耳朵听到歌曲片段后,它会被我们的耳蜗(内耳的螺旋腔)转化为神经元活动。卢多维克·贝利尔 (Ludovic Bellier) 在进行这项研究时是加州大学伯克利分校海伦威尔斯神经科学研究所的博士后,他研究大脑中的神经网络最终如何“听到”这些声音。
在他的小组的实验中,贝利尔和同事分析了人们在听迷幻摇滚乐队平克·弗洛伊德 ( Pink Floyd)歌曲时的大脑活动。这 29 名参与者是纽约州奥尔巴尼市奥尔巴尼医疗中心的癫痫患者。作为治疗的一部分,这些患者的大脑表面植入了电传感器,他们被要求仔细聆听平克·弗洛伊德 (Pink Floyd) 的歌曲“另一块砖”(Another Brick in the ) 。墙”。当患者聆听时,研究人员记录了每个脑上电极的振荡电位。这些测量称为皮质电图记录(ECoG),是反映每个电极周围大脑小区域神经活动的宽带信号。
研究人员假设,每位患者记录的 ECoG 信号反映了他们的大脑如何感知播放给他们的音乐。为了检验他们的假设并了解患者大脑的哪些区域与音乐感知最相关,研究小组拟合了模型来重建歌曲的音频频谱图(该图像显示随着时间的推移声音能量在频率上的分布),当呈现 ECoG特征时作为输入。如果模型能够在正规化训练后准确地重建频谱图,那么 ECoG 特征必须反映有关向患者播放的音乐的一些信息。
神经科学家将电传感器连接到 29 名癫痫患者的大脑表面,以研究他们对听觉刺激的反应。以下是传感器的位置,其中红点表示电极,其大脑区域记录了响应听到音乐的神经活动
贝利尔表示,该团队能够验证他们的假设。使用多种类型的模型来重建听觉信号,科学家们可以解码至少部分可听的歌曲输出音频的相似性。研究人员表示,据他们所知,他们的结果是第一个从 ECoG 数据中回归出来的音乐音频出版物。尽管原始音频和重建音频之间的相关性仍然远非 1 对 1——统计r 平方值为 0.325——一些模型的输出在转换回音频波形时可以被识别为经典歌曲(如果距离遥远的话)。(参见下文,了解原始音频片段以及研究人员根据受试者的神经信号对该音频片段进行的两个重建。)一种更复杂的非线性重建算法——所谓的多层感知器,或简单的两层人工神经网络网络 - 产生更高的 r 平方拟合值 0.429 和更清晰的音频重建。
为了测试大脑的哪些区域最参与音乐处理,研究人员在相同的音频重建任务上训练模型,同时删除电极输入。总的来说,所有患者的 ECoG 数据覆盖了大脑整个表面的大部分,因此科学家们能够将大脑的许多潜在区域视为产生“听到”音乐体验的任务的关键参与者。
通过比较涉及所有大脑区域的模型和不涉及所有大脑区域的模型(有时称为消融研究)之间的性能变化,研究人员能够了解每个大脑区域提供了多少信息。换句话说:如果当某个特定区域的电极被移除时,重建精度没有发生很大的变化,那么该区域就不会参与音乐感知。
在这个过程中,研究人员发现,删除从大脑左侧和右侧称为颞上回(STG)的区域收集的脑电波数据会导致重建精度的最大下降。该区域恰好位于耳朵附近,也被认为在语音处理中发挥着重要作用,因此它实际上可能在大脑处理复杂、结构化声音的能力中发挥着更大的作用。
研究小组还发现,分别从左右 STG 中删除数据特征对重建精度有显着不同的影响。这表明参与者大脑右侧STG 的活动比左侧 STG 拥有更多有关歌曲的信息。奇怪的是,该领域之前的研究表明,语音处理的情况似乎恰恰相反,左侧 STG 通常比右侧 STG 做更多的工作。“95% 的惯用右手的人,语言能力主要集中在左半球,”贝利尔说。“我们在论文中展示的是,音乐[在左 STG 和右 STG 之间]分布更均匀,但以右 STG 为主”——这意味着右 STG 比左 STG 处理更多的音乐信息。
“我们可以采取非常简单的后续行动,”贝利尔说。也就是说,本研究仅考虑高频脑电波信息——70-150赫兹。然而,Bellier 表示,根据 ECoG 信号的低频范围计算出的音频特征也可以编码重要信息。这就是为什么他说该团队计划在当前论文中对不同频率范围的神经活动重复相同的分析。正如论文的结论,该小组当前和未来的工作将增加“我们对人脑音乐处理理解的又一块砖。”