在这张来自她的 Twitch 直播的剧照中,Perri Karval 与游戏Elden Ring中的角色 Godrick 的士兵战斗。Karval 的心理可视化生成 EEG 信号,她的脑机接口软件读取这些信号,然后将其转化为虚拟 Xbox 控制器上的命令。
视频游戏和综艺流媒体视频广播公司Perri Karyal创造了一种用她的脑电波玩游戏的方法。Karyal 在twitch.tv上定期主持节目,自今年早些时候以来,他一直在使用读取脑电图信号 (EEG)的自定义控制器来玩流行的视频游戏Elden Ring 。本月,Karyal 在她的直播中展示了完全免提版本的控制器。
Karyal 说她设计的系统是为了识别脑电图测量中的可重复模式——从戴在人头皮上的耳机记录的电振荡——然后模拟按下游戏手柄或键盘上的按钮的动作。这使她能够通过在大脑活动中唤起相同的模式来控制她的Elden Ring角色——挥舞武器、施法和躲避敌人的攻击。
Karyal 拥有心理学研究生学位,他在寻找将心理学和神经科学的各个方面连接到游戏流中的方法时创建了该系统。她决定使用脑电图,这是一项她在自己的学术工作中广泛使用的技术,因为她了解到消费者就绪的版本可以在医院和大学实验室之外使用。“我偶然发现,你可以获得这些蓝牙脑电图,”她说。“我不知道。它在我的设备预算之内,所以我想‘我必须试试这个。’”
为了构建Elden Ring控制器,她从 EEG 耳机和消费神经技术公司Emotiv提供的配套软件开始。为了将 EEG 信号转换为游戏可以识别的输入,Karyal 训练软件识别她在想象不同身体动作时产生的脑电波模式。这种称为运动想象的技术在人们想象自己以给定的可重复模式移动身体时从大脑中寻找神经活动的平均模式。Karyal 说:“我在脑海中想象着推动某件事向前发展。” “我的大脑在执行该任务期间碰巧持续进行的活动模式就是软件学会识别的内容。”
虽然 EEG 信号变化很大,但可以从重复的心理活动中识别和解码其中的常见模式。Karyal 说需要付出一些努力才能产生足够的数据来有效地训练系统识别给定的行为。“对于Elden Ring,我训练了 429 次来识别一个单一的活动,我想象着推动某事向前发展,”她说。“我训练脑电图的时间比在游戏中花费的时间还多,而且我在游戏中的时间超过了 250 小时。”
为了打败《Elden Ring》的另一个角色 Godrick the Grafted [上图],Perri Karyal 使用了一种攻击可视化,她想象着将重物向前推。在整个游戏过程中,Karyal 通过脑电图设备感应到的头部倾斜来移动她的角色。
然而,Karyal 不希望这些障碍阻止人们自己尝试。“我认为到目前为止我所做的任何事情都不一定很难做,如果你知道自己在做什么,如果你对它有热情并且真的想尝试,”她说。Karyal 也不希望人们误解设备在将 EEG 信号转换为游戏控制器动作时实际读取和记录的内容。“人们认为这是一种想法,比如,我在想‘向前跑’,而我的角色做到了,”她说。“不是,尽管我真的希望有一天我们能达到这一点。”
未来,Karyal 和她的团队希望扩展系统以识别其他生物识别信号作为输入。“我们正在考虑眼动追踪,”Karyal 说,“例如,看着屏幕的特定角落。我们需要找到一种简单快捷的方法来治愈,”指的是Elden Ring经常对玩家角色进行惩罚性治疗。“目前没有。”
视频游戏和综艺流媒体视频广播公司Perri Karyal创造了一种用她的脑电波玩游戏的方法。Karyal 在twitch.tv上定期主持节目,自今年早些时候以来,他一直在使用读取脑电图信号 (EEG)的自定义控制器来玩流行的视频游戏Elden Ring 。本月,Karyal 在她的直播中展示了完全免提版本的控制器。
Karyal 说她设计的系统是为了识别脑电图测量中的可重复模式——从戴在人头皮上的耳机记录的电振荡——然后模拟按下游戏手柄或键盘上的按钮的动作。这使她能够通过在大脑活动中唤起相同的模式来控制她的Elden Ring角色——挥舞武器、施法和躲避敌人的攻击。
“我训练脑电图的时间比在游戏中花费的时间还多,而且我在游戏中的时间超过了 250 小时。”
——Perri Karyal,Twitch 游戏主播
Karyal 使用系统的早期版本完成了游戏,该系统只能产生少量输入。但她已经扩展了她的自制技术,以识别足够多的不同脑电图模式,以取代她玩游戏所需的每一个输入。当与一对取代角色移动和相机控制的头戴式耳机安装的加速度计结合使用时,耳机成为一个完整的免提游戏控制器。
Karyal 拥有心理学研究生学位,他在寻找将心理学和神经科学的各个方面连接到游戏流中的方法时创建了该系统。她决定使用脑电图,这是一项她在自己的学术工作中广泛使用的技术,因为她了解到消费者就绪的版本可以在医院和大学实验室之外使用。“我偶然发现,你可以获得这些蓝牙脑电图,”她说。“我不知道。它在我的设备预算之内,所以我想‘我必须试试这个。’”
为了构建Elden Ring控制器,她从 EEG 耳机和消费神经技术公司Emotiv提供的配套软件开始。为了将 EEG 信号转换为游戏可以识别的输入,Karyal 训练软件识别她在想象不同身体动作时产生的脑电波模式。这种称为运动想象的技术在人们想象自己以给定的可重复模式移动身体时从大脑中寻找神经活动的平均模式。Karyal 说:“我在脑海中想象着推动某件事向前发展。” “我的大脑在执行该任务期间碰巧持续进行的活动模式就是软件学会识别的内容。”
虽然 EEG 信号变化很大,但可以从重复的心理活动中识别和解码其中的常见模式。Karyal 说需要付出一些努力才能产生足够的数据来有效地训练系统识别给定的行为。“对于Elden Ring,我训练了 429 次来识别一个单一的活动,我想象着推动某事向前发展,”她说。“我训练脑电图的时间比在游戏中花费的时间还多,而且我在游戏中的时间超过了 250 小时。”
一张看起来很高兴和兴奋的女人的屏幕截图,她戴着一个黑色头饰,头顶上有许多部件。 她的形象镶嵌在视频游戏屏幕中,她刚刚打败了一个老板。为了打败《Elden Ring》的另一个角色 Godrick the Grafted [上图],Perri Karyal 使用了一种攻击可视化,她想象着将重物向前推。在整个游戏过程中,Karyal 通过脑电图设备感应到的头部倾斜来移动她的角色。
然而,Karyal 不希望这些障碍阻止人们自己尝试。“我认为到目前为止我所做的任何事情都不一定很难做,如果你知道自己在做什么,如果你对它有热情并且真的想尝试,”她说。Karyal 也不希望人们误解设备在将 EEG 信号转换为游戏控制器动作时实际读取和记录的内容。“人们认为这是一种想法,比如,我在想‘向前跑’,而我的角色做到了,”她说。“不是,尽管我真的希望有一天我们能达到这一点。”
未来,Karyal 和她的团队希望扩展系统以识别其他生物识别信号作为输入。“我们正在考虑眼动追踪,”Karyal 说,“例如,看着屏幕的特定角落。我们需要找到一种简单快捷的方法来治愈,”指的是Elden Ring经常对玩家角色进行惩罚性治疗。“目前没有。”
Karyal 的 EEG 控制器是更大范围的DIY 神经技术运动的一部分,在该运动中,业余爱好者和神经科学爱好者已经将专为学术和医学应用而设计且主要限于学术和医学应用的技术带入了更主流和休闲的用途。除了爱好者活动之外,较大的视频游戏开发商和发行商一直在将神经技术开发到视频游戏中。
流行的《半条命》系列的开发商和在线 PC 游戏商店Steam的所有者Valve与虚拟现实公司Varjo和神经技术公司OpenBCI合作开发了 Deckard 脑机接口平台。虽然该公司尚未发布任何明确支持 BCI 的游戏,但该公司的首席执行官 Gabe Newell 在2021 年接受 IGN 采访时表示,“如果你是 2022 年的软件开发人员,并且在你的测试中没有 [a BCI 耳机]实验室,你犯了一个愚蠢的错误。”