如果您曾经和机器人一起踢过足球，就会有一种熟悉的感觉。当青草的气味弥漫在空气中时，阳光照在你的脸上。你环顾四周。一个四足机器人正朝你奔来，果断运球。 

虽然机器人没有表现出像莱昂内尔·梅西那样的能力水平，但它仍然是一个令人印象深刻的野外运球系统。麻省理工学院计算机科学与人工智能实验室 (CSAIL) 下属的 Improbable 人工智能实验室的研究人员开发了一种有腿机器人系统，可以在与人类相同的条件下运球。该机器人使用机载传感和计算的组合来穿越不同的自然地形，如沙子、砾石、泥土和雪地，并适应它们对球运动的不同影响。像每一个坚定的运动员一样，“DribbleBot”可以在摔倒后站起来接球。 

一段时间以来，对踢足球的机器人进行编程一直是一个活跃的研究领域。然而，该团队希望在运球过程中自动学习如何驱动腿部，以发现难以编写的技能来应对雪地、砾石、沙子、草地和人行道等不同地形。进入，模拟。 

机器人、球和地形都在模拟中——自然世界的数字双胞胎。您可以加载机器人和其他资产并设置物理参数，然后它会从那里处理动力学的前向模拟。实时并行模拟四千个机器人版本，使数据收集速度比仅使用一个机器人快 4,000 倍。这是很多数据。 

机器人在不知道如何运球的情况下开始——它只是在它运球时得到奖励，或者在它搞砸时得到负强化。所以，它本质上是在试图弄清楚它应该用它的腿施加什么样的力。“这种强化学习方法的一个方面是我们必须设计一个好的奖励来促进机器人学习成功的运球行为，”麻省理工学院博士生 Gabe Margolis 说，他与 Improbable 研究助理 Yandong Ji 共同领导了这项工作人工智能实验室。“一旦我们设计了奖励，接下来就是机器人的练习时间:实时是几天，而在模拟器中是数百天。随着时间的推移，它会越来越擅长操纵足球以匹配所需的速度。” 

由于团队在其系统中内置了一个恢复控制器，该机器人还可以在不熟悉的地形中导航并从跌倒中恢复。该控制器让机器人在跌倒后重新站起来，并切换回其运球控制器以继续追球，帮助它处理分布不均的干扰和地形。 

“如果你今天环顾四周，就会发现大多数机器人都是带轮子的。但想象一下发生了灾难、洪水或地震，我们希望机器人在搜救过程中帮助人类。我们需要机器穿越地形它们不是平坦的，轮式机器人无法穿越这些地形，”麻省理工学院教授、CSAIL 首席研究员兼 Improbable AI 实验室主任 Pulkit Agrawal 说。当前的机器人系统，”他补充道。“我们为有腿机器人开发算法的目标是在目前机器人系统无法企及的具有挑战性和复杂的地形中提供自主性。” 

对四足机器人和足球的迷恋根深蒂固——加拿大教授 Alan Mackworth 在 1992 年 VI-92 上发表的题为“On Seeing Robots”的论文中首次提到了这个想法。日本研究人员后来组织了一个研讨会，主题是“人工智能的重大挑战， ”，引发了关于利用足球促进科学技术的讨论。一年后，该项目作为机器人 J 联赛启动，全球热潮随之而来。不久之后，“RoboCup”诞生了。 

与单独行走相比，运球对 DribbleBot 的运动以及它可以穿越的地形施加了更多限制。机器人必须调整其运动以向球施加力以运球。球与景观之间的交互可能不同于机器人与景观之间的交互，例如茂密的草地或人行道。例如，足球在草地上会受到阻力，而在人行道上则不会，而倾斜会施加加速度，从而改变球的典型路径。然而，机器人穿越不同地形的能力通常受这些动力学差异的影响较小——只要它不打滑——因此足球测试可以对地形变化敏感，而运动本身并不敏感。 

“过去的方法简化了运球问题，对平坦、坚硬的地面进行建模假设。运动也被设计得更加静态;机器人不会试图同时跑动和操纵球，”Ji 说。“这就是更困难的动力学进入控制问题的地方。我们通过扩展最近的进展来解决这个问题，这些进展使更好的户外运动成为可能将运动和灵巧操作的各个方面结合在一起的复合任务。”

在硬件方面，机器人有一组传感器，可以让它感知环境，让它感觉自己在哪里，“了解”自己的位置，“看到”周围的一些情况。它有一组致动器，可以施加力并移动自身和物体。在传感器和执行器之间是计算机或“大脑”，其任务是将传感器数据转换为动作，并通过电机应用这些动作。当机器人在雪地上奔跑时，它看不到雪，但可以通过其电机传感器感受到雪。但是踢足球比走路更棘手——所以除了新的运动技能外，团队还利用机器人头部和身体上的摄像头来获得新的视觉感官模式。然后——我们运球。 

“我们的机器人可以在野外行走，因为它携带了所有的传感器、摄像头和机载计算。这需要在让整个控制器适应机载计算方面进行一些创新，”Margolis 说。“这是学习有帮助的一个领域，因为我们可以运行轻量级神经网络并训练它处理移动机器人观察到的嘈杂传感器数据。这与当今大多数机器人形成鲜明对比:通常，机器人手臂安装在固定底座上， “坐在工作台上，上面插着一台巨大的电脑。电脑和传感器都不在机械臂上!所以，整个东西很重，很难移动。”

要使这些机器人像自然界中的同类机器人一样敏捷，还有很长的路要走，而且某些地形对 DribbleBot 来说具有挑战性。目前，控制器没有在包括斜坡或楼梯的模拟环境中接受训练。机器人没有感知地形的几何形状;它只是估计它的材料接触特性，比如摩擦力。例如，如果有台阶，机器人就会卡住——它无法将球举过台阶，这是团队未来想要探索的区域。研究人员也很高兴能够将 DribbleBot 开发过程中的经验教训应用到其他涉及组合运动和物体操纵的任务中，使用腿或手臂快速将不同的物体从一个地方运送到另一个地方。

该研究得到了 DARPA 机器常识计划、麻省理工学院-IBM 沃森人工智能实验室、国家科学基金会人工智能和基础交互研究所、美国空军研究实验室和美国空军人工智能加速器的支持。该论文将在 2023 年 IEEE 机器人与自动化国际会议 (ICRA) 上发表。