研究人员 Quan Vuong 和 Pannag Sanketi 当时指出:“正如 ImageNet 推动了计算机视觉研究一样，我们相信 Open X-Embodiment 也可以同样推动机器人技术的发展。” “建立多样化机器人演示的数据集是训练多面手模型的关键步骤，该模型可以控制许多不同类型的机器人，遵循不同的指令，对复杂任务进行基本推理并有效地进行泛化。”

截至发布时，Open X-Embodiment 包含从 22 个机器人实施例中收集的 500 多种技能和 150,000 项任务。虽然不完全是 ImageNet 的数字，但这是一个好的开始。DeepMind 随后根据这些数据训练其 RT-1-X 模型，并用它来训练其他实验室的机器人，与团队开发的内部方法相比，成功率高达 50%。

我可能在这些页面中重复了几十次，但这确实是机器人学习的一个激动人心的时刻。我与很多团队交谈过，他们从不同的角度解决这个问题，而且效率不断提高。定制机器人的统治远未结束，但我们确实感觉好像我们正在瞥见一个通用机器人完全有可能出现的世界。

毫无疑问，模拟以及人工智能（包括生成型人工智能）将成为方程式的重要组成部分。在构建用于一般任务的硬件时，仍然感觉有些公司本末倒置，但几年后，谁知道呢?

机器人团队是在 DeepMind 历史上的哪个阶段发展起来的?

我原本并不站在 DeepMind 一边。我曾是谷歌研究部的成员。我们最近与 DeepMind 的工作进行了合并。所以，从某种意义上说，我参与 DeepMind 是最近的事情。但 Google DeepMind 的机器人研究历史悠久。越来越多的人认为感知技术正在变得非常非常好。

很多计算机视觉、音频处理和所有这些东西都真正发生了转变，几乎达到了人类的水平。我们开始问自己，“好吧，假设这种情况在未来几年持续下去，会产生什么后果?” 一个明显的后果是，突然之间，在现实世界环境中拥有机器人技术将成为现实。能够在日常环境中实际发展和执行任务完全取决于拥有非常非常强的感知力。我最初从事通用人工智能和计算机视觉方面的工作。我过去也从事语音识别方面的工作。我看到了不祥之兆，决定将重点转向使用机器人作为我们研究的下一阶段。

我的理解是，Everyday Robots 团队的很多成员最终都加入了这个团队。谷歌在机器人领域的历史可以追溯到更早的时候。自 Alphabet 进行所有这些收购（波士顿动力等）以来已经过去了 10 年。谷歌现有的机器人团队中似乎有很多来自这些公司的人。

团队中有很大一部分是通过这些收购而来的。那是在我的时代之前——我真正参与了计算机视觉和语音识别，但我们仍然有很多这样的人。我们越来越多地得出这样的结论:整个机器人问题都包含在一般人工智能问题中。真正解决智能部分是现实世界机器人技术中任何有意义的过程的关键推动因素。我们将大量精力转向解决通用人工智能背景下的感知、理解和控制，这将是需要解决的重要问题。

Everyday Robots 所做的很多工作似乎都涉及通用人工智能或生成人工智能。该团队正在做的工作是否会转移到 DeepMind 机器人团队?

我想说，我们与 Everyday Robots 的合作已经有七年了。尽管我们是两个独立的团队，但我们有着非常非常深厚的联系。事实上，当时促使我们真正开始研究机器人技术的原因之一是与 Everyday Robots 团队的合作，有点像臭鼬工厂项目，他们碰巧有许多机器人手臂，已停产。它们是一代人的武器，又催生了新一代，而它们却只是闲置着，什么也不做。

我们认为拿起这些手臂，将它们全部放在一个房间里，让它们练习和学习如何抓住物体会很有趣。学习抓取问题的概念本身并不符合当时的时代精神。使用机器学习和感知作为控制机器人抓取的方法的想法还没有被探索过。当手臂成功时，我们会给他们奖励，当他们失败时，我们会给他们一个贬低。

我们第一次使用机器学习，本质上解决了这个广义抓取的问题，利用机器学习和人工智能。那是当时的灵光乍现的时刻。那里确实有一些新东西。这引发了 Everyday Robots 的两项调查，重点关注机器学习作为控制这些机器人的方法。而且，在研究方面，推动更多的机器人技术成为一个有趣的问题，将我们已经能够很好地应用于其他领域的所有深度学习人工智能技术应用起来。

Everyday Robots 被你的团队吸收了吗?

团队的一小部分被我的团队吸收了。我们继承了他们的机器人并且仍在使用它们。迄今为止，我们正在继续开发他们真正开创并正在研究的技术。整个动力的重点与团队最初的设想略有不同。我们确实更关注智能部分，而不是机器人建造。

您提到团队搬进了 Alphabet X 办公室。就跨团队协作和共享资源而言，还有更深层次的东西吗?

这是一个非常务实的决定。他们有良好的 Wi-Fi、充足的电力和充足的空间。

我希望所有的 Google 大楼都有良好的 Wi-Fi。

你希望如此，对吧?但我们搬到这里是一个非常乏味的决定。我不得不说，很多决定都是因为他们这里有一家不错的咖啡馆。我们以前的办公室食物不太好，人们开始抱怨。那里没有隐藏的议程。我们喜欢与 X 的其他成员密切合作。我认为这有很多协同作用。他们拥有非常有才华的机器人专家，致力于许多项目。我们希望与 Intrinsic 建立合作关系。我们来到这里很有意义，而且这是一座美丽的建筑。

就其平台所做的事情而言，与 Intrinsic 有一些重叠——比如无代码机器人和机器人学习。它们与通用人工智能和生成人工智能重叠。

有趣的是，机器人技术是如何从每个角落发展而来的，都是非常定制的，并具有一套非常不同的专业知识和技能。在很大程度上，我们正在进行的旅程是尝试实现通用机器人技术，无论是应用于工业环境还是更多的家庭环境。其背后的原理非常相似，由非常强大的人工智能核心驱动。我们确实在尝试探索如何支持尽可能广泛的应用程序空间，从而挑战极限。这是新的、令人兴奋的。这是一个非常新的领域。这个空间有很多值得探索的地方。

我喜欢问人们，他们认为我们距离我们可以合理地称为通用机器人技术的目标还有多远。

通用机器人的定义略有细微差别。我们确实专注于通用方法。一些方法可以应用于具有所有这些不同实施例和形状因素的工业或家庭机器人或人行道机器人。我们并不认为存在一个可以为您做所有事情的通用实施例，而不是假设您有一个专门针对您的问题定制的实施例。没关系。我们可以快速对其进行微调，以专门解决您遇到的问题。所以这是一个大问题:通用机器人会出现吗?很多人都在猜测它是否会发生以及何时会发生。

到目前为止，定制机器人已经取得了更大的成功。我认为，在某种程度上，技术还没有达到能够实现更多通用机器人的目的。这是否就是商业模式将带我们走向何方是一个很好的问题。我认为只有我们对其背后的技术更有信心才能回答这个问题。这就是我们现在正在驾驶的。我们看到了更多的生命迹象——不依赖于特定实施例的非常普遍的方法是合理的。我们最近做的事情就是这个 RTX 项目。我们走访了许多学术实验室——我想我们现在有 30 个不同的合作伙伴——并要求查看他们的任务和他们收集的数据。让我们将其放入一个公共数据存储库中，然后在其上训练一个大型模型，看看会发生什么。

生成式人工智能将在机器人技术中发挥什么作用?

我认为这将是非常重要的。发生了这场大规模的语言模型革命。每个人都开始问我们是否可以为机器人使用很多语言模型，我认为这可能非常肤浅。你知道，“让我们抓住当今的时尚，看看我们能用它做什么”，但事实证明它非常深奥。原因是，如果你仔细想想，语言模型实际上并不是关于语言的。它们是关于常识推理和对日常生活世界的理解。因此，如果大型语言模型知道您正在寻找一杯咖啡，您可能可以在厨房的橱柜或桌子上找到它。

将咖啡杯放在桌子上是有意义的。将桌子放在咖啡杯上是荒谬的。这是一些简单的事实，你不会真正考虑，因为它们对你来说是显而易见的。将其传达给具体的系统一直是非常困难的。这些知识真的非常难以编码，而那些大型语言模型拥有这些知识，并以一种非常容易访问和我们可以使用的方式对其进行编码。因此，我们已经能够采用这种常识性推理并将其应用于机器人规划。我们已经能够将其应用于机器人交互、操作、人机交互，并且拥有一个具有这种常识并且可以在模拟环境中推理事物的代理，而感知对于机器人问题来说确实是核心。

模拟可能是收集数据进行分析的重要组成部分。

是的。这是其中的一个因素。模拟的挑战在于您需要弥合模拟与现实之间的差距。模拟是现实的近似。做到非常精确并非常反映现实可能非常困难。模拟器的物理特性必须良好。模拟中现实的视觉渲染必须非常好。这实际上是生成人工智能开始崭露头角的另一个领域。您可以想象，您不必实际运行物理模拟器，而只需使用图像生成或某种生成模型来生成。

Tye Brady最近告诉我亚马逊正在使用模拟来生成包裹。

这很有意义。展望未来，我认为除了创造资产之外，你还可以想象创造未来。想象一下，如果机器人执行某个动作会发生什么？并验证它实际上正在做您想要的事情，并将其用作规划未来的一种方式。这有点像机器人做梦，使用生成模型，而不是必须在现实世界中做梦。