实施最先进的人工智能 (AI) 和机器学习 (ML) 模型需要大量计算，既要训练基础模型，又要在这些模型经过训练后为它们提供服务。考虑到这些工作负载的需求，一种放之四海而皆准的方法是不够的——您需要专为 AI 构建的基础设施。
我们与我们的合作伙伴一起，为 ML 用例提供广泛的计算选项，例如大型语言模型 (LLM)、生成 AI 和扩散模型。最近，我们发布了 G2 VMs，成为第一个提供新的 NVIDIA L4 Tensor Core GPU 用于服务生成式 AI 工作负载的云。今天，我们通过推出下一代 A3 GPU 超级计算机的私人预览版来扩展该产品组合。Google Cloud 现在提供一整套 GPU 选项，用于训练和推理 ML 模型。
Google Compute Engine A3 超级计算机专为训练和服务要求最严苛的 AI 模型而打造，这些模型为当今的生成式 AI 和大型语言模型创新提供动力。我们的 A3 VM 结合了 NVIDIA H100 Tensor Core GPU 和 Google 领先的网络技术，可为各种规模的客户提供服务:
A3 是第一个使用我们定制设计的 200 Gbps IPU的 GPU 实例，GPU 到 GPU 的数据传输绕过 CPU 主机并流过与其他 VM 网络和数据流量不同的接口。与我们的 A2 VM 相比，这可实现高达 10 倍的网络带宽，同时具有低尾延迟和高带宽稳定性。
我们行业独一无二的智能 Jupiter 数据中心网络结构可扩展到数万个高度互连的 GPU，并允许全带宽可重新配置的光学链路，可以按需调整拓扑。对于几乎每种工作负载结构，我们实现的工作负载带宽与更昂贵的现成非阻塞网络结构没有区别，从而降低了 TCO。
A3 超级计算机的规模提供高达 26 exaFlops 的 AI 性能，这大大减少了训练大型 ML 模型的时间和成本。
随着公司从训练过渡到提供 ML 模型，A3 VM 也非常适合推理工作负载，与我们由 NVIDIA A100 Tensor Core GPU* 提供支持的 A2 VM 相比，推理性能提升高达 30 倍。
专为性能和规模而打造
A3 GPU VM 专门为当今的 ML 工作负载提供最高性能的训练，配备现代 CPU、改进的主机内存、下一代 NVIDIA GPU 和主要网络升级。以下是 A3 的主要特点:
8 个 H100 GPU，利用 NVIDIA 的 Hopper 架构，提供 3 倍的计算吞吐量
通过 NVIDIA NVSwitch 和 NVLink 4.0，A3 的 8 个 GPU 之间的对分带宽为 3.6 TB/s
下一代第 4 代英特尔至强可扩展处理器
2TB 主机内存，通过 4800 MHz DDR5 DIMM
由我们支持硬件的 IPU、专门的服务器间 GPU 通信堆栈和 NCCL 优化提供支持的网络带宽增加 10 倍
A3 GPU VM 是客户开发最先进的 ML 模型的一个进步。通过显着加快 ML 模型的训练和推理，A3 VM 使企业能够快速训练更复杂的 ML 模型，为我们的客户创造机会来构建大型语言模型 (LLM)、生成 AI 和扩散模型，以帮助优化运营并在竞争中保持领先地位。
此次发布基于我们与 NVIDIA 的合作伙伴关系，旨在为我们的客户提供用于训练和推理 ML 模型的全方位 GPU 选项。
NVIDIA 超大规模和高性能计算副总裁 Ian Buck 表示:“由下一代 NVIDIA H100 GPU 提供支持的 Google Cloud 的 A3 VM 将加速生成 AI 应用程序的训练和服务。” “在谷歌云最近推出 G2 实例之后，我们很自豪能够继续与谷歌云合作，通过专门构建的人工智能基础设施帮助全球企业转型。”
完全托管的 AI 基础架构针对性能和成本进行了优化
对于希望在无需维护的情况下开发复杂 ML 模型的客户，您可以在 Vertex AI 上部署 A3 VM，Vertex AI 是一个端到端平台，用于在专为低延迟服务和高性能而构建的完全托管基础设施上构建 ML 模型训练。今天，在Google I/O 2023上，我们很高兴通过向更多客户开放 Vertex AI 中的生成 AI 支持以及引入新功能和基础模型来构建这些产品。
对于希望构建自己的自定义软件堆栈的客户，客户还可以在 Google Kubernetes Engine (GKE) 和 Compute Engine 上部署 A3 VM，以便您可以训练和提供最新的基础模型，同时享受自动缩放、工作负载编排和自动升级。
“Google Cloud 的 A3 VM 实例为我们提供了计算能力和规模，可满足我们最苛刻的训练和推理工作负载。我们期待利用他们在 AI 领域的专业知识和在大规模基础设施方面的领导地位，为我们的 ML 工作负载提供强大的平台。” -Noam Shazeer，Character.AI 首席执行官在谷歌云，人工智能是我们的 DNA。我们应用了数十年为 AI 运行全球规模计算的经验。
