许多人现在开始思考如何将 Gen AI 和大型语言模型 (LLM) 引入生产服务。你可能想知道“如何将LLM或AI聊天机器人与现有的IT系统、数据库和业务数据集成?”，“我们有数千种产品，我如何让LLM准确地记住它们?”，或“如何处理幻觉AI 聊天机器人中的问题来构建可靠的服务?”。这是一个快速的解决方案:以嵌入和向量搜索为基础。
什么是接地?什么是嵌入和矢量搜索?在这篇文章中，我们将学习这些关键概念，以构建供企业使用的可靠的 Gen AI 服务。但在我们深入研究之前，这里有一个例子:
在毫秒内对 800 万个 Stack Overflow 问题进行语义搜索。（在这里尝试演示）
该演示可在此处作为公共现场演示使用。选择“STACKOVERFLOW”并输入任何编码问题作为查询，这样它就会对Stack Overflow上发布的 800 万个问题进行文本搜索。
以下几点使这个演示与众不同:
支持 LLM 的语义搜索:800 万个 Stack Overflow 问题和查询文本均由Vertex AI 生成 AI 模型解释。该模型以图书馆员级别的精度理解问题主体中文本和代码片段的含义和意图（语义）。该演示利用此功能来查找高度相关的问题，并且在用户体验方面远远超出了简单的关键字搜索。例如，如果您输入“我如何编写一个只实例化一次的类”，那么演示会在顶部显示“如何创建一个单例类”，因为模型知道它们在计算机编程上下文中的含义相同.
以商业事实为基础:在这个演示中，我们没有尝试让 LLM 记住 800 万条复杂而冗长的提示工程。相反，我们使用矢量搜索将 Stack Overflow 数据集作为外部存储器附加到模型，并且没有使用提示工程。这意味着，输出都直接“接地”（连接）到业务事实，而不是 LLM 的人工输出。因此，该演示今天已准备好作为具有关键任务业务责任的生产服务提供。它不受 LLM 内存的限制或 LLM 的意外行为（如幻觉）的影响。
可扩展且快速:该演示在数十毫秒内为您提供搜索结果，同时保留深度语义理解能力。此外，该演示能够扩展以每秒处理数千个搜索查询。这是通过结合 LLM 嵌入和 Google AI 的矢量搜索技术实现的。
该解决方案的关键推动因素是 1) 使用Vertex AI Embeddings for Text生成的嵌入和 2) Vertex AI Matching Engine快速且可扩展的矢量搜索。让我们先来看看这些技术。
第一个关键推动因素:文本的 Vertex AI 嵌入
2023 年 5 月 10 日，Google Cloud 宣布了以下用于文本和图像的嵌入 API。它们在Vertex AI Model Garden上可用。
Embeddings for Text:该 API 接受多达 3,072 个输入标记的文本输入并输出 768 维文本嵌入，并可作为公共预览版使用。
图像嵌入:基于Google AI 的 Contrastive Captioners (CoCa) 模型，该 API 接受图像或文本输入并输出 1024 维图像/文本多模式嵌入，可供受信任的测试人员使用。此 API 输出所谓的“多模式”嵌入，支持多模式查询，您可以在其中通过文本查询对图像执行语义搜索，反之亦然。我们将很快在另一篇博文中介绍此 API。
在此博客中，我们将详细解释为什么嵌入有用，并向您展示如何构建和利用文本嵌入 API 的应用程序。在未来的博文中，我们将深入探讨 Embeddings API for Image。
用于 Vertex AI 模型花园上的文本的嵌入 API
什么是嵌入?
那么，什么是语义搜索和嵌入?随着 LLM 的兴起，为什么 IT 工程师和 ITDM 了解他们的工作方式变得越来越重要?此外，基础课程: Google Machine Learning Crush Course 上的嵌入和Meet AI 的多功能工具: Dale Markowitz 的矢量嵌入是了解有关嵌入的更多信息的好材料。
LLM 文本嵌入业务用例
借助嵌入 API，您可以将嵌入的创新与 LLM 功能相结合，应用于各种文本处理任务，例如:
启用 LLM 的语义搜索:文本嵌入可用于表示嵌入空间中用户查询和文档的含义和意图。通过矢量搜索技术可以快速找到与用户查询意图具有相似含义的文档。该模型能够生成文本嵌入，捕捉文档中每个句子和段落的细微差别。
支持 LLM 的文本分类:LLM 文本嵌入可用于文本分类，无需任何训练或微调（所谓的零样本学习）即可深入了解不同的上下文。如果没有针对特定任务的训练，这对于过去的语言模型是不可能的。
LLM-enabled Recommendation:文本嵌入可用于推荐系统，作为训练推荐模型（如双塔模型）的强大功能。该模型学习查询和候选嵌入之间的关系，从而通过语义产品推荐获得下一代用户体验。
支持 LLM 的聚类、异常检测、情感分析等，也可以通过 LLM 级别的深度语义理解来处理。
以“图书馆员级别”的精度对 800 万份文本进行排序
Vertex AI Embeddings for Text 具有 768 维的嵌入空间。正如上面视频中所解释的，这个空间代表了世界上各种各样的文本的巨大地图，按照它们的含义组织起来。对于每个输入文本，模型可以在地图中找到一个位置（嵌入）。
该 API 可以接受 3,072 个输入标记，因此它可以消化长文本甚至编程代码的整体含义，并将其表示为单嵌入。这就像拥有一位知识渊博的图书管理员，仔细阅读数百万篇文章，并用数百万个纳米类别对它们进行分类，这些类别甚至可以对细微差别进行分类。
通过可视化嵌入空间，您实际上可以观察模型如何以“图书馆员级别”的精度对文本进行排序。Nomic AI提供了一个名为Atlas的平台，用于存储、可视化和与具有高可扩展性和流畅的 UI 的嵌入空间交互，他们与谷歌合作可视化了 800 万个 Stack Overflow 问题的嵌入空间。您可以尝试探索空间，放大和缩小浏览器在此页面上的每个数据点，由 Nomic AI 提供。
带有 Stack Overflow 问题的 Embeddings API 的“图书馆员级”语义理解示例
请注意，此演示不需要对计算机编程特定数据集进行任何培训或微调。这就是LLM零样本学习能力的创新之处;它可以应用于广泛的行业，包括金融、医疗保健、零售、制造、建筑、媒体等，对以行业为中心的业务文档进行深度语义搜索，而无需花费时间和成本来收集行业特定的数据集和培训楷模。
第二个关键推动因素:快速且可扩展的矢量搜索
前面显示的 Stack Overflow 演示的第二个关键推动因素是矢量搜索技术。这是我们在数据科学领域的另一项创新。
问题是“如何在嵌入空间中找到相似的嵌入”。由于嵌入是向量，这可以通过计算向量之间的距离或相似性来完成，如下所示。
但是，当您有数百万或数十亿个嵌入时，这并不容易。例如，如果您有 800 万个 768 维的嵌入，则需要按 800 万 x 768 的顺序重复计算。这将花费很长时间才能完成。实际上，当我们五年前在具有一百万个嵌入的 BigQuery 上尝试这个时，只用了 20 秒。
因此，研究人员一直在研究一种称为近似最近邻 (ANN)的技术，以加快搜索速度。ANN 使用“矢量量化”将空间分成具有树结构的多个空间。这类似于关系数据库中用于提高查询性能的索引，可以通过数十亿嵌入实现非常快速和可扩展的搜索。
随着LLMs的兴起，ANN也迅速流行起来，被称为Vector Search技术。
2020 年，Google Research 发布了一种名为ScaNN的新 ANN 算法。它被认为是业内最好的 ANN 算法之一，也是 Google 搜索、YouTube 等主要 Google 服务中搜索和推荐的最重要基础。
谷歌云开发人员可以利用Vertex AI 匹配引擎充分利用谷歌的矢量搜索技术。有了这个完全托管的服务，开发人员只需将嵌入添加到其索引中，并发出带有键嵌入的搜索查询，即可实现极快的矢量搜索。就 Stack Overflow 演示而言，匹配引擎可以在数十毫秒内从 800 万个嵌入中找到相关问题。
使用匹配引擎，如果您的目标是生产系统的高可扩展性、可用性和可维护性，则无需花费大量时间和金钱从头开始构建自己的矢量搜索服务或使用开源工具。
使用匹配引擎将 LLM 输出接地
通过结合嵌入 API 和匹配引擎，您可以使用嵌入将 LLM 输出“接地”到低延迟的真实业务数据:
对于前面显示的 Stack Overflow 演示，我们构建了一个具有以下架构的系统。
Stack Overflow 语义搜索演示架构
演示架构分为两部分:1) 使用 Vertex AI Workbench 和 BigQuery 上的 Stack Overflow 数据集（右侧）构建匹配引擎索引，以及 2) 使用 Cloud Run（左侧）和匹配引擎处理矢量搜索请求。有关详细信息，请参阅GitHub 上的示例笔记本。
将 LLM 与 LangChain 和 Vertex AI 结合起来
除了Stack Overflow demo使用的架构外，另一种流行的接地方法是将向量搜索结果输入LLM，让LLM为用户生成最终的答案文本。LangChain是实现此管道的流行工具，而 Vertex AI Gen AI 嵌入 API 和匹配引擎绝对最适合 LangChain 集成。
如何开始
在本文中，我们了解了文本 API 嵌入和匹配引擎的结合如何让企业以扎实可靠的方式使用 Gen AI 和 LLM。API细粒度的语义理解能力，可以为各行各业的信息搜索和推荐带来智能，树立企业IT系统用户体验新标准。
