ZenML希望成为将所有开源 AI 工具粘合在一起的粘合剂。这个开源框架可让您构建数据科学家、机器学习工程师和平台工程师用来协作和构建新人工智能模型的管道。
ZenML 之所以有趣,是因为它赋予公司权力,让他们可以构建自己的私有模型。当然,公司可能不会开发 GPT 4 的竞争对手。但他们可以构建更小的模型,特别适合他们的需求。这将减少他们对 API 提供商(例如 OpenAI 和 Anthropic)的依赖。
“我们的想法是,一旦每个人都使用 OpenAI 或闭源 API 的第一波炒作结束,[ZenML] 将使人们能够构建自己的堆栈,”风险投资公司 Point Nine 的合伙人 Louis Coppey 告诉我。
今年早些时候,ZenML 从Point Nine筹集了种子轮的延期资金,现有投资者Crane也参与其中。总体而言,这家位于德国慕尼黑的初创公司自成立以来已筹集了 640 万美元。
ZenML 的创始人 Adam Probst 和 Hamza Tahir 之前曾在一家公司合作,该公司为特定行业的其他公司构建机器学习管道。“日复一日,我们需要构建机器学习模型并将机器学习投入生产,”ZenML 首席执行官 Adam Probst 告诉我。
从这项工作中,两人开始设计一个模块化系统,该系统可以适应不同的情况、环境和客户,这样他们就不必一遍又一遍地重复相同的工作 - 这导致了 ZenML。
与此同时,刚刚开始学习机器学习的工程师可以通过使用这个模块化系统取得领先。ZenML 团队将这个空间称为 MLOps——它有点像 DevOps,但特别适用于 ML。
“我们正在连接专注于价值链特定步骤的开源工具来构建机器学习管道 - 一切都在超大规模企业的支持下,因此一切都在 AWS 和 Google 的支持下 - 以及本地解决方案,”普罗布斯特说。
ZenML 的主要概念是管道。当您编写管道时,您可以在本地运行它或使用 Airflow 或 Kubeflow 等开源工具进行部署。您还可以利用托管云服务,例如 EC2、Vertex Pipelines 和 Sagemaker。ZenML 还与 Hugging Face、MLflow、TensorFlow、PyTorch 等开源机器学习工具集成。
ZenML 首席技术官 Hamza Tahir 表示:“ZenML 可以将所有内容整合为一个统一的体验 - 它是多供应商、多云的。” 它为机器学习工作流程带来了连接器、可观察性和可审计性。
该公司首先在 GitHub 上作为开源工具发布了其框架。该团队在编码平台上已积累了超过 3000 颗星。ZenML 最近还开始提供带有托管服务器的云版本- 持续集成和部署 (CI/CD) 的触发器即将推出。
一些公司已将 ZenML 用于工业用例、电子商务推荐系统、医疗环境中的图像识别等。客户包括 Rivian、Playtika 和 Leroy Merlin。
私有的、行业特定的模型
ZenML 的成功将取决于人工智能生态系统如何发展。目前,许多公司都通过查询 OpenAI 的 API 来添加 AI 功能。在这个产品中,您现在有了一个新的魔术按钮,可以总结大块文本。在该产品中,您现在可以预先编写客户支持交互的答案。
“OpenAI 会有未来,但我们认为大多数市场必须有自己的解决方案”亚当·普罗布斯特
但这些 API 存在一些问题——它们太复杂且太昂贵。“OpenAI 或这些闭门构建的大型语言模型是为一般用例而构建的,而不是针对特定用例。因此,目前对于特定用例来说,它的训练量太大,而且成本太高,”普罗布斯特说。
“OpenAI 会有未来,但我们认为大多数市场都必须有自己的解决方案。这就是为什么开源对他们非常有吸引力,”他补充道。
OpenAI 的首席执行官 Sam Altman 也认为,人工智能模型不会是一刀切的情况。“我认为两者都发挥着重要作用。我们对两者都感兴趣,未来将是两者的混合体。”今年早些时候,在F 站的问答环节中,Altman 在回答有关小型专业模型与广泛模型的问题时说道。
人工智能的使用还存在道德和法律影响。监管仍在实时发展中,但欧洲立法尤其可以鼓励公司使用在非常特定的数据集上以非常特定的方式训练的人工智能模型。
“Gartner 表示,75% 的企业将在 2024 年从[概念验证]转向生产。因此,未来一两年可能是人工智能历史上最具影响力的时刻,我们最终将使用可能的技术投入生产混合了开源基础模型,对专有数据进行了微调。”塔希尔告诉我。
“MLOps 的价值在于,我们相信 99% 的人工智能用例将由更专业、更便宜、更小的模型驱动,这些模型将在内部进行训练,”他后来在谈话中补充道。