自从OpenAI去年底发布GPT以来,生成式AI、大语言模型等术语就一直在大家的嘴边。但当你深入了解炒作的背后时,就会发现大型语言模型通常需要大量昂贵的 GPU 芯片才能运行。SambaNova今天推出了一款芯片,据称该芯片将显着降低成本,同时处理 5 万亿个参数模型。
SambaNova 可能不像谷歌、微软或亚马逊那样家喻户晓,但多年来它一直在构建包括硬件和软件的全栈人工智能解决方案,并且根据 Crunchbase 的数据,已从英特尔资本等投资者那里筹集了超过 10 亿美元,贝莱德和软银愿景基金。今天,该公司推出了最新芯片SN40L,这是其第四代内部定制人工智能芯片。
公司创始人兼首席执行官罗德里戈·梁表示,构建自己的芯片背后的想法是控制底层硬件以实现最大效率,随着世界转向处理这些资源密集型大型语言模型,这一点变得越来越必要。
“我们需要停止使用这种蛮力方法,即在大型语言模型用例中使用越来越多的芯片。因此,我们开始创建 SN40L,专门针对非常非常大的语言模型进行调整,为企业的人工智能提供支持。”Liang 告诉 TechCrunch。
梁表示,他的新芯片通过减少驱动这些模型所需的芯片数量,效率提高了 30 倍。事实上,他声称在竞争对手的芯片上运行相同的万亿参数模型需要 50-200 个芯片,而 SambaNova 已将其减少到仅 8 个芯片。
“实际运行像 GPT-4 这样的万亿参数模型需要多少资源?我可以在八个插槽中完成它,我可以在本地交付它,我可以在该硬件上交付完全优化的产品,并且你可以获得最先进的准确性,”他说。
这是一个大胆的主张,但该公司提供了完整的堆栈硬件和软件解决方案,其中包含构建人工智能应用程序的所有内容。“我们致力于创建人工智能资产,它可以让你根据你的私人数据快速训练模型,这将成为你公司的资产,”他说。他指出,尽管 SambaNova 正在帮助客户训练模型,但该模型仍然属于他们的所有权。“所以我们告诉客户的是,这是你的数据和你的模型。在我们根据您的数据训练模型后,我们实际上将模型的所有权永久授予公司。”
梁表示,通过以多年订阅的形式提供硬件和软件解决方案,客户对其人工智能项目的成本有了更大的确定性。据该公司称,新的 SN40L 芯片从今天开始上市,但与上一代芯片完全向后兼容。