commedia dell’arte「戴尔宣布与 Meta 合作推动 Llama 2 大语言模型的本地部署」

(ChinaZ.com)11 月 1 日消息：戴尔公司宣布与 Facebook 的母公司 Meta 合作，旨在简化客户在本地部署 Llama 2 大语言模型（LLM）的过程，而不是通过云服务访问。戴尔表示，存在一个企业客户市场，他们希望使用自己的 IT 基础设施部署和运行 Meta 的 AI 模型，戴尔的目标是成为该设备的首选提供商。

这个合作主要围绕戴尔为生成式 AI 设计的验证设计（Validated Design for Generative AI）组合 —— 该组合是今年与 GPU 制造商英伟达共同设计的经过预测试的硬件构建。结合这一点，戴尔提供了部署和配置指导，以帮助客户在更短的时间内启动并运行。

例如，戴尔已将 Llama 2 模型集成到其系统型号工具中，以指导客户找到他们想要实现的正确配置。

戴尔的首席 AI 官员 Jeff Boudreau 在一份声明中说，包括 Llama 2 在内的生成式 AI 模型有可能改变行业的运营和创新方式。

他说：通过戴尔和 Meta 技术的合作，我们通过详细的实施指导以及针对所有规模部署的最佳软件和硬件基础设施，使开源 GenAI 对所有客户更加可用。

Llama 2 于 7 月份发布，提供了三种不同大小的预训练和微调语言模型，分别具有七十亿、一百三十亿和七百亿的参数，这些模型具有不同的硬件要求。

该模型可供研究和部分商业用途免费下载。Meta 已经与微软和亚马逊合作，将其提供在 Azure 和 AWS 云平台上。

戴尔的生成式 AI 验证设计于 8 月份发布，将该公司的服务器套件与英伟达 GPU、存储和英伟达的 AI 企业套件等软件相结合。该公司确认，这些设计旨在推动推理工作，适用于涉及自然语言生成的应用程序，如聊天机器人和虚拟助手，以及市场营销和内容创建，尽管戴尔已扩展了该组合，以支持模型的定制和调整。

戴尔表示，具有七十亿参数的 Llama 2 可以通过单个 GPU 运行，而具有一百三十亿参数的版本需要两个 GPU，七百亿版本需要八个。戴尔在博客中概述了如何将七十亿和一百三十亿参数版本部署到 PowerEdge R760xa 系统，而七百亿参数版本则需要像 PowerEdge XE9680 服务器这样的设备，因为它需要八个 GPU。