vmware vision「VMware与NVIDIA为企业开启生成式AI时代」

通信世界网消息（CWW）VMware（NYSE：VMW）和NVIDIA（NASDAQ：NVDA）于今日宣布扩展双方的战略合作伙伴关系，帮助数十万家使用VMware云基础架构的企业做好准备，迎接AI时代的到来。

VMware Private AI Foundation with NVIDIA将使企业能够自定义模型并运行各种生成式AI应用，如智能聊天机器人、助手、搜索和摘要等。该平台将作为全集成式解决方案，采用NVIDIA提供的生成式AI软件和加速计算，基于VMware Cloud Foundation构建，并针对AI进行了优化。

VMware首席执行官Raghu Raghuram表示：“生成式AI与多云可谓珠联璧合。客户的数据无处不在，遍布其数据中心、边缘、云等多处。我们将与NVIDIA一同助力企业放心地在数据附近运行生成式AI工作负载，并解决其在企业数据隐私、安全和控制方面的问题。”

NVIDIA创始人兼首席执行官黄仁勋表示：“世界各地的企业都在竞相将生成式AI整合到自身业务中。通过与VMware扩大合作，我们将能够为金融服务、医疗、制造等领域的数十万家客户提供其所需的全栈式软件和计算，使其能够使用基于自身数据定制的应用，充分挖掘生成式AI的潜力。”

全栈式计算大幅提升生成式AI的性能

为更快实现业务效益，企业希望简化并提高生成式AI应用的开发、测试和部署效率。根据麦肯锡的预测，生成式AI每年可为全球经济带来多达4.4万亿美元的增长(1)。

VMware Private AI Foundation with NVIDIA将助力企业充分利用这一能力，以定制大语言模型，创建供内部使用的更加安全的私有模型，将生成式AI作为一项服务提供给用户，并更加安全地大规模运行推理工作负载。

该平台计划提供的各种集成式AI工具，将帮助企业经济高效地运行使用其私有数据训练而成的成熟模型。这一建立在VMware Cloud Foundation和NVIDIA AI Enterprise软件上的平台预计能够提供以下方面的优势：

● 隐私：将通过能够保护数据隐私并确保访问安全的架构，使客户能够在任何数据所在地轻松运行AI服务。

● 选择：从NVIDIA NeMo™到Llama 2等，企业在构建和运行其模型的位置上，将拥有广泛的选择空间，包括领先的OEM硬件配置以及未来的公有云和服务提供商解决方案。

● 性能：近期的行业基准测试表明，某些用例在NVIDIA加速基础设施上运行的性能与裸机性能相当，甚至超过了裸机性能。

● 数据中心规模：虚拟化环境中的GPU扩展优化使AI工作负载能够在单个虚拟机和多个节点上扩展到最多16颗vGPU/GPU，从而加快生成式AI模型的微调和部署速度。

● 更低的成本：将最大程度地利用GPU、DPU和CPU的所有计算资源以降低总体成本，并创建可在各个团队间高效共享的池化资源环境。

● 加速存储：VMware vSAN Express Storage Architecture提供性能经过优化的NVMe存储，并支持通过RDMA实现GPUDirect®存储，从而无需CPU即可实现从存储到GPU的直接I/O传输。

● 加速网络：vSphere与NVIDIA NVSwitch™技术之间的深度集成将进一步确保多GPU模型的执行不会出现GPU间瓶颈问题。

● 快速部署和价值实现时间：vSphere Deep Learning VM镜像和镜像库将提供稳定的统包解决方案镜像，该镜像预先安装了各种框架和性能经过优化的库，可实现快速原型开发。

该平台将采用的NVIDIA NeMo是NVIDIA AI Enterprise（NVIDIA AI平台的操作系统）中包含的端到端云原生框架，可助力企业在几乎任何地点构建、自定义和部署生成式AI模型。NeMo集自定义框架、护栏工具包、数据整理工具和预训练模型于一身，使企业能够以一种简单、经济且快速的方式来采用生成式AI。

为将生成式AI部署到生产中，NeMo使用TensorRT for Large Language Models（TRT-LLM），以加速并优化NVIDIA GPU上最新LLM的推理性能。通过NeMo，VMware Private AI Foundation with NVIDIA将使企业能够导入自己的数据，并在VMware混合云基础架构上构建和运行自定义生成式AI模型。

在VMware Explore 2023大会上，NVIDIA与VMware重点介绍了企业内部的开发人员如何使用全新NVIDIA AI Workbench提取社区模型（例如Hugging Face上提供的Llama 2），对这些模型进行远程自定义并在VMware环境中部署生产级生成式AI。

生态圈对VMware Private AI Foundation With NVIDIA的广泛支持

VMware Private AI Foundation with NVIDIA将得到戴尔、慧与和联想的支持。这三家企业将率先提供搭载NVIDIA L40S GPU、NVIDIA BlueField®-3 DPU和NVIDIA ConnectX®-7智能网卡的系统，这些系统将加速企业LLM定制和推理工作负载。

相较于NVIDIA A100 Tensor Core GPU，NVIDIA L40S GPU可将生成式AI的推理性能和训练性能分别提高1.2倍和1.7倍。

NVIDIA BlueField-3 DPU可加速、卸载和隔离GPU或CPU上的巨大计算工作负载，其中包含虚拟化、网络、存储、安全，以及其他云原生AI服务。

NVIDIA ConnectX-7智能网卡可为数据中心基础设施提供智能、加速网络，以承载全球一些要求严苛的AI工作负载。

VMware Private AI Foundation with NVIDIA建立在两家公司长达十年的合作基础之上。双方的联合研发成果优化了VMware的云基础架构，使其能够以媲美裸机的性能运行NVIDIA AI Enterprise。VMware Cloud Foundation所提供的资源及基础架构管理与灵活性将进一步惠及双方共同的客户。