英伟达正式宣布 AI Foundry 服务：与微软 Azure 合作推出 H100 实例，明年推出 H200 实例

11 月 16 日消息:英伟达正式宣布推出其 AI Foundry 服务计划，这是一套包括英伟达 AI 基础模型、英伟达 NeMo 框架和工具，以及 DGX 云 AI 超级计算和服务的全方位解决方案，为企业打造和优化定制的生成式 AI 模型。

英伟达 AI Foundry 服务将使通信和媒体提供商的领先软件和服务供应商 Amdocs 能够优化企业级大型语言模型，从而在其业务范围内高效部署生成式 AI 用例，涵盖从客户体验到网络运营和配置。这些 LLM 将作为 Amdocs amAIz 框架的一部分，在英伟达加速计算上运行。

此次合作构建在此前宣布的 Amdocs-Microsoft 合作伙伴关系之上，使服务提供商能够在安全、可信的环境中，包括本地和云端，采用这些应用程序。

新的英伟达 H100 和 H200 Tensor Core GPU 实例将登陆微软 Azure，加速 AI 工作负载

英伟达继续与微软合作构建最先进的 AI 基础设施。作为此项合作的一部分，微软将向 Azure 引入更多基于 H100 的虚拟机，以加速中等规模的 AI 工作负载。

在今天在西雅图举行的 Ignite 大会上，微软宣布了其新的 NC H100 v5 VM 系列，这是业内首个配备英伟达 H100 NVL GPU 的云实例。这一产品将两个基于 PCIe 的 H100 GPU 通过英伟达 NVLink 连接在一起，提供近 4 petaflops 的 AI 计算能力和 188GB 更快的 HBM3 内存。英伟达 H100 NVL GPU 能够在 GPT-3 175B 上提供比上一代高达 12 倍的性能，非常适合推理和主流训练工作负载。

此外，微软宣布计划明年将英伟达 H200 Tensor Core GPU 添加到其 Azure 系列中，以支持更大型模型的推理，同时不降低延迟。这款新产品旨在加速最大的 AI 工作负载，包括 LLM 和生成式 AI 模型。H200 GPU 使用最新一代 HBM3e 内存，在内存容量和带宽方面均有显著提升。

与其前身相比，这款新 GPU 将提供 141GB 的 HBM3e 内存（增加 1.8 倍）和 4.8 TB/s 的峰值内存带宽（增加 1.4 倍）。

云计算迈向机密性

为了进一步扩大 Azure 客户对英伟达加速生成式 AI 计算的可用性，微软宣布了另一个英伟达支持的实例：NCC H100 v5。

这些 Azure 机密虚拟机（VM）配备英伟达 H100 Tensor Core GPU，允许 Azure 客户在使用中保护其数据和应用程序的保密性和完整性，同时访问 H100 GPU 的无与伦比加速性能。这些增强 GPU 的机密 VM 将很快在私有预览中推出。