英伟达hgx a100「英伟达发布新一代AI处理器H200 性能较H100提高60%至90%」

11月14日 消息:昨日晚间，英伟达Nvidia 推出了 H200，这是一款专为训练和部署生成式人工智能模型的图形处理单元（GPU）。

它基于 NVIDIA Hopper 架构，具有先进的内存和处理能力，可处理海量的数据用于生成式 AI 和高性能计算工作负载。 H200是第一款具有 HBM3e 内存的 GPU，提供了141GB 的内存和4.8TB/s 的内存带宽，几乎是 NVIDIA H100Tensor Core GPU 容量的两倍，内存带宽也增加了1.4倍。

在 AI 领域，业务需要使用大型语言模型来满足各种推理需求。H200在处理类似 Llama2这样的大型语言模型时，相比 H100GPU 的推理速度提高了2倍。 对于高性能计算应用，内存带宽对于提高数据传输速度、减少处理瓶颈至关重要。H200的更高内存带宽确保高效地访问和操作数据，使得与 CPU 相比，处理时间快了110倍。

此外，H200的能效和总拥有成本也有所降低。这项前沿技术不仅提供了卓越的性能，而且功耗与 H100相同。

预计 H200将在2024年第二季度开始发货。

Nvidia 表示，H200将兼容 H100，这意味着已经在使用先前模型进行训练的人工智能公司无需更改其服务器系统或软件即可使用新版本。