高通推出Cloud AI 100 Ultra云推理卡，单卡可运行100B参数大模型

IT之家 11 月 15 日消息，高通发布了 Cloud AI 100 Ultra，属于云 AI 推理加速卡，专为生成式 AI 和大型语言模型而设计。

这款产品可提供相当于上一代产品四倍的性能，可以在单张 150W 的卡上部署 100B 参数模型，在两张卡上部署 175B 参数，甚至还可以通过高通 AI 堆栈和云 AI SDK 的多 个 Cloud AI 100 Ultra 支持更大的模型。

据介绍，高通 CloudAI 100 Ultra 是一个可编程的 AI 加速器，可以支持最新的 AI 技术和数据格式。

它利用高通 AI 堆栈，可以使客户能够“在任何地方训练并在高通 Cloud AI 100 Ultra 上进行推理”，从而支持模型的移植和优化。

正如其名，这是一款云加速卡，它背后依赖的是慧与科技专为加速器优化的生成式 AI 工作负载（IT之家注：包括自然语言处理 NLP）设计的 HPE ProLiant DL380a Gen 11 服务器。

根据高通官方的说法，Cloud AI 100 平台在最新基准测试结果的所有加速卡中均处于领先地位，但不清楚最新 CloudAI 100 Ultra 的具体结果。

高通表示，在云和企业用例中，与竞争对手相比，高通 CloudAI 100 Ultra 在生成式 AI（包括 LLMs、NLP 和计算机视觉工作负载）方面每 TCO 美元提供两到五倍的性能。

他们认为，这种性能、定价、功率、效率、可扩展性和安全性的结合，使其成为希望采用尖端 AI 并转变其运营的组织的理想选择，同时支持可持续发展目标。