gpt 模型「GPT-4模型架构、训练成本和数据集信息泄露」

7月11日 消息:今天，SemiAnalysis 发布了一篇付费订阅的内容，「揭秘」了有关 GPT-4的信息，包括模型架构、训练成本、数据集等。

据称，GPT-4是由8个混合专家模型组成的集成系统，每个模型有2200亿个参数。推理过程中采用了混合专家模型，路由方式相对简单。训练数据集包含约13万亿个 token，训练时间为90到100天，成本达到6300万美元。推理成本为每1000个 token 约为0.0049美分。

文章还提到了 GPT-4的视觉多模态、推测式解码等特点。这些揭秘的数据对理解 OpenAI 的架构决策非常有意义。

此外，文章还介绍了 A100上 GPT-4的训练和推理成本，以及如何拓展到下一代模型架构 H100。