metarun 2020「Meta可能正开发Llama 3，据称比GPT-4强大、免费开源！」

本文要点：

1. Meta可能正在开发比GPT-4更强大的AI大模型Llama3，并保持开源免费。

2.消息称 Llama3计划达到GPT-4的性能水平，但仍将免费提供。然而Meta尚未对此进行官方确认。

3. Llama2在某些应用上达到GPT-3.5水平，但与GPT-4等模型仍有明显差距。Llama3是否能超过GPT-4在技术上还存在不确定性。

8月31日 消息:据人工智能新闻网站the decoder报道，Meta可能正在开发比GPT-4更强大的AI大模型Llama3，并且保持开源免费。

报道称，这是OpenAI 工程师、前 Google Brain 工程师 Jason Wei 在 Meta 组织的 Generative AI Group 社交活动中听到的消息。

Jason Wei注意到 Meta 现在有足够的计算能力来训练 Llama3和4。他透露，Llama3计划达到GPT-4的性能水平，但仍将免费提供。

不过，Meta目前还没有发表任何关于Llama3何时发布的声明。尽管消息源来自Jason Wei，但其听到的消息也可能有误。

可以参考的是，从2023年2月下旬发布Llama1到2023年7月下旬发布 Llama2， Meta 花了大约五个月的时间。

GPT-4具有比标准版 Llama 更复杂的架构

GPT-4可能通过使用更复杂的混合架构来实现其高性能，该架构具有16个专家网络，每个网络具有约1110亿个参数。

因此，从 Llama2升级到 Llama3可能比简单地通过更多训练进行扩展更具挑战性，并且可能比从 Llama1跳到 Llama2需要更长的时间。

Llama2在某些应用程序中达到了GPT-3.5的水平，同时正在由开源社区通过微调和附加功能进行优化。

例如，最近发布的Code Llama基于 Llama2，通过微调在 HumanEval 编码基准中达到了GPT-3.5和GPT-4级别的结果（取决于测量类型）。

然而，Meta 在论文中指出， Llama2与 GPT-4和Google 的 PaLM-2等闭源模型仍然存在较大的性能差距。

届时Llama3能否比GPT-4更强大还有待观察。