Meta、OpenAI、Anthropic 和 Cohere 人工智能模型都在胡编乱造 —— 哪个最糟糕？

8月18日消息:如果科技行业的顶尖人工智能模型有所区别的话，微软支持的 OpenAI 的 GPT-4 在数学方面表现最好，Meta 的 Llama 2 则在中间位置，Anthropic 的 Claude 2 在了解自己的限制方面表现最好，而 Cohere AI 则被赋予了最多的幻觉和最自信的错误答案的称号。

这份周四来自 Arthur AI 研究人员的报告指出这一切。Arthur AI 是一家机器学习监测平台。

这项研究是在人工智能系统产生误导信息的问题愈发引起争议之际进行的，与此同时，生成式人工智能正迎来了繁荣期。

Arthur AI 的联合创始人兼首席执行官 Adam Wenchel 表示，这是第一个「全面考察幻觉率」的报告，而非仅仅提供「一个数字来衡量它们在 LLM 排行榜上的位置」。

当大型语言模型（LLMs）完全捏造信息、表现得像在说真实事实时，就会出现 AI 幻觉。例如，在 6 月份的一例中，有人发现 ChatGPT 在纽约联邦法院的一份文件中引用了「虚假」的案例，涉案的纽约律师可能面临制裁。

在一个实验中，Arthur AI 的研究人员在组合数学、美国总统和摩洛哥政治领导人等类别中测试了这些 AI 模型，并提出了一些「设计来使 LLMs 犯错的关键元素，需要多个步骤来推理信息」的问题，研究人员写道。

总体而言，OpenAI 的 GPT-4 在所有测试的模型中表现最好，研究人员发现它的幻觉现象比之前的版本 GPT-3.5 要少，例如，在数学问题上，它的幻觉现象减少了 33% 至 50%，具体取决于类别。

另一方面，研究人员发现，Meta 的 Llama 2 比 GPT-4 和 Anthropic 的 Claude 2 更容易产生幻觉。

在数学类别中，GPT-4 排名第一，Claude 2 紧随其后，但在美国总统类别的测试中，Claude 2 以准确率位居第一，挤下了 GPT-4，成为第二名。当被问到摩洛哥政治问题时，GPT-4 再次排名第一，而 Claude 2 和 Llama 2 则几乎选择不回答。

在第二个实验中，研究人员测试了这些 AI 模型在回答问题时是否会使用警示语来避免风险（比如：作为一个 AI 模型，我不能提供意见）。

在使用警示语方面，与 GPT-3.5 相比，GPT-4 有了 50% 的相对增长，研究人员写道：「这从用户的个别证据中量化了 GPT-4 的使用更加令人沮丧」，然而，根据报告，Cohere 的 AI 模型在任何回答中都没有使用警示语。研究显示，Claude 2 在「自我意识」方面最可靠，即准确评估自身所知与所不知，并且只回答具备支持性数据的问题。

Cohere 的一位发言人对这些结果提出了异议，称「Cohere 的检索自动生成技术未被测试，它对于给企业提供可验证的引用文献以确认信息来源非常有效」。

Wenchel 表示，用户和企业最重要的结论是「根据实际工作负载进行测试」，他随后补充道：「重要的是要了解它在你试图实现的任务上的性能」。

Wenchel 说：「很多基准测试仅仅关注 LLM 本身的某种衡量标准，但实际上在真实世界中并不是这样使用的。确保你真正了解 LLM 在实际应用中的表现是关键。」

阅读 Arthur AI研究报告：https://www.arthur.ai/gap