open ai codex「OpenAI 采用新方法训练 AI 模型 以应对人工智能产生的「幻觉」」

6月1日消息:OpenAI 于当地时间周三宣布，他们正在采用一种新的方法来训练人工智能模型，以应对人工智能产生的「幻觉」。

此项研究的推出正值 AI 系统产生的错误信息比以往任何时候都更加引发热议，尤其是在生成式 AI 蓬勃发展的同时，以及 2024 年美国总统大选临近之际。

去年，OpenAI 发布了由 GPT-3 和 GPT-4 驱动的 ChatGPT 聊天机器人，加速了生成式 AI 的繁荣，并在两个月内吸引了 1 亿多月活跃用户，据说创下了最快增长应用的纪录。迄今为止，微软已向 OpenAI 投资超过 130 亿美元，而该初创公司的估值已达到约 290 亿美元。

AI「幻觉」发生在像 OpenAI 的 ChatGPT 或 Google 的 Bard 这样的模型中，它们完全杜撰信息，表现得像在陈述事实。例如，在 Google 自己二月份的 Bard 宣传视频中，该聊天机器人对于詹姆斯·韦伯太空望远镜提出了不实的说法。最近，ChatGPT 在纽约联邦法院的一份文件中引用了「虚假」案例，参与的纽约律师可能面临制裁。

OpenAI 的潜在新策略是：训练 AI 模型在得出答案时，为每个正确的推理步骤奖励自己，而不仅仅是奖励正确的最终结论。研究人员称这种方法为「过程监督」，与「结果监督」相对，可以带来更好的可解释性 AI，因为该策略鼓励模型遵循更符合人类「思维」方式的链式推理。

OpenAI 的数学研究员卡尔·科布（Karl Cobbe）告诉 CNBC 说：「检测和减轻模型的逻辑错误或幻觉是建立符合人工智能的通用智能（AGI）的关键步骤。」他指出，尽管 OpenAI 并非发明了过程监督方法，但该公司正在推动其进展。他还表示：「这项研究的动机是解决幻觉问题，以使模型更能够解决具有挑战性的推理问题。」

Cobbe 说，OpenAI 已经发布了一个附带的数据集，其中包含 800，000 个人类标签，用于训练研究论文中提到的模型。

电子隐私信息中心高级顾问兼人工智能和人权项目负责人本·温特斯 (Ben Winters) 表示怀疑，他告诉 CNBC 他想检查完整的数据集和随附的示例。

虽然 OpenAI 的论文是否经过同行评审或其他形式的评审尚不清楚，但布朗大学技术责任中心主任 Suresh Venkatasubramanian 告诉 CNBC，他认为这项研究更像是初步观察而已。他补充说：「由于大型语言模型的整体不稳定性，这需要在研究界进行验证，才能对此提出确定性的结论。」

这位研究中的负责人 Karl Cobbe 透露，公司「可能会将论文提交给未来的会议进行同行评审」。对于 OpenAI 是否计划将这一新策略应用于 ChatGPT 和其他产品，该公司未回应 CNBC 的置评请求。

AI Now Institute 的执行董事 Sarah Myers West 告诉 CNBC：「当然，可以看到公司正在尝试调整其系统的开发，以减少这些错误。我认为关键在于将其解释为企业研究，考虑到存在更深层次的问责制障碍。」

West 补充说：「本文提供了人类级别反馈的小型数据集，但它没有提供有关用于训练和测试 GPT-4 的数据的基本细节。因此，在人们处于模型直接影响下的情况下，仍然存在着巨大的不透明度，这是人工智能领域任何有意义问责工作面临的一项挑战。」