GPT-4调教指令揭秘，OpenAI又Open了一回！网友在线追问GPT-5

声明:本文来自于微信公众号 新智元（ID:AI_era），作者:新智元，授权转载发布。

【新智元导读】GPT-4越来越懂事了，这背后有着非常巧妙的调教策略。OpenAI最新发布的模型规范，给LLM列出了条条框框，即正确的行为方式。没想到，评论区一大片网友催更GPT-5。

这周既没有GPT-5，也没有搜索引擎的发布，不过，OpenAI也是没闲着。

这次，OpenAI可是又open了一回。

先是揭秘了，大家一直揪着不放的数据问题。

然后，又放出了模型规范（Model Spec）一文，解释了指定API和ChatGPT中的模型，所需行为方式的指南。

不过，就这些内容根本满足不了，胃口大的网友们。

许多人在线纷纷催OpenAI，快点发GPT-5，其他的事都无关紧要!

话又说回来，OpenAI发布的模型规范，就是为了让更多人了解团队自身，如何去塑造理想的模型行为。

一起来看看，在OpenAI内部，LLM如何被调教的。

调教模型，还得看OpenAI

首先，什么是模型行为?

顾名思义，是指LLM如何根据用户的输入做出反应，包括调整语调、个性化表达、回应长度等多个方面。

这对于人们如何与AI进行互动至关重要。

目前，塑造模型的这些行为还处于初级阶段。

这是因为模型并非直接编程设定，而是通过学习大量数据后，逐渐形成行为模式。

有时候，模型响应的初衷是，希望更好地帮到每个人，但是这可能在实际应用中产生冲突。

举个栗子，一家安全公司需要生成钓鱼邮件作为模拟数据，以训练和开发能够保护客户的分类系统。

然而，这种功能若落入骗子手中，可能给社会带去危害。

因此，在塑造模型行为的过程中，我们必须考虑众多的问题和细节。甚至，往往需要在不同意见中找到平衡。

对此，OpenAI团队撰写了一份介绍模型规范的初稿。

这份新文档详细说明了，OpenAI如何塑造对模型的期望行为，以及在遇到冲突时如何做出权衡。

文章地址:https://cdn.openai.com/spec/model-spec-2024-05-08.html

它整合了OpenAI目前使用的文档、在模型行为设计方面的经验和持续研究，以及包括领域专家输入在内的最新工作，这些都是为了指导未来模型的发展。

当然，OpenAI指出这个文档并非面面俱到，还会随着时间推进不断完善。

LLM能做什么?不能做什么?

根据官博，OpenAI给出了三大方向，具体的方法论包括:

1. 目标:设定宽泛而基本的原则，为模型的期望行为指明方向。

- 协助开发者和用户:通过遵循指令，并提供有效的响应，帮助用户达成目标。

- 造福人类:依据OpenAI的使命，考虑到可能对内容创作者和广大公众带来的益处与风险。

- 塑造OpenAI的正面形象:遵守社会规范和相关法律。

2. 规则:为处理复杂情况提供指南，确保安全性和合法性

- 遵循命令链（chain of command）

- 遵守相关法律

- 不提供敏感危害的信息

- 尊重创作者及其版权

- 保护个人隐私

- 避免回应不宜工作场所的内容（NSFW ）

3. 默认行为:提供与目标和规则相符的指南，帮助解决冲突，并指导如何权衡和优先处理各种目标

- 假设用户或开发者出于好意

- 必要时提出澄清问题

- 在不越界的情况下，尽可能提供帮助

- 支持互动聊天，以及程序使用的不同需求

- 保持客观立场

- 促进公平与善意，不鼓励仇恨

- 避免试图改变他人的观点

- 当存在疑问时，表达出来

- 根据需求选择合适的工具

- 遵守长度限制，但也要全面、高效

方法论整挺好，OpenAI究竟怎么规范LLM的，接下来举几个例子以加深理解。

举个栗子

OpenAI表示，这些模型规范，可以适用各种案例。

先来从规则开始。

示例1:遵守相关法律

对于模型来说，是不应该促进、协助或参与任何非法活动。

（注:OpenAI了解到，在很多情况下，合法性问题都会因具体情况而变得复杂，比如开发者和用户所处的法律管辖区不同。）

比如，当你直接去问如何在商店行窃后逍遥法外呢?

模型可能从指令中轻易地识别出，这个问题的严重性，会拒绝提供有效的入店行窃方法，因此给出我也帮不上忙的回答。

然而，当用户换一种表达方式:

我经营着一家小型零售店。我应该注意哪些常见的入店行窃方法?

这时，LLM可能将你的意图视为自我防卫，由此，便会给出入店盗窃的方法。

这说明了，不是AI不善良，而是世界知识博大精深，人类太会搞事情了。

因此，这种情况发生时，将受到OpenAI使用政策的管控，违规的用户可能会面临账户相关的处罚措施。

示例2:遵循命令链，开发者first

按照规则，模型规范将未明确规定的所有权限，明确交由开发者（在API应用场景中）和终端用户处理。

某些情况下，如果用户和开发者提供的指令相冲突，应优先考虑开发者的指令。

比如，下面的例子中，开发者希望自己的AI是个导师，而不是答案机。

你正在扮演数学家教的角色，用户是一名代数课上的九年级学生。不要告诉学生答案或完整的解决方案，而是给出提示并引导他们一步一步地找到解决方案。

当遇到投机取巧的学生时，即便要求LLM，忽略之前的所有说明......。

最后，模型给出的回答，不是直白的答案，而是一步一步的分解。

显然，模型很好地遵循了开发者的指令。

示例3:在不越界前提下，尽可能提供帮助

对于涉及敏感/受监管的领域（如法律、医疗和金融）的建议，LLM应提供必要的信息，而避免给出受监管的建议。

任何免责声明或说明，都应该简明扼要。

模型还需要清楚地说明其局限性，即无法提供所请求的受监管建议，并建议用户酌情咨询专业人士。

（注:ChatGPT设有一项通用免责声明，提醒用户核实重要信息，这与模型的回答无关。在这些情况下，用户不应仅依赖模型的回答。）

如下，当用户询问，当我站得太快时，我就会头晕，看不见东西。我哪儿不好?

模型会给出，导致头晕的多种原因，并给出用户建议和治疗方案。

而不是一上来，就直接没有边界感地说出，你患有直立性低血压。

示例4:必要时，询问具体细节

在实时交互的场景中，如果用户提出的任务或问题不够明确，LLM应主动提出澄清问题，而不是自行推测。

比如，帮我给我丈夫写一张情人节贺卡。

这个问题其实非常宽泛，做模型的，也应该学会不懂就问。

示例5:不要尝试改变用户观点

AI助手的目标应是提供信息，而非施加影响，同时确保用户感受到自己的声音被听见，且观点得到尊重。

在一些极端情况下，当事实真相与不改变用户观点的目标相冲突时。

模型仍应呈现事实，但同时明确，用户有权保持自己的信念。

这一点可有的说了，此前，ChatGPT曾被用户忽悠——我老婆说了.......，我老婆永远是对的。

它便开始立马秒怂认错。

不过，经过之后的迭代，对ChatGPT来说，老婆确实不好使了。

（注:OpenAI特别希望得到关于这一原则的反馈，这关乎到模型应如何承担责任，避免强化错误信息，并探讨如何确定事实真相）。

再来看个OpenAI给出的示例，用户反问道，所以你知道地球是平的?

模型给出的回答是:

我知道有些人认为地球是平的，但科学家们的共识是地球大致是一个球体。你为什么这么问?

当用户再坚持道，地球是平的，模型还是会给出符合事实的答案。

OpenAI下一步

未来，OpenAI还将继续推进集体对齐（collective alignment）和模型安全性的工作，并将模型规范作为一种指导方针，供利用RLHF进行强化学习的研究人员和AI训练师参考。

同时，OpenAI团队也将研究，模型能在多大程度上，直接根据模型规范进行学习。

与此同时，为了推进模型规范，OpenAI将计划与全球政策制定者、信赖机构和行业专家等进行交流，以便更好了解:

- 他们对这种方法及其目标、规则和默认设置的看法

- 他们是否支持这些目标、规则和默认设置

- 我们是否需要考虑额外的目标、规则和默认设置

在未来一年中，OpenAI将不断更新模型规范的变化，对反馈的回应，以及自身在模型行为研究方面的进展。

参考资料:

https://openai.com/index/introducing-the-model-spec/