Anthropic CEO表示越狱AI系统可能成为“生死攸关”的问题_absinthe越狱

7月24日 消息:Anthropic 无疑是是 OpenAI 强大的竞争对手之一。日前，Anthropic 首席执行官 Dario Amodei 表示，他对人工智能系统的越狱现象非常担忧，并认为未来两到三年可能会出现严重的人工智能滥用情况。

Amodei 曾任 OpenAI 人工智能安全团队负责人，现任 Anthropic 首席执行官。他担心随着模型的不断发展，人工智能系统可能会进行危险的科学、工程和生物学等活动，从而导致越狱事件的发生，甚至可能涉及到生死问题。

Amodei表示，“我认为随着时间的推移，我们在解决越狱问题方面做得越来越好。但我也认为这些模型变得越来越强大。”

Anthropic 发布了一款名为 Claude2的聊天机器人，该机器人类似ChatGPT ，但在安全性方面更加谨慎。与其他人工智能公司不同，Anthropic 采用固定的规则和人工智能评估，而不是人类反馈。

他们给 AI 系统提供了一套道德和伦理准则的 “规则”，第二个 AI 系统评估第一个系统生成的内容是否符合规则，并提供反馈。内部测试表明，这种方法在某些方面与使用人类反馈训练的 ChatGPT 相似，并在某些方面表现 “更强大”。

Amodei 表示，内部测试表明，这种方法的安全性在某些方面与 ChatGPT 类似，ChatGPT 是通过人类反馈 （RLHF） 进行训练的，并且在某些方面“明显更强”。Claude 的安全措施更加严格。

目前，Claude2聊天机器人正在美国和英国推出。Amodei 认为，如果不阻止这种扩展趋势，未来两到三年可能会出现严重的人工智能滥用情况，例如大规模生成假新闻。