OpenAI公布安全系统 确保AI大模型安全可靠_open ai

12月6日 消息:今日，OpenAI公布了公司在安全方面的举措。OpenAI表示，其安全系统团队处于确保当今现实世界中人工智能模型安全性和可靠性的最前沿。

安全系统团队致力于确保人工智能模型及其在现实世界中的部署的安全性、稳健性和可靠性。他们通过实践和研究来解决安全问题，并开发基本解决方案，以确保人工智能的安全和值得信赖。

安全团队包括安全工程、模型安全研究、安全推理研究和人机交互等多个小组:

安全工程:该团队将系统级的部分措施落实到产品上，构建一个安全的、隐私意识的、集中式的安全服务基础设施，并创建面向机器学习的工具，以便进行大规模的调查和执行。

模型安全研究:模型行为聚焦是我们工作的核心关注点，目标是创建更安全、符合我们价值观、可靠和可控的模型。团队应不断提升我们在模型中的准确实施健全安全行为的能力。

安全推理研究:检测和理解风险，无论是已知的还是未知的，用于指导默认安全模型行为和缓解措施的设计关键。该团队通过将更好的安全和推理伦理技能融入基础模型，并利用这些技能增强我们的模型，努力实现这一目标。

人机交互:政策是模型行为与期望的人类价值的接口，我们与模型一起政策设计，为模型设计政策，因此政策可以直接插入我们的安全系统中。人类专家还提供反馈，以便在各个阶段与人类期望的接触。

OpenAI表示，他们致力于解决人工智能安全问题，例如如何避免模型给出不安全或不适当的答案、如何检测有害答案或操作、如何在保证安全的同时维护用户隐私等。他们还强调了以模型行为一致性为核心的研究，并通过与人机协作和人类专家合作，确保模型的行为与人类价值观一致。