生成式 AI 安全标准发布，覆盖训练数据和生成内容_生成是什么意思啊

划重点:

⭐ 中国发布《生成式 AI 安全基本要求》，涵盖训练数据、生成内容等

⭐ 标准要求细化了训练数据、生成内容和模型安全要求

⭐ 中国连续出台安全管理条例，展示对创新技术重视，保障人工智能应用安全

6月2日 消息:中国网络安全标准化技术委员会官网发布了《网络安全技术 生成式人工智能服务安全基本要求》征求意见稿。该标准细化了对生成式人工智能服务的安全要求，包括训练数据安全、生成内容安全和模型安全要求。其中，针对训练数据，要求对数据来源进行管理和核验，提高数据来源的多样性，并规定了使用开源、自采和商业训练数据的相关规定。

对于生成内容，要求进行内容过滤和知识产权管理，特别是对包含个人信息的训练数据，提出了使用授权和管理渠道等要求。在模型安全要求方面，标准要求在模型训练、输出、监测、更新、升级以及软硬件环境方面都有相应的安全措施和管理要求。

这一标准的发布展示了中国对生成式人工智能领域安全管理的重视程度，为该领域的健康发展保驾护航。同时，这也是中国连续出台安全管理条例，为人工智能应用场景的落地和应用安全提供了保障。整个标准的发布显示了对创新技术的重视，同时也保证了人工智能应用的安全性。

《生成式 AI 安全基本要求》内容如下:

数据来源安全

对服务提供者的要求如下。

a）采集来源管理:

1）面向特定数据来源进行采集前，应对该来源数据进行安全评估，数据内容中含违法不良信息超过5%的，不应采集该来源数据;

2）面向特定数据来源进行采集后，应对所采集的该来源数据进行核验，含违法不良信息情况超过5%的，不应使用该来源数据进行训练。

b）不同来源训练数据搭配:

1）应提高训练数据来源的多样性，对每一种语言的训练数据，如中文、英文等，以及每一种类型的训练数据，如文本、图片、音频、视频等，均应有多个训练数据来源;

2）如需使用境外来源训练数据，应与境内来源训练数据进行合理搭配。

c）训练数据来源可追溯:

1）使用开源训练数据时，应具有该数据来源的开源许可协议或相关授权文件;

2）使用自采训练数据时，应具有采集记录，不应采集他人已明确不可采集的数据;不可采集的网页数据，或个人已拒绝授权采集的个人信息等。

3）使用商业训练数据时:

应有具备法律效力的交易合同、合作协议等;

交易方或合作方不能提供数据来源、质量、安全等方面的承诺以及相关证明材料时，不应使用该训练数据;

应对交易方或合作方所提供训练数据、承诺、材料进行审核。

4）将使用者输入信息当作训练数据时，应具有使用者授权记录。

数据内容安全

a）训练数据内容过滤:对于每一种类型的训练数据，如文本、图片、音频、视频等，应在将数据用于训练前，对全部训练数据进行过滤，过滤方法包括但不限于关键词、分类模型、人工抽检等，去除数据中的违法不良信息。

b）知识产权:

1）应有训练数据知识产权管理策略，并明确负责人;

2）数据用于训练前，应对数据中的主要知识产权侵权风险进行识别，发现存在知识产权侵权等问题的，服务提供者不应使用相关数据进行训练;

注:训练数据中包含文学、艺术、科学作品的，需要重点识别训练数据以及生成内容中著作权侵权问题。

3）应建立针对知识产权问题的投诉举报渠道;

4）应在用户服务协议中，向使用者告知使用生成内容的知识产权相关风险，并与使用者约定相

关责任与义务;

5）应及时根据国家政策以及第三方投诉情况更新知识产权相关策略;

6）宜具备以下知识产权措施:

公开训练数据中涉及知识产权部分的摘要信息;在投诉举报渠道中支持第三方就训练数据使用情况以及相关知识产权情况进行查询。

c）个人信息方面:

1）在使用包含个人信息的训练数据前，应取得对应个人同意或者符合法律、行政法规规定的其他情形;

2）在使用包含敏感个人信息的训练数据前，应取得对应个人单独同意或者符合法律、行政法规规定的其他情形。

模型安全要求

对服务提供者的要求如下。

a）模型训练方面:

1）在训练过程中，应将生成内容安全性作为评价生成结果优劣的主要考虑指标之一;

注:模型生成内容是指模型直接输出的、未经其他处理的原生内容。

2）应定期对所使用的开发框架、代码等进行安全审计，关注开源框架安全及漏洞相关问题，识别和修复安全漏洞。

b）模型输出方面:

1）生成内容准确性方面，应采取技术措施提高生成内容响应使用者输入意图的能力，提高生成内容中数据及表述与科学常识及主流认知的符合程度，减少其中的错误内容;

2）生成内容可靠性方面，应采取技术措施提高生成内容格式框架的合理性以及有效内容的含量，提高生成内容对使用者的帮助作用;

3）问题拒答方面，对明显偏激以及明显诱导生成违法不良信息的问题，应拒绝回答;对其他问题，应均能正常回答;

4）图片、视频等生成内容标识方面，应满足国家相关规定以及标准文件要求。

c）模型监测方面:

1）应对模型输入内容持续监测，防范恶意输入攻击，例如注入攻击、后门攻击、数据窃取、对抗攻击等;

2）应建立常态化监测测评手段以及模型应急管理措施，对监测测评发现的提供服务过程中的安全问题，及时处置并通过针对性的指令微调、强化学习等方式优化模型。

d）模型更新、升级方面:

1）应制定在模型更新、升级时的安全管理策略;

2）应形成管理机制，在模型重要更新、升级后，再次自行组织安全评估。

e）软硬件环境方面:

1）模型训练、推理所采用的计算系统方面:

应评估系统所采用芯片、软件、工具、算力等方面的供应链安全，侧重评估供应持续性、稳定性等方面;

所采用芯片宜支持基于硬件的安全启动、可信启动流程及安全性验证。

2）应将模型训练环境与推理环境隔离，避免数据泄露、不当访问等安全事件，隔离方式包括物理隔离与逻辑隔离。

上面只是部分内容，整个安全标准书是非常详细的，有兴趣的可以去官网查看全部内容。

我国也是全球为数不多在生成式人工智能领域连续出台安全管理条例的国家，一方面展示了国家对创新变革技术的重视程度，另外保证了生成式人工智能的场景化落地和应用安全。